本期为TechBeat人工智能社区第645期线上Talk。
长按识别二维码，一键预约TALK！
近年来，视觉生成模型的表现令人瞩目，但高质量生成通常伴随高昂的计算代价。本次talk聚焦于两大主题：后训练加速和高效模型设计。研究发现当前生成模型中存在大量冗余计算，我们将探讨如何通过压缩方法和架构设计，显著减少生成过程中的冗余计算，提升推理效率。
2. 动机与问题 - 已训练模型中的冗余计算（空间、时间、条件冗余）；扩散模型逐步去噪过程中的系统性冗余；如何在不损失生成质量的前提下提升推理效率。
3. 解决方案 - 后训练加速方法（DiTFastAttn），包括Window Attention with Residual Sharing减少空间冗余、Attention Sharing across Timesteps利用时间步相似性、Attention Sharing across CFG跳过条件生成冗余 （后训练加速方法实现1.8x加速比）；高效模型设计（ECAR），通过多阶段连续token生成策略与多阶段流分布建模降低计算复杂度；实验结果展示了在高分辨率生成任务中的显著加速效果（如FLOPs减少10倍，速度提升5倍）。
4. 总结 - 讨论后训练加速与高效设计的下一步研究重点；展望未来在更大规模生成任务中的应用与优化方向。
Talk·预习资料
▼
论文链接：
https://arxiv.org/abs/2406.08552
论文链接：
https://arxiv.org/abs/2406.11838
项目主页：
https://github.com/LTH14/mar
Talk·提问交流
▼
Talk·嘉宾介绍
袁之航
个人主页:
https://www.techbeat.net/grzytrkj?id=42107
长按识别二维码，一键预约TALK！
-The End-
如果你也想成为讲者
▼
关于TechBeat人工智能社区
更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
