GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传

科技 2025-01-12 00:01 北京

来源 | 机器之心

2025 年了，GAN 能否击败扩散模型？答案是 Yes！

本周五，AI 社区开始讨论一种全新极简主义 GAN（生成对抗网络）。

现代版 GAN 基准论文成为了周五 HuggingFace 热度最高的研究。该论文也入选了 NeurIPS 2024。

它并不像以往那样走 tricks 路径 —— 通过一场「现代化」改造，GAN 现在可以进行更长时间的训练（与扩散模型的训练步骤数相当），一旦 GAN 训练时间足够长，并且架构足够强大，它们就可以胜过扩散模型，并成为更好、更快、更小的模型。

来自布朗大学、康奈尔大学的研究者们表示，通过引入一个新的损失函数，我们就可以解决以往 GAN 模式崩溃（collapse）和不稳定性的问题。

为了证明可行性，他们测试了 GAN 里流行的 StyleGAN2，通过新的理论进行最简升级（修改后改名为「R3GAN」）。结果虽然模型变得更简单了，但 R3GAN 在图像生成和数据增强任务上性能还是超过了所有 GAN 模型和扩散模型。

新的方法给未来的研究奠定了一个更为整洁、可扩展的基础。

论文链接：https://arxiv.org/abs/2501.05441
GitHub 链接：https://github.com/brownvc/R3GAN
HuggingFace：https://huggingface.co/spaces/multimodalart/R3GAN

有一种广泛流传的说法认为 GAN 很难训练，并且文献中的 GAN 架构充斥着大量的经验性 tricks。但是作者团队提供了反驳这一说法的证据，并以更有原则的方式建立了一个现代版 GAN 基线。

在该研究中，作者首先通过推导出一个行为良好的正则化相对 GAN 损失函数，解决了模式 dropping 和不收敛问题，而这些问题在以前经常是通过大量 ad-hoc tricks 来应对的。他们从数学层面分析了这一损失函数，并证明它具有局部收敛保证，这与大多数现有的相对损失函数不同。

其次，这个损失函数能够抛弃所有的 ad-hoc tricks，并用现代版架构替代常见的 GAN 中所使用的过时的骨干网络。以 StyleGAN2 为例，他们展示了一个简化过的现代版路线图 ——R3GAN（Re-GAN）。尽管方法非常简单，但它在 FFHQ、ImageNet、CIFAR 和 Stacked MNIST 数据集上却超越了 StyleGAN2，并且在与最先进的 GAN 和扩散模型的比较中表现出色。

在生成式 AI 技术兴起之前，GAN 是 AI 领域中的热门研究方向，该方法能让我们能够在一次前向传递中生成高质量图像。然而我们无法忽略的是，Goodfellow 等人构建的原始目标因其极小极大特性而极难优化，训练的不稳定性一直对 GAN 的研究产生着负面影响。

与扩散模型等其他生成模型相比，GAN 的发展一直比较缓慢。考虑到一旦得到了表现良好的损失函数，我们就可以自由地设计现代 SOTA 主干架构。在新工作中，作者剥离了 StyleGAN 的所有功能，找出那些必不可少的功能，然后从现代 ConvNets 和 transformer 中借用了架构设计，包括一系列 ResNet 设计、初始化、重采样、分组卷积、no normalization 等，引出了一种比 StyleGAN 更简单的设计。

该工作率先从数学上证明了 GAN 不需要通过改进的正则化损失来进行训练。

提高训练稳定性

该研究证明，通过将目标进展与正则化训练损失结合起来，GAN 获得了更高的训练稳定性，能够用现代骨干网络升级 GAN。

首先，该研究提出了一个新的目标，通过零中心梯度惩罚增强 RpGAN，提高稳定性。该研究从数学上证明，梯度惩罚 RpGAN 与正则化经典 GAN 享有相同的局部收敛保证，并且删除正则化方案会导致不收敛。

在定义 GAN 的目标时，研究者需要应对两个挑战：稳定性和多样性。为了在这两方面同时取得进展，该研究将 stable 方法与基于理论的简单正则化器结合起来。

传统 GAN 被表述为判别器 D_ψ 和生成器 G_θ 之间的极小极大博弈：

在实际实现中，传统 GAN 容易受到两种常见故障场景的影响：模式 collapse/dropping 和不收敛。

该研究采用了一种略有不同的极小极大博弈 ——RpGAN，由 Jolicoeur-Martineau 等人提出，以解决模式 dropping 问题。

一般的 RpGAN 定义为：

然而，经验表明，未正则化的 RpGAN 表现不佳。

为了解决 RpGAN 不收敛的问题，该研究探索梯度惩罚作为解决方案，因为事实证明，零中心梯度惩罚 (0-GP) 有助于经典 GAN 的收敛训练。两个最常用的 0-GP 是 R1 和 R2：

研究团队认为实际的解决方案是在真实数据和虚假数据上对 D 进行正则化。此外，如 Fang et al.(2022) 所言，真实数据和虚假数据具有大致相同的梯度范数可能会减少判别器过拟合。

新基线的路线图 — R3GAN

行为良好的 RpGAN + R1 + R2 损失函数缓解了 GAN 优化中的问题，同时根据近期的骨干网络进展，这使他们能够构建一个极简版基线 ——R3GAN。这不仅仅只是提出一种新方法，而是从 StyleGAN2 基线中绘制出一条路线图。

这个模型（配置 A）包括一个类似于 VGG 的骨干网络（G），一个 ResNet（D），一些有助于基于风格生成的 tricks，以及许多作为修补弱骨干网络的 tricks。接着去除了 StyleGAN2 中所有非必要的特性（配置 B），并应用他们的损失函数（配置 C），逐步现代化网络骨干（配置 D-E）。

架构比较

实验细节

模式恢复 — StackedMNIST

研究团队在 StackedMNIST（无条件生成）上重复了之前在 1000-mode 收敛实验中的做法，但这一次使用了更新后的架构，并与最先进的 GAN 及基于似然的方法进行了比较。

在 Stacked-MNIST 上使用配置 E 生成的样本定性示例

FID — FFHQ-256

研究者训练配置 E 模型直到收敛，并在 FFHQ 数据集上使用优化的超参数和训练计划进行 256×256 分辨率的无条件生成。

在 FFHQ-256 上使用配置 E 生成的样本定性示例

FID — FFHQ-64

为了与 EDM 进行直接比较，研究团队在 64×64 分辨率的 FFHQ 数据集上评估了模型。为此，他们去除了 256×256 模型中的两个最高分辨率阶段，从而得到了一个生成器，其参数数量不到 EDM 的一半。尽管如此，他们的模型在该数据集上的表现仍是超过了 EDM，并且只需要一次函数评估。

FID — CIFAR-10

研究者训练配置 E 模型直到收敛，并在 CIFAR-10 数据集上使用优化的超参数和训练计划进行条件生成。尽管模型容量相对较小，他们的方法在 FID 指标上超过了许多其他 GAN 模型。

在 CIFAR-10 上使用配置 E 生成的样本的定性示例

FID — ImageNet-32

研究者训练配置 E 模型直到收敛，在 ImageNet-32 数据集上使用优化的超参数和训练计划进行条件生成，并与近期的 GAN 模型和扩散模型进行了比较（见下图）。

作者团队调整了模型生成器的参数数量，使其与 StyleGAN-XL 的生成器相匹配（84M 参数）。尽管使用了比判别器小 60% 的模型，并且没有使用预训练的 ImageNet 分类器，该方法仍然达到了可媲美的 FID 值。

在 ImageNet-32 上使用配置 E 生成的样本定性示例

FID — ImageNet-64

研究团队在 ImageNet-64 数据集上评估了他们的模型，以测试其可扩展性。他们在 ImageNet-32 模型的基础上增加了一个分辨率阶段，从而得到了一个包含 104M 参数的生成器。该模型的参数量几乎是依赖于 ADM 骨干网络的扩散模型的三分之一，这些模型的参数量大约为 300M。

尽管模型较小，并且他们的模型在一步生成样本的同时，其在 FID 指标上超越了更大参数量的扩散模型（见下图）。

在 ImageNet-64 上使用配置 E 生成的样本定性示例

新 GAN 研究正在社区获得越来越多的关注。StabilityAI 的研究总监也转发了该篇论文，并对作者团队去除了 StyleGAN 中许多复杂性并且提高性能一点，给出了高度评价。

GAN 加入了现代化元素之后，是否可以重新起航逆袭 Stable Diffusion？对此，你怎么看？

参考内容：

https://huggingface.co/papers/2501.05441

https://x.com/iscienceluvr/status/1877624087046140059?s=61

深度学习与NLP

专注深度学习、NLP相关技术、资讯，追求纯粹的技术，享受学习、分享的快乐。

最新文章

终于弄懂了《Transformer入门到精通》高清pdf分享

困在“第一学历”里的博士

所有大模型领域学习者必读论文，没有之一！由深度学习三巨头联合撰写！

深度｜Scale AI 95后华裔创始人：AI Agent的分水岭在于产品设计而非技术本身

AMD发布科研Agent，论文自动化评分趋近顶会NeurIPS水平~

微软 Phi-4：小模型的大智慧——技术详解及简单测评

最新中文版大模型书籍《大语言模型从理论到实践》免费pdf分享

GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传

DeepSeek创始人专访：中国的AI不可能永远跟随，需要有人站到技术的前沿

Phi-4技术报告解读及简单测评

亲妹控告 Sam Altman 性虐待：将其告上法庭

[送5本]《大模型制造业的构建与实践》制造业人必要破除的AI大模型误区

2024 年度总结 LLM System Research：过去半年的科研心路历程

央国企！入局AI大模型（附66家名单）

让7B千问模型超越o1，微软rStar-Math惊艳登场，网友盛赞

下载10W+深度学习4大神书《深度学习科学》免费pdf下载

叹惜！年仅40岁，985教授离世一年后，成果登上Nature

下载10W+爆火神书《基于LangChain进行生成式AI开发》免费pdf分享

微软Phi-4开源，14B的王~

大厂新年第一裁，微软全部门危！内部员工：客户宁愿跳槽也不想与我们 IT 部门打交道

必看！大模型训练圣经《从头训练大模型》免费PDF分享

突发！长鑫存储、长江存储、中芯等被列入黑名单！

最新中文版大模型书籍《大语言模型从理论到实践》免费pdf分享

深度｜谷歌前CEO：即使美国赢得比赛第一阶段，也有充分理由相信中国最终会赢得这场竞赛，他们能够更快地在大规模产品中采纳技术

deepseek v3训推优化的剖析

英伟达「世界基础模型」诞生，引爆物理AI革命！75页报告出炉，GitHub狂飙2k星

学术顶会变成了“大厂”顶会?

所有大模型领域学习者必读论文，没有之一！由深度学习三巨头联合撰写！

AAAI 2025论文中了：没算法没实验，全靠idea思路好...

Github32k收藏，2025最新《Transformer入门到精通》高清pdf分享

老黄亮出全球最小超算，大模型在家跑！5090惊天问世，惊爆价16499

大语言模型中的查询优化技术：从基础到前沿的全景解析

手机也能玩RAG？谷歌EdgeRAG做到了~

Yann LeCun力荐！Facebook、Meta AI大佬编写《深度学习原理》经典教程书！

痛心！无人机领域顶尖专家张代兵博士去世，年仅47岁！知情人曝光原因…

终于弄懂了《Transformer入门到精通》高清pdf分享

刚刚，奥特曼更新博客：创业第十年，我的反思

TradingAgents：用多Agent框架炒股，多赚6个点收益

计算DeepSeekV3训练的MFU

神书《从零构建大模型》分享，尚未发布，GitHub标星22k！！

讣告：沉痛悼念博士生杜梅同学

必看！大模型训练圣经《从头训练大模型》免费PDF分享

DeepSeek-V3技术报告完整解读

LLM中的Attention实现及优化

在字节干大模型，是一种怎样的体验?

突发！SK海力士裁员！赔偿1年薪水！

[送5本]周志华“西瓜书”《机器学习》官方配套习题集

Infra视角下的DeepSeek-V3，到底有多强？

2025，AI Agents爆发元年~

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉