生成模型与多模态融合：使用 Patches 代替 token；自回归模型和扩散模型融合，双因子化框架；任意视图和光照的逆渲染
Byte Latent Transformer: Patches Scale Better Than Tokens
2024-12-13｜Meta FAIR, Paul G. Allen School, U Washington, U Chicago|🔺21
http://arxiv.org/abs/2412.09871v1
https://huggingface.co/papers/2412.09871
https://github.com/facebookresearch/blt
研究背景与意义
在当前的自然语言处理（NLP）领域，传统的基于 token 的语言模型（如BERT和GPT系列）在处理文本时依赖于固定的 tokenization 方法。这种方法虽然有效，但也存在一些固有的局限性，例如对输入噪声的敏感性和多语言处理的不平等性。本文提出的字节潜在变换器（Byte Latent Transformer, BLT）架构，首次实现了在字节级别上进行建模，从而在不依赖固定词汇的情况下，匹配了基于 token 的模型的性能。这一创新不仅解决了 tokenization 所带来的偏见问题，还提高了模型的推理效率和鲁棒性。通过动态分配计算资源，BLT能够更有效地处理复杂数据，从而在多种NLP任务中表现出色。
研究方法与创新
BLT的核心创新在于其动态可学习的字节分组方法，取代了传统的固定 tokenization 。这种方法通过根据下一个字节的熵动态分配计算资源，从而实现更加高效的模型训练和推理。具体而言，BLT使用了三个主要模块：局部编码器、全局潜在变换器和局部解码器。局部编码器负责将输入的字节序列编码为 patch 表示，而全局潜在变换器则在 patch 表示上执行自回归建模。局部解码器则将 patch 表示解码回字节序列。
与传统的 tokenization 模型相比，BLT能够在保持固定推理成本的情况下，同时增加模型和 patch 的大小。通过实验，研究者们展示了BLT在处理原始字节数据时的有效性，尤其是在长尾数据建模和对噪声输入的鲁棒性方面。
实验设计与结果分析
为了验证BLT的有效性，研究者们进行了多项实验，包括与多种基于 token 的模型的比较。实验结果表明，在相同的计算预算下，BLT在多个标准基准测试中表现出色，尤其是在常识推理和代码生成任务中。此外，BLT在较大的模型规模下展现出更好的扩展性，尤其是在推理效率方面，能够有效降低计算消耗。
研究还发现，BLT在处理复杂文本时的表现优于传统的 tokenization 模型，尤其是在面对输入噪声时，展现出更强的鲁棒性。这一发现为未来的NLP模型设计提供了新的思路，强调了字节级别建模的重要性。
结论与展望
BLT的提出为自然语言处理领域带来了新的视角，证明了字节级别建模的潜力。通过动态计算资源分配，BLT不仅提升了模型的推理效率，还在多种任务中展现了更强的鲁棒性。未来的研究可以进一步探索如何优化BLT的架构，以及如何将其应用于更广泛的NLP任务中。此外，随着计算能力的提升，BLT有望在更大规模的数据集上进行训练，从而推动自然语言处理技术的进一步发展。
Causal Diffusion Transformers for Generative Modeling
2024-12-16｜ByteDance|🔺15
http://arxiv.org/abs/2412.12095v1
https://huggingface.co/papers/2412.12095
https://github.com/causalfusion/causalfusion.git
研究背景与意义
在当前的生成建模领域，自回归（AR）模型和扩散模型是两种主流的方法。自回归模型通过条件化前面的所有数据来逐步生成序列，广泛应用于语言生成；而扩散模型则通过逐步去噪的方式生成高质量图像，尤其在视觉内容生成方面取得了显著进展。然而，这两种模型在数据分布因子化的方式上存在本质区别，导致各自在不同应用场景中的表现差异。
本论文提出了CausalFusion模型，旨在结合AR和扩散模型的优点，通过引入双因子化框架来提升生成能力。其核心在于利用序列和噪声水平的双重因子化，克服了传统模型在特定生成任务中面临的挑战，从而实现更高效的生成过程。CausalFusion不仅在图像生成的基准测试中取得了最先进的结果，还展示了在多模态生成任务中的潜力，为研究者提供了新的视角来探索自回归和扩散模型的统一学习。
研究方法与创新
CausalFusion的创新之处在于其双因子化框架，允许模型在生成过程中灵活选择序列和噪声水平的因子化方式。具体而言，模型设计为一个解码器-仅的变换器，通过对数据进行双重因子化，CausalFusion能够在自回归和扩散模式之间平滑过渡。这种灵活性使得模型能够以任意数量的AR步骤进行生成，从而在上下文推理中生成任意数量的 token 。
此外，CausalFusion还通过调整AR步骤和扩散步骤的数量，优化了模型在不同生成任务中的表现。研究中系统地分析了任务难度对生成效果的影响，提出了通过随机AR步骤和适当的损失加权来平衡训练信号的策略。这一方法有效提高了模型的生成能力，特别是在处理复杂的生成任务时，展现出更强的适应性。
实验设计与结果分析
本研究在ImageNet数据集上进行了大量实验，验证了CausalFusion的有效性。实验设计包括对比基线模型（如DiT）和不同配置的CausalFusion模型，评估其在图像生成任务中的表现。结果表明，CausalFusion在FID（Fréchet Inception Distance）指标上显著优于对比模型，显示出其在生成质量上的提升。
例如，在256×256分辨率的图像生成任务中，CausalFusion-L模型的FID为5.12，明显优于DiT-XL/2的9.62。这表明CausalFusion在较少参数的情况下，能够实现更高质量的生成。此外，CausalFusion还展现了在Zero-shot图像编辑和多模态生成任务中的能力，证明了其在实际应用中的广泛适用性。
结论与展望
CausalFusion模型的提出为自回归和扩散模型的结合提供了新的思路，展示了在多模态生成任务中的潜力。未来的研究可以进一步探索CausalFusion在不同领域的应用，如视频生成和图像到文本生成等。此外，优化模型架构和训练策略，提升其在更复杂场景下的表现，将是后续研究的重要方向。通过这些努力，CausalFusion有望推动生成建模领域的进一步发展，为多模态学习提供更强大的工具。
IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations
2024-12-16｜CUHK, ZJU, Shanghai AI Lab|🔺10
http://arxiv.org/abs/2412.12083v1
https://huggingface.co/papers/2412.12083
https://lizb6626.github.io/IDArb/
研究背景与意义
在计算机视觉领域，从图像中获取几何和材料信息始终是一个基本挑战。传统的优化方法通常需要数小时的计算时间来重建几何、材料属性和环境光照，而学习型方法则借助丰富的材料先验，但在多视图一致性方面面临困难。本文提出的IDArb模型，旨在通过扩散模型实现对任意数量图像在不同光照下的内在分解。这一研究不仅推动了逆渲染技术的进步，也为多视图一致性提供了新的解决方案，具有重要的理论和实际应用价值。
研究方法与创新
IDArb的核心创新在于其交叉视图和交叉域注意力模块，以及增强光照和视图适应的训练策略。通过这些技术，模型能够在多视图输入下保持一致的内在成分估计，包括反照率、法线、金属度和粗糙度。此外，ARB-Objaverse数据集的引入为模型的训练提供了丰富的多视图内在数据和多样化的光照条件，极大地增强了模型的鲁棒性和泛化能力。
交叉视图注意力模块：该模块通过融合不同视图的信息，减少了多视图间的模糊性，确保了内在成分的一致性。 增强光照训练策略：通过在训练中引入多种光照条件，模型能够更好地适应复杂的光照环境，提高了在实际应用中的表现。 ARB-Objaverse数据集：这一新数据集包含570万张多视图RGB图像及其内在成分，为模型的训练提供了强有力的支持。
实验设计与结果分析
在实验中，IDArb在合成和真实数据上进行了广泛评估，结果表明其在内在分解任务上显著优于现有的最先进方法。通过与多种基准方法的对比，IDArb在反照率、法线、金属度和粗糙度的估计上均表现出色，且在多视图设置下的性能提升尤为明显。
合成数据结果：IDArb在反照率估计中有效去除了高光和阴影，提供了准确的几何形状；在金属度和粗糙度的估计中，模型成功消除了光照和纹理的干扰。 真实数据结果：尽管IDArb是在合成数据上训练的，仍然能够很好地推广到真实世界的图像，生成高质量的分解结果。
结论与展望
IDArb为内在分解提供了一种统一的解决方案，能够在多视图和不同光照条件下进行有效的内在成分估计。未来的研究可以集中在改进模型对复杂物体的材料映射能力上，并探索更高效的交叉视图注意力机制，以应对高分辨率下的密集输入视图的挑战。IDArb的成功应用不仅为逆渲染技术的发展奠定了基础，也为实际的3D内容创建和编辑提供了新的可能性。
