论文链接：https://arxiv.org/abs/2412.09619
项目地址：https://snap-research.github.io/snapgen/
现有的文本到图像（T2I）扩散模型面临几个限制，包括模型规模大、运行速度慢以及在移动设备上生成的图像质量低。
来自 Snap 的研究团队及其合作者旨在通过开发一种极小且快速的 T2I 模型——SnapGen，在移动平台上生成高分辨率和高质量的图像，从而应对所有这些挑战。
为实现这一目标，他们提出了几种技术。
网络架构优化：SnapGen 通过系统地检查网络架构的设计选择，减少了模型参数和延迟，同时确保高质量的生成。具体来说，模型采用了高效的架构设计，使得其在移动设备上能够快速运行。
知识蒸馏：为了进一步提高生成质量，SnapGen 从更大的模型中采用跨架构知识蒸馏，使用多层次方法从头开始指导模型的训练。这种技术帮助模型在较小的规模下达到较高的生成质量。
对抗性指导：通过将对抗性指导与知识蒸馏相结合，SnapGen 实现了几步生成，进一步提升了生成图像的质量和速度。
生成速度：SnapGen 在移动设备上生成 1024x1024 px 图像的时间仅为 1.4 秒，显著提升了生成速度。
基准测试：在 ImageNet-1K 上，SnapGen 只需 372M 参数就能生成 256x256 px 的图像，FID 达到 2.06。在 T2I 基准（即 GenEval 和 DPG-Bench）上，SnapGen 仅有 379M 个参数，以明显更小的规模（例如，比 SDXL 小 7 倍，比 IF-XL 小 14 倍）超越了拥有数十亿个参数的大模型。
SnapGen 的极小尺寸和快速生成能力使其非常适合在移动设备上应用，可以用于各种需要高分辨率图像生成的场景，如图像编辑、视频创建等。
论文链接：https://arxiv.org/abs/2412.09501
项目地址：https://lyra-omni.github.io/
来自香港中文大学、思谋科技和香港科技大学的研究团队推出的 Lyra 是一种高效的多模态大型语言模型（MLLM），可增强多模态能力，包括高级长语音理解、声音理解、跨模态效率和无缝语音交互。
（1）利用现有的开源大模型和建议的多模态 LoRA 来降低训练成本和数据要求；
（2）使用潜在多模态正则化器和提取器来加强语音和其他模态之间的关系，从而提高模型性能；
（3）构建一个高质量、广泛的数据集，其中包括 1.5M 多模态（语言、视觉、音频）数据样本和 12K 长语音样本，使 Lyra 能够处理复杂的长语音输入，实现更鲁棒的全方位认知。
IBM 正式发布了其新一代开源大语言模型 Granite 3.1，这是一组轻量级、先进的开源基础模型，支持多语言、代码生成、推理和工具使用，能够在有限的计算资源上运行。这一系列模型具备 128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。
密集模型：2B 和 8B 参数模型，总共使用 12 万亿个token进行训练。
专家混合MoE模型：稀疏 1B 和 3B MoE 模型，分别具有 400M 和 800M 激活参数，总共使用 10 万亿个token进行训练。
Granite 3.1 8B 和 2B 具有一项新功能，即调用幻觉检测功能，从而增强了对进行工具调用的代理的控制和可观察性。
与生成模型一样，Granite 3.1 提供12 种不同语言的多语言支持：英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。
IBM 声称，Granite 3.1 8B Instruct 模型在相同规模的开源竞争对手中表现最佳，包括 Meta 的 Llama3.1、Qwen2.5 和谷歌的 Gemma2。
参考：
https://www.ibm.com/new/announcements/ibm-granite-3-1-powerful-performance-long-context-and-more
