生成式AI
一、 「测试时记忆」,谷歌Titan新架构打破Transformer记忆瓶颈
1. Titan架构创新性引入测试时间计算于记忆领域,可扩展至200万上下文窗口,性能超越GPT4、Llama3;
2. 设计神经长期记忆模块,通过"惊喜"程度的梯度、动量和遗忘机制实现高效记忆,避免记住无用训练数据;
3. 提出MAC、MAG、MAL三种记忆融合变体,在语言建模、常识推理等任务上或超越Transformer和Mamba等架构。
https://mp.weixin.qq.com/s/APE_CJ4rEQYV8ngyaTAXWw
二、 Mistral代码模型CodeStral更新,上下文增至256k新SOTA
1. CodeStral新版本与DeepSeek V2.5、Claude 3.5并列登顶Copilot Arena,在多个代码基准测试中达到SOTA水平;
2. 上下文窗口扩展至256k(原来的8倍),新架构和分词器使生成速度提升2倍;
3. 在80多种编程语言中表现优异,HumanEval平均分71.4%领先第二名6个百分点,FIM任务也有显著提升。
https://mp.weixin.qq.com/s/BaZhEs7CV8-kQzdrkcMU2A
三、 商汤「日日新」融合大模型上线,兼顾深度推理与多模态处理
1. 商汤「日日新」原生融合模型刷新SuperCLUE和OpenCompass双榜;
2. 采用「融合模态数据合成」和「融合任务增强训练」两大技术,实现单一模型处理多模态信息,训练成本仅增20%;
3. 成功将模型应用于复杂办公文档处理、自动驾驶、视频交互等场景,展现了原生融合模态的技术优势。
https://mp.weixin.qq.com/s/_TkbWar7VkPNhygAXmuA4A
四、 不到1秒超快生图!英伟达开源生图模型SANA支持4K画质
1. Sana是英伟达开源的DiT架构文生图模型,0.6B版本生成1024*1024图片仅需0.9秒;
2. 模型支持生成4K分辨率图片,可在16GB显存笔记本GPU上运行,具有轻量化特点;
3. 采用深度压缩自编码器、线性注意力等创新技术,已支持ComfyUI并提供LoRA训练工具。
https://mp.weixin.qq.com/s/4AsMUrabVpIkg-XDCfSOvQ
五、 开源版Agent开发框架Eko,清华复旦斯坦福团队联合打造
1. 清华、复旦、斯坦福合作开源Agent框架Eko,实现电脑和浏览器自动化操作,对标OpenAI的Operator项目;
2. 采用混合智能体表示、跨平台架构和干预机制三大技术创新,支持自然语言和程序语言混合开发;
3. 通过视觉-交互要素联合感知和层次化规划,实现高效浏览器任务执行,并提供生产级钩子机制确保人工监管。
https://mp.weixin.qq.com/s/tUYjchA4ySYmdDIAB8FV6g
六、 AMD联手约翰霍普金斯大学:AI实验室copilot成本节约84%!
1. AMD和约翰霍普金斯提出Agent Laboratory框架,利用LLM实现从文献综述到论文撰写的全流程科研自动化;
2. 框架采用多智能体协作体系,包括PhD、Postdoc、ML工程师和Professor代理,分别负责不同科研环节;
3. 系统运行成本仅为2.33美元每篇论文,比现有方法节省84%,并在MLE-Bench获得2金1银1铜的优异成绩。
https://mp.weixin.qq.com/s/jLgQLsrZ_I-J2_1nx5i80A
七、 微软新研究:从LLM到LAM,让大模型真正具有「行动力」
1. 微软提出LAM将LLM拓展为能执行任务的大型行动模型,通过四阶段训练实现任务分解、行动生成、动态调整和奖励学习;
2. LAM在Word测试环境中任务成功率达71%(超过GPT-4o的63%),执行速度比GPT-4o快2.8倍(30秒VS 86秒);
3. LAM通过收集任务-计划和任务-行动两类训练数据,使模型能自主生成详细计划并转化为可执行指令序列。
https://mp.weixin.qq.com/s/BVFV8v6KGcpKoz_TYdBdAA
前沿科技
八、 物理学家发现新型量子特性粒子?表现介于玻色子、费米子之间
1. 布朗大学物理学家在Nature发现新型量子粒子"分数激子",其特性介于玻色子和费米子之间,遵循独特的量子统计规律;
2. 研究团队通过双层石墨烯结构和超强磁场实验,观察到两类新的分数量子霍尔效应状态,证实分数激子的存在;
3. 分数激子由带分数电荷的粒子配对产生,可存在于分数量子霍尔体系中,有望改进量子计算的信息处理方式。
https://mp.weixin.qq.com/s/O9FYNNVo0aLBm1S_TgBZUA
报告观点
九、 OpenAI发布经济蓝图:提出打造AI版「美国梦」「附全文」
1. OpenAI提出美国需要立即行动主导AI发展,通过统一监管规则和政策支持,避免重蹈英国错失汽车工业机遇的覆辙;
2. 芯片、数据、能源和人才是AI竞争四大关键要素,呼吁美国政府投资1750亿美元建设AI基础设施,防止资金外流;
3. 建议美国建立自由市场与开发者主导的AI生态,通过州际合作和公私联动打造AI经济区,强化国家竞争力。
https://mp.weixin.qq.com/s/xUpYeRFYrA9bFI9HJTs2mw
AI50节选
👇订阅下方合集,获取每日推送