Meta被斥:他们污染了“开源”一词;李开复:零一万物绝不放弃预训练模型|一周热门

学术   2024-10-19 08:24   北京  


大模型周报将从【企业动态】【技术前瞻】【政策法规】【专家观点】四部分,带你快速跟进大模型行业热门动态。



企业动态


“世界首例”交易!谷歌将为人工智能数据中心购买核电

谷歌签署了一项“世界首例 ”协议,将从一批小型核反应堆中购买能源,以生产人工智能应用增长所需的电力。谷歌已向加利福尼亚州的 Kairos Power 公司订购了 6 到 7 座小型核反应堆(SMR),第一座将于 2030 年完工,其余的将于 2035 年完工。谷歌希望该协议将提供一种低碳解决方案,为需要大量电力的数据中心供电。

Anthropic 更新了安全政策,让 AI 更难失控

日前,Anthropic 发布了对“负责任的扩展政策”(RSP)的重大更新,这是他们用来降低前沿人工智能系统潜在灾难性风险的风险治理框架。此次更新提出了一种更灵活、更细致的方法来评估和管理人工智能风险,同时坚持他们的承诺,即除非他们已经实施了充分的保障措施,否则不会训练或部署模型。主要改进包括:新的能力阈值、完善的流程,以及新的内部治理和外部投入措施。

苹果推出专为 Apple Intelligence 打造的功能强大的新款 iPad mini

日前,Apple 推出了全新 iPad mini,A17 Pro 芯片和 Apple Intelligence(易于使用的个人智能系统)为其增添了无穷的动力,Apple Intelligence 可了解个人背景,提供有用和相关的智能信息,同时保护用户隐私。Apple Intelligence 深度集成到 iPadOS 18 中,利用 Apple 芯片和 Apple 构建的生成模型的强大功能,来理解和创造语言和图像,跨应用程序采取行动,并从个人上下文中提取信息,从而简化和加速日常任务。

Adobe 推出经过授权内容训练的 AI 视频生成器

Adobe 发布了 Firefly Video Model,这是一款全新的人工智能文生视频工具,可以根据文字提示创建新颖的视频,与 OpenAI、Runway、谷歌和 Meta 等竞争对手发布的产品不同的是,Adobe 声称 Firefly Video Model 完全使用授权内容进行训练,从而避免了困扰其他生成式人工智能工具的道德和版权问题。

卡西欧认为人工智能毛球可以取代宠物

卡西欧公司(Casio)可能以手表和计算器闻名于世,该公司正在将其产品线扩展到低过敏性的机器人宠物。根据该公司 10 月 10 日发布的日文公告,“Moflin”是一个“舒缓”和“可爱”的人工智能毛球,它“会依恋主人”。据介绍,这款类似仓鼠的设备以“永远在你身边,永远在你心里”为理念,目前只在日本接受预订,11 月 7 日发售。Moflin 有金色和银色两种毛皮,手掌大小,有点像没有耳朵的兔子,甚至像《星际迷航》中的三宝。


微软 GenAI 研究副总裁加入 OpenAI

日前,微软表示其 GenAI 研究副总裁 Sebastien Bubeck 将离开公司、加入 OpenAI,目前尚不清楚 Bubeck 将担任什么角色。“Sebastien 决定离开微软,继续他开发 AGI 的工作,”微软的一位发言人说,并补充说,公司期待通过 Bubeck 在 OpenAI 的工作继续他们的合作关系。

前 Palantir 首席信息安全官加入 OpenAI

分析公司 Palantir 的前首席信息安全官 Dane Stuckey 已加入 OpenAI,担任首席信息安全官,与 OpenAI 的安全主管 Matt Knight 并肩工作。Stuckey 周二晚间在 X 上发帖宣布了这一举动。“安全与 OpenAI 的使命息息相关,”他说。“我们必须满足合规、信任和安全方面的最高标准,以保护我们产品的数亿用户,使民主机构能够最大限度地受益于这些技术,并推动全球安全 AGI 的发展。”

荣耀:将推出行业首个搭载跨应用开放生态智能体的个人化全场景 AI 操作系统

据《科创板日报》报道,荣耀宣布 MagicOS 9.0 发布会及开发者大会将于 10 月 23-24 日在北京中关村国际创新中心举行。大会期间,荣耀将推出行业首个搭载跨应用开放生态智能体的个人化全场景AI操作系统 MagicOS 9.0。

深势科技完成数亿元 C+ 轮融资

据《科创板日报》报道,深势科技已于近日完成数亿元人民币的 C+ 轮融资。本轮融资由中关村科学城、顺禧基金、深圳市蓝盈二期投资合伙企业(有限合伙)共同参与。运用人工智能和分子模拟算法,结合先进计算手段求解重要科学问题,深势科技为生物医药、能源、材料等领域打造新一代微尺度工业设计和仿真平台。本轮融资将用于进一步推动其技术研发和市场拓展。

开普勒发布人形机器人 K2

据《科创板日报》报道,上海开普勒机器人有限公司日前发布了他们自主研发的全尺寸通用人形机器人先行者 K2。通过基于云端大模型的大脑+具身小脑的组合,模仿学习+强化学习的技能训练,K2 基本实现了自主完成特定场景工作任务的能力,具身智能训练效率也得到大幅提升。

UniX AI 机器人完成天使轮融资

工商变更信息显示,UniX AI 机器人完成天使轮融资,投资方为中关村发展集团。UniX AI 机器人是一家通用人形机器人公司,拥有全栈式自主研发的硬件和软件,通过独有的 Unitouch 大模型和独特的运动基元,提升机器人的可泛化性,执行长序列任务。


技术前瞻


Yoshua Bengio 新作:我们需要的只是 RNN 吗?

Transformers 在序列长度方面的可扩展性限制,重新激发了人们对在训练过程中可并行化的递归序列模型的兴趣。在这项工作中,来自 Borealis AI 和蒙特利尔大学的研究团队重温了十多年前的传统递归神经网络(RNN):LSTMs(1997 年)和 GRUs(2014 年)。虽然这些模型由于需要通过时间反向传播(BPTT)而速度较慢,但他们的研究表明,通过从输入、遗忘和更新门中移除隐藏状态依赖性,LSTM 和 GRU 不再需要 BPTT,而且可以高效地进行并行训练。在此基础上,他们推出了最小版本(minLSTMs 和 minGRUs),它们(1)使用的参数明显少于传统的同类产品,(2)在训练过程中完全可并行化(对于长度为 512 的序列,速度提高了 175 倍)。最后,他们展示了这些具有十年历史的 RNN 的精简版本与最新序列模型的经验性能相匹配。

文继荣团队:面向 RAG 的通用指令跟随对齐

遵循自然指令对于有效应用检索增强生成(RAG)系统至关重要。来自中国人民大学和北京邮电大学的研究团队推出了 VIF-RAG,这是第一个用于 RAG 系统中指令遵循对齐的自动化、可扩展和可验证的合成管道。通过使用 FollowRAG 和 8 个广泛使用的 IF 和 LLM 基础能力基准,他们证明了 VIF-RAG 在广泛的一般指令约束下显著提高了 LLM 性能,同时在 RAG 场景中有效地利用了其功能。


Meta 提出 Agent-as-a-Judge:用智能体评估智能体

当前的评估技术并不适合智能体系统。这些方法要么只关注最终结果——忽略了智能体系统 step-by-step 的特性,要么需要过多的手工劳动。来自 Meta 和阿卜杜拉国王科技大学的研究团队了提出 Agent-as-a-Judge 框架,利用智能体系统来评估智能体系统。这是 LLM-as-a-Judge 框架的进一步扩展,它结合了智能体功能,可为整个任务解决过程提供中间反馈。他们使用 Agent-as-a-Judge 对三种流行的智能体系统进行了基准测试,发现它的性能大大优于 LLM-as-a-Judge,而且与人类评估基线一样可靠。


英伟达推出高分辨率文生图框架 SANA

英伟达团队及其合作者提出了一个文生图框架 Sana,它可以高效生成分辨率高达 4096×4096 的图像。Sana 可以在笔记本电脑 GPU 上以极快的速度合成高分辨率、高质量的图像,并具有很强的文生图对齐能力。

Sana-0.6B 与现代大型扩散模型(如 Flux-12B)相比具有很强的竞争力,体积小了 20 倍,测量吞吐量快了 100 多倍。此外,Sana-0.6B 可在 16GB 笔记本电脑 GPU 上部署,生成 1024×1024 分辨率图像的时间不到 1 秒。Sana 能够以低成本创建内容。


Meta 提出思维偏好优化 TPO

大语言模型(LLM)通常经过训练,能够回答用户问题或遵循指令,与人类专家的回答方式类似。然而,在标准对齐框架中,它们缺乏在回答前进行明确思考的基本能力。思考能力对于需要推理和规划的复杂问题非常重要,但也可用于任何任务。在这项工作中,来自 Meta 的研究团队及其合作者提出了思维偏好优化(TPO)方法,让现有的 LLM 具备这种思维能力,从而在不使用额外人类数据的情况下,进行一般指导。这种方法能在 AlpacaEval 和 Arena-Hard 考试中取得优异成绩,而且除了更传统的推理和问题解决任务外,还能在市场营销、健康和常识等非推理类别的思考中发挥作用。


点击“阅读原文”,获取更多大模型论文


政策与安全


美国考虑限制英伟达和 AMD 向一些国家出口 AI 芯片

据财联社报道,知情人士表示,美国政府官员已经讨论,限制英伟达、AMD 等公司先进 AI 芯片的销售,此举将限制一些国家的 AI 能力。知情人士表示,为了国家安全利益,新规将对某些国家的出口许可设定上限,此次重点将放在波斯湾国家,这些国家对 AI 数据中心的需求越来越大,且有雄厚财力提供资金。评估工作尚处于初期阶段。

多个大模型未达《人工智能法案》要求

根据路透社获得的数据,一些最著名的人工智能模型在网络安全复原力和歧视性输出等关键领域尚未达到欧洲《人工智能法案》的要求。在 OpenAI 于 2022 年底向公众发布 ChatGPT 之前,欧盟就新的人工智能法规进行了长期辩论。创纪录的普及和随之而来的关于此类模型的所谓生存风险的公开辩论,促使立法者制定了关于通用目的的人工智能(GPAI)的具体规则。


专家观点


Meta 被斥:他们污染了“开源”一词

Meta 公司因将其人工智能模型称为“开源”,而遭到了开放源代码促进会(Open Source Initiative)的批评,后者在过去 25 年里一直是软件领域开源技术的先锋。

开放源代码促进会负责人 Stefano Maffulli 说,这家社交媒体公司用开源一词来描述其 Llama 系列大型语言模型,是在“混淆”用户和“污染”开源一词。Maffulli 在接受《金融时报》采访时说,当欧盟委员会等机构正在寻求支持不受任何特定公司控制的真正开源技术时,这种做法“极具破坏性”。

李开复:零一万物绝不放弃预训练模型

据《科创板日报》报道,针对近期市场消息称国内大模型公司有几家放弃预训练,包括零一万物。10 月 16 日,零一万物创始人李开复辟谣表示,零一万物绝不会放弃预训练模型工作。

德勤:芯片行业面临人才短缺加剧问题

根据会计和咨询巨头德勤(Deloitte)的最新报告,随着半导体行业到 2030 年将实现 1 万亿美元的收入,主要行业趋势将继续加剧人才挑战。该公司表示,由生成式人工智能需求驱动的先进技能意味着,先进技术所需的人才往往需求量很大,在竞争激烈的人才市场上很难吸引和留住。

中信建投:AI 视频商业化空间将打开

据《科创板日报》报道,中信建投研报指出,近期智谱、Runway 等大模型公司均开放视频模型 API,平均生成一段 5s 的视频收费在 0.5-2 元不等。展望未来,随着 AI 视频在 C 端娱乐社交、B 端影视内容制作等场景之下,应用渗透率提升,叠加 API 成本的持续下降,AI 视频的商业化空间将打开。

Salesforce 首席执行官 :微软对 AI 行业造成了“极大的伤害”

Salesforce 首席执行官 Marc Benioff 表示,微软通过夸大 Copilot 等产品的功能,对 AI 行业造成了“极大的伤害”。Benioff 认为,他们的 AI 工具 Agentforce 正是“才是真正的 AI”,他在职业生涯中从未如此兴奋,他相信 Agentforce 将带来与过去的云、移动和社交革命相媲美的变革。


其他


工信部:中国生成式 AI 服务大模型注册用户超 6 亿

根据工信部披露,中国人工智能企业数量超过 4500 家,完成备案并上线为公众提供服务的生成式人工智能服务大模型近 200 个,注册用户超过 6 亿,一批人工智能领域专精特新企业茁壮成长,技术创新能力不断提升,专利申请量和授权量居全球前列。

因使用人工智能被处罚,学生父母起诉老师

日前,马萨诸塞州的一个学区被一名学生的家长告上了法庭,因为这名男生使用人工智能聊天机器人完成了一项作业而受到了惩罚。诉讼称,Hingham 高中的学生手册中并没有对人工智能的使用做出限制。学生家长向法院提起诉讼,被告包括学监、校长、一名教师、历史系主任和兴汉姆学校委员会。

被告在驳回申诉动议中称,该学生承认“他使用人工智能工具生成想法,还使用人工智能工具创建了部分笔记和脚本。他毫不含糊地使用了另一位作者的语言和思想,无论是数字作者还是人工作者,都没有获得明确许可。此外,他在其笔记、脚本或提交的项目中均未说明他使用了人工智能”。

学校官员在法庭文件中指出了学生手册中关于作弊和剽窃的部分。虽然该章节没有提到人工智能,但它禁止“在作业中未经授权使用技术”和“未经授权使用或近似模仿他人的语言和思想,并将其作为自己的作品”。

利用生成式人工智能保护广东瓷器艺术和遗产

香港理工大学的研究人员利用生成式人工智能作为拓展艺术和文化视野的创新工具,开发了一个名为“粤瓷之美”的创意绘画平台,以传承和教育粤瓷艺术。这款手工装饰瓷器展示了岭南地区独特的民间艺术,凸显其复杂而精致的绘画技术,体现了中国传统工艺文化的丰富底蕴和匠心独运。

人工智能有助于检测抗生素耐药性

由苏黎世大学医学微生物学研究所教授阿德里安-埃格利(Adrian Egli)领导的研究小组首次研究了如何利用由 OpenAI 开发的 GPT-4 来分析抗生素耐药性。在 GPT-4 的基础上,他们创建了“EUCAST-GPT-expert”,严格遵循 EUCAST(欧洲抗菌药物敏感性检测委员会)的指导方针来解释抗菌药物耐药性机制。通过结合最新数据和专家规则,该系统在数百个细菌分离物上进行了测试,帮助识别对救命抗生素的耐药性。

检查皮肤癌的人工智能模型大有可为

来自安格利亚鲁斯金大学、Check4Cancer、埃塞克斯大学和阿登布鲁克医院的科学家,根据 25105 名患者的 53601 个皮肤病变的数据开发了一种使用人工智能来检查皮肤癌的方法。研究显示,该 AI 工具的性能优于现有检测方法。

学术头条
致力于学术传播和科学普及,重点关注AI4Science/大模型等前沿科学进展。
 最新文章