云栖Day1重磅合集! Qwen2.5-72B成为全球最强开源模型

科技   2024-09-20 16:09   北京  

(本文转载于阿里云)



今天,2024云栖大会正式开幕
通义千问重磅开源Qwen2.5
性能超越Llama 405B
继续稳居最强开源大模型位置

在MMLU-redux等十多个基准测评中,Qwen2.5-72B表现超越Llama3.1-405B


Qwen2.5 模型支持高达 128K tokens,可生成最多 8K tokens的内容。旗舰模型Qwen2.5-72B-Instruct在MMLU-redux、MATH、MBPP、LiveCodeBench、Arena-Hard、AlignBench、MT-Bench、MultiPL-E等权威测评中表现出色,在多个核心任务上,以不到1/5的参数规模超越了Llama3.1的4050亿参数开源模型









2024云栖大会首日重点速览









今天上午,阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭在2024云栖大会上发表主题演讲。


 

过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。



欢迎来到2024云栖大会。在刚刚过去的夏天,阿里云全面支撑巴黎奥运会实现了历史性突破,云计算首次超越卫星,成为奥运主要转播方式。AI也首次广泛应用于奥运会。今天,云栖大会的焦点也是AI。我主要分享三点内容:


第一,过去22个月,AI发展的速度超过任何历史时期,但我们现在依然还处于AGI变革的早期阶段。


大模型技术快速迭代,技术可用性大幅提升。大模型已经具备了文本、语音、视觉的多模态能力,能够开始完成复杂指令。去年,大模型还只能帮助程序员写简单的代码,今天已经能直接理解需求,完成复杂的编程任务。去年,大模型的数学能力还只有中学生水平,今天已达到国际奥赛金牌水平,并在物理、化学、生物等多方面学科接近博士水平。


同时,模型推理成本指数级下降,已经远远超过摩尔定律。一年来,通义千问API在阿里云百炼上的调用价格下降了97%,百万Tokens调用花费最低已经降到了5毛钱。推理成本是应用爆发的关键问题,阿里云会努力把成本继续降下去。


开源生态蓬勃发展。今年6月,通义千问开源Qwen2,迅速登顶Huggingface的全球开源模型排行榜。在Huggingface上,Qwen的原生和衍生模型接近5万个,排名全球第二。阿里云魔搭社区上有超过1万个模型、服务了超过690万开发者。


这一切才刚刚开始,要实现真正的AGI,下一代模型需要具备更大规模、更通用、更泛化的知识体系,同时也将具备更复杂更多层次的逻辑推理能力。全世界先进模型竞争的投入门槛,将达到数十亿、数百亿美金的级别。AI具备创造能力、帮助人类解决复杂问题的路径清晰可见,也打开了AI在各行业场景中广泛应用的可能性。


第二,AI最大的想象力不在手机屏幕,而是接管数字世界,改变物理世界。


今天很多行业内人士一直在想AI最大的应用是什么,可能一直在想手机上有什么AI时代创新的超级APP。但我们认为AI最大的想象力绝对不是在手机屏幕上,AI最大的想象力是在通过渗透数字世界、接管数字世界,并改变物理世界,这才是AI最大的想象力。


我们不能只停在移动互联网的视角看未来。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。


过去三十年,互联网浪潮的本质是连接,互联网连接了人、信息、商业和工厂,通过连接提高了世界的协作效率,创造了巨大的价值,改变了人们的生活方式。但生成式AI是通过生产力的供给创造了新的价值,从而为世界创造了更大的内在价值,也就是总体提高了整个世界的生产力水平。这种价值创造,可能是移动互联网连接价值的十倍、几十倍。


我们认为生成式AI将逐渐渗透数字世界,并接管数字世界,物理世界的大部分事物都会具备AI能力,形成下一代的具备AI能力的全新产品,并与云端AI驱动的数字世界连接产生协同效应。


很长一段时间,AI的焦点主要集中在模拟人类的感知能力,比如自然语言理解、语音识别、视觉识别。但是生成式AI的崛起,带来了质的飞跃,AI不再仅仅局限于感知,而是首次展现了思考推理和创造的力量。


生成式AI让世界有了一个统一的语言——Token。它可以是任何文字、代码、图像、视频、声音,或者是人类千百年来的思考。AI模型可以通过对物理世界数据的Token化,理解真实世界的方方面面,比如人类行走、奔跑、驾驶车辆、使用工具,绘画、作曲、写作、表达、教学、编程的技巧,甚至是开公司创业。理解之后,AI就可以模仿人类去执行物理世界的任务。这将带来新的产业革命。


我们看到,汽车行业正在发生这样的变革。之前的自动驾驶技术,是靠人来写算法规则,几十万行代码,仍然无法穷尽所有的驾驶场景。采用“端到端”的大模型技术训练后,AI模型直接学习海量人类驾驶视觉数据,让汽车具备了超越大部分司机的驾驶能力。


机器人将是下一个迎来巨变的行业。未来,所有能移动的物体都会变成智能机器人。它可以是工厂里的机械臂、工地里的起重机、仓库里的搬运工、救火现场的消防员、包括家庭里的宠物狗、保姆、助理。


未来,工厂里会有很多机器人,在AI大模型的指挥下,生产机器人。现在每个城市家庭里有一辆或者两辆车,未来每个家庭可能会有两三个机器人,帮助人们提升生活当中的效率。


可以想见,AI驱动的数字世界连接着具备AI能力的物理世界,将会大幅提升整个世界的生产力,对物理世界的运行效率产生革命性的影响。


第三,AI计算正在加速演进,成为计算体系的主导。


无论是我们看到端侧的计算,还是云端的世界,这都是一个非常明显的趋势。生成式AI对数字世界和物理世界的重构,将带来计算架构的根本性变化。过去几十年,CPU主导的计算体系,正在加速向GPU主导的AI计算体系转移。未来几乎所有的软硬件都会具备推理能力,它们的计算内核将变成GPU AI算力为主、CPU传统计算为辅的计算模式。


我们看到,在新增算力市场上,超过50%的新需求由AI驱动产生,AI算力需求已经占据主流地位。这一趋势还会持续扩大。过去一年,阿里云投资新建了大量的AI算力,但还是远远不能满足客户的旺盛需求。


今天我们接触到的所有客户、所有开发者、所有CTO,几乎都在用AI重构自己的产品。大量新增需求正在由GPU算力驱动,大量存量应用也在用GPU重新改写。在汽车、生物医药、工业仿真、气象预测、教育、企业软件、移动APP、游戏等行业,AI计算正在加速渗透。在各行各业,看不见的新产业革命正在悄然演进。


所有行业,都需要性能更强、规模更大、更适应AI需求的基础设施。


阿里云正在以前所未有的强度投入AI技术研发和基础设施建设。我们的单网络集群已拓展至十万卡级别,正在从芯片、服务器、网络、存储到散热、供电、数据中心等方方面面,重新打造面向未来的AI先进基础设施。


从历史经验来看,人们对新技术革命,往往对短期高估,又对长期低估。因为在新技术应用早期,渗透率还比较低,人们经验没有发生过此类事件,大部分人的本能会产生怀疑,这很正常。但新技术革命会在人们的怀疑中成长,让很多人在迟疑中错过。


站在AI时代浪潮的开端,我感到无比兴奋。今天,我们请到大模型、自动驾驶和机器人三个领域的企业家和科学家。他们正在飞奔着用AI重构我们的世界,期待他们的精彩分享。


谢谢大家。希望大家度过一个充实、愉快的云栖。


通往AGI的大模型发展之路



第一场圆桌对话主题为“通往AGI的大模型发展之路”,聚焦当下关于模型最热门的话题。
阶跃星辰创始人、首席执行官姜大昕谈到OpenAI发布O1的意义时表示:“OpenAI发布O1,带来了一个Scaling Law的新方向。过去强化学习都是根据特定场景设计,AlphaGo只能下围棋,AlphaFold只能去预测蛋白质的结构。O1的出现,让RL强化学习通用性和泛化性上了一个大的台阶,而且scale到了一个很大的规模,不妨称之为RL Scaling。这等于找到了一条上限很高的道路。”
清华大学人工智能研究院副院长、生数科技首席科学家朱军谈到AGI实现路径时表示:学术界、产业界有AGI L1-L5的分级。L1相当于聊天机器人,L2叫推理者,可以做复杂问题深度思考的推理。L3叫智能体,从“数字世界”走向“物理世界”。L4是创新者,发现、创造一些新的东西。L5是组织者,某种组织方式更高效来运转。O1在L2的narrow场景下,在一些特定任务下已经实现了人类达到很高阶的智能水平。它确实代表着整个行业巨大的进步”。
同时,月之暗面Kimi创始人杨植麟对投资AI产品给出了几个建议。他认为,最核心的是要对用户有价值。其次还要有增量价值,满足ChatGPT无法满足的用户需求。第三, 随着技术的发展,这个产品市场规模应该越来越大,而不是越来越小。

生成式AI重塑自动驾驶



第二场圆桌对话聚焦大模型在自动驾驶里面的落地进展。


小鹏汽车董事长 CEO何小鹏表示,自动驾驶发展了许多年,只能做到特定场景,比如高速上开或者城市里开。因为它是通过算法人工写规则,一个人无法用规则去面对世界上所有的场景。但端到端的大模型帮助我们提升未来自动驾驶的高度,且拉高下限。到未来的36个月,可以让我们每一个人在每一个城市都像老司机一样开车。


同时,小鹏汽车董事长 CEO何小鹏驾驶“全球首款AI汽车”P7+亮相2024云栖大会,这款车搭载了业内领先的端到端大模型。过去2年,小鹏汽车与阿里云共建的AI算力规模提升超4倍。何小鹏表示,将继续深化与阿里云的AI算力合作,加速推动端到端大模型拓展自动驾驶上限,提升下限。



NVIDIA全球副总裁、汽车事业部负责人吴新宙表示:“端到端大模型对于自动驾驶应用来说,有两个阶段的,这两个阶段都对自动驾驶的上限有比较大的提高。第一个阶段是端到端,在现有的架构上,把上游的模型和下游的模型可以通过一种方式把它连接起来,然后可以用数据的端到端进行训练,这个业界已经有很多的工作在做了。有了这样的能力以后,你可以更多的把自动驾驶的开发变成数据驱动。第二个才是端到端的大模型,把一些通用的大模型真正放到自动驾驶来,可以提高自动驾驶的上限”


人形机器人的“图灵时刻”


 


第三场圆桌对话主题是人形机器人的“图灵时刻”,探讨人形机器人这类物理智能载体,在大模型带动下所发生的变化。


逐际动力创始人张巍认为:“这一代AGI的发展,相比上一代最大的区别,从专用到通用的一个变化。在大模型出来之前,我感觉通用这个词是个贬义词,通用就证明它是没什么用。但是大模型出来以后,大家发现像以前我们这种在专业领域里搜数据、去做专项任务的这种训练的方式是有很大局限性的,要先构建一个通用的基础模型的能力,然后再在上面长出专用的能力,这才是系统化解决泛化性的一个关键。我觉得软件算法的通用性就靠大模型技术,机器人跟物理世界交互的这个通用性,就靠人形机器人”。


北京大学助理教授,北大-银河通用具身智能联合实验室主任、智源学者王鹤表示:“现在的通用机器人,虽然有一些技能,但几乎都是分立的一些小模型。大模型赋能这些技能有几步:第一步是大模型可以作为一个Agent来调用这些API进行长程的任务规划,第二步是大模型可以作为一个Monitor,它看小模型执行过程中有没有出任何错误,及时去终止或者调用别的技能来挽救这些错误,比如药盒掉到地上了,它立马说“你得给它捡起来”;第三步则是最有想象力的端到端,Vision、Language、Action,把动作作为大模型输出的模态,像自动驾驶一样,我们实现一个把通用感知、通用规划或通用执行融为一体的大模型”。


清华大学交叉信息研究院助理教授、星动纪元创始人陈建宇表示:“人形机器人技术分成三大块,就是大脑、小脑和本体。这里面最关键的,我个人认为是小脑的层面,它承接大脑的你的思考、调用硬件本体,真正能帮助我们到这个世界里面干活的。现在人形机器人小脑部分相比于其他几个部分反而是最薄弱的,同时也是技术的不确定性最高的,最没有收敛的。我们希望人形机器人这个小脑,希望它的双腿能够像人一样的又稳又快又灵活,能够帮助我们达到任何一个地方去,我们希望它的双手能够帮助我们上的厅堂、下的厨房,进得工厂,什么都能够去干,做非常灵巧的事情”。


宇树科技创始人、CEO王兴兴对于机器人应用落地表示相对乐观态度,表示:“我觉得到明年,人形机器人在一些固定场景做一些有商业价值的落地应用,基本上问题不大。我个人还是相对乐观,我觉得3年左右,至少全球范围内,有通用型的机器人AI出来的概率还是很大的一件事情。因为跟过去10年不一样,现在整个机器人AI的人才、资金投入都是巨量,都是几百倍甚至上千倍的投入,所以整个时间进展会比较快”。

通义大模型全面升级


 

通义大模型宣布年度升级。通义旗舰模型Qwen-Max全方位升级,性能接近GPT-4o。通义官网和通义APP的后台模型均已切换为Qwen-Max,继续免费为所有用户提供服务。

相比2023年4月的最初的通义大模型,Qwen-Max的性能已今非昔比,理解能力提升46%、数学能力提升75%、代码能力提升102%、幻觉抵御能力提升35%、指令遵循能力提升105%,模型与人类偏好的对齐水平更是有了质的飞跃,提升了700%以上。


 通通义千问三款主力模型再降价

最高降幅85%


 


继5月首次大幅降价后,阿里云百炼平台上的三款通义千问主力模型再次降价。Qwen-Turbo价格直降85%,低至百万tokens 0.3元,Qwen-Plus和Qwen-Max分别再降价80%和50%。其中,Qwen-Plus推理能力追平GPT4,可应用于复杂任务,是效果、速度及成本均衡的最优选择,降价后,Qwen-Plus性价比达到业界最高,同等规模较行业价格低84%。同时,阿里云百炼平台还为所有新用户免费赠送超5000万tokens及4500张图片生成额度。


打造最强AI大基建

 


AI驱动阿里云全系列产品家族升级。最新上线的磐久AI服务器,支持单机16卡、显存1.5T,并提供AI算法预测GPU故障,准确率达92%;阿里云ACS首次推出GPU容器算力,通过拓扑感知调度,实现计算亲和度和性能的提升;为AI设计的高性能网络架构HPN7.0,可稳定连接超过10万个GPU ,模型端到端训练性能提升10%以上;阿里云CPFS文件存储,数据吞吐20TB/s,为AI智算提供指数级扩展存储能力;人工智能平台PAI,已实现万卡级别的训练推理一体化弹性调度,AI算力有效利用率超90%。


阿里云正以AI为中心,全面重构底层硬件、计算、存储、网络、数据库、大数据,并与AI场景有机适配、融合,加速模型的开发和应用,打造一个AI时代的最强AI基建。


开放最先进的大模型


阿里云作为业内最早布局大模型技术的科技公司之一,去年4月发布首个大语言模型通义千问,如今义大模型家族已全面涵盖语言、图像、视频、音频等全模态,性能均跻身世界第一梯队,同时通义模型持续开源,已成为最受企业和开发者欢迎的国产大模型。


 

此次开源的Qwen2.5全系列模型都在18T token数据上进行预训练,相比Qwen2,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-rudex基准(考察通用知识)、MBPP 基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。
同时,Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型,每个尺寸都有基础版本、指令跟随版本、量化版本。同时模型拥有强大的多语言能力,支持中文、英文、法文、西班牙文、俄文、日文、越南文、阿拉伯文等 29 种以上语言。
目前,中国一汽、联想、微博、携程、喜马拉雅、三得利(中国)等30多万企业客户已经接入通义大模型。同时,通义系列大模型自开源以来,成为开发者尤其是中国开发者的首选模型,通义千问开源模型累计下载量已经突破4000万,Qwen系列原生模型和衍生模型总数超过5万个。

通义万相发布全新文生视频模型


通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。即日起,所有用户可通过通义APP及通义万相官网免费体验。

首批上线文生视频、图生视频功能,在文生视频中,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,支持16:9、9:16等多种比例生成;在图生视频功能中,支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。

通义灵码推出全新AI程序员



面向编程场景,阿里云通义灵码再次升级,推出全新AI程序员。从一年前只能完成基础的辅助编程任务,进化到几句话就能完成需求理解、任务拆解、代码编写、修改BUG、测试等开发任务,最快几分钟可从0到1完成应用开发,提升数十倍开发效率。

“我们希望企业和开发者能以最低的成本做AI、用AI,让所有人都能用上最先进的大模型。”阿里云CTO周靖人表示。


2024云栖大会,精彩还在继续
9.19-9.21,持续相约

云栖小镇,不见不散



/ END /

 版块介绍 — 产业之声

 

紧跟产业发展脉搏,我们汇集行业领袖与企业的真实声音,在算力基础设施的规划与布局、能耗优化、大模型能力发展、大模型评测体系、产业应用案例深入研究、新技术与应用趋势前瞻探索等方面,剖析成功案例背后的逻辑与挑战,并提供基于产业深度洞察的策略建议。同时,我们依托于阿里巴巴集团在人工智能领域的全面布局,分享阿里的AI产业生态和应用的实践落地,探讨技术如何重塑产业格局并推动社会经济的转型升级。


推荐阅读

Reading

1、被“套壳”割韭菜,是谁在制造AI焦虑?

2、观察|“兼济天下”与“产业繁荣”:从中法联合声明看中国的“AI力”

3、智能背后的电能保障:GPU算力集群能源挑战的全球视角与中国应对

4、产业之声 | 阿里调研:生成式AI在电商场景的应用、前景与挑战

5、产业之声 | 生成式AI驱动的数据要素价值创造新模式

6、阿里云内部全面推行AI写代码,未来20%代码由通义灵码编写

7、安筱鹏:中国没有“百模大战”,也没有“十模大战”

8、达摩院AI助力农业育种,遗传学分析加速1000倍

9、安全治理与能力发展兼顾并重,Claude 3对中国大模型发展有哪些启示

10、【“人工智能+”深度案例】从智能工厂到ChatBI,雅戈尔的“智能+”实践

11、夸克:大模型时代,创造革新性搜索产品的探索之路

12、数字技术助力国产猕猴桃产业破解“即食”难题

13、AI驱动电商,淘天集团用科技定义商业

14、《自然·医学》刊登中国科学家关键突破:癌症筛查的黄金时代准备就绪

15、安筱鹏:制造业是AI大模型应用的主战场

16、【观点】阿里妈妈万相实验室首发上线 电商进入AI上新新时代

17、数字时代组织管理工具“钉钉HCM”重磅发布

18、产业之声 | 生成式AI驱动的数据要素价值创造新模式

19、产业之声 | 生成式AI在电商场景的应用、前景与挑战

20、产业之声 | 为AI供电-超万卡GPU算力集群的算电协同与零碳发展

21、产业之声 | “软硬兼施,以软带硬” - 缓解“算力焦虑”的模型与芯片协同优化策略

22、产业之声 | 安筱鹏:智算集群的“三个不等式”

23、“形”“型”合璧,恰逢其会-人形机器人是大模型技术的高级呈现形态

24、具身智能系列 | 人形机器人会替代机械臂吗?- 人形机器人在制造业中的定位与价值分析

25、产业之声|大模型问月:首个月球科学多模态专业大模型发布

26、OpenAI o1大模型的技术、安全与应用简析 | 积跬步,虽未至千里,仍指引前行

27、吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界



- END - 


阿里研究院
依托阿里巴巴集团先进的AI科技能力、丰富的应用场景与负责任的技术生态,总结提炼科技发展的案例实践和治理经验,为产业政策制定实施提供科技企业的智识建议。
 最新文章