李飞飞：理解世界运作方式是AI的下一步，我们需要从大语言模型转向大世界模型

创业 2024-11-28 10:57 北京

来源丨Z Potentials（ID：zfunding）

图源丨Princeton University

语言中充满了视觉格言。比如，“眼见为实”，“一幅画胜过千言万语”，“眼不见，心不烦”等等。这是因为我们人类从视觉中获取了很多意义。但并不是一直都具备视觉能力。直到大约 5.4 亿年前，所有生物都生活在水面以下，且它们都无法看见。只有随着三叶虫的出现，动物们才能第一次感知到周围阳光的丰富。接下来发生的事情是非凡的。在接下来的 1 千万到 1.5 千万年中，视觉的能力开启了一个被称为寒武纪大爆发的时期，在这个时期，大多数现代动物的祖先出现了。

今天，我们正在经历人工智能（AI）的现代寒武纪大爆发。似乎每周都有一种新的、令人惊叹的工具问世。最初，生成式AI革命是由像 ChatGPT这样的巨大语言模型推动的，它们模仿人类的语言智能。但我相信，基于视觉的智能——我称之为空间智能——更为根本。语言很重要，但作为人类，我们理解和与世界互动的能力在很大程度上基于我们所看到的。

一个被称为计算机视觉的AI子领域长期以来一直致力于教会计算机拥有与人类相同或更好的空间智能。过去 15 年，该领域迅速发展。并且，在以AI以人为本的核心信念指导下，我将我的职业生涯奉献给了这一领域。

没有人教孩子如何看。孩子们通过经验和例子来理解世界。他们的眼睛就像生物相机，每秒拍摄五张“照片”。到三岁时，孩子们已经看过数亿张这样的照片。

我们需要从大型语言模型转向大型世界模型

我们知道，经过数十年的研究，视觉的一个基本元素是物体识别，因此我们开始教计算机这种能力。这并不容易。将一只猫的三维（3D）形状呈现为二维（2D）图像的方式是无穷无尽的，这取决于视角、姿势、背景等。为了让计算机在图片中识别出一只猫，它需要拥有大量信息，就像一个孩子一样。

这一切直到 2000 年代中期才成为可能。那时，被称为卷积神经网络的算法，经过数十年的发展，遇到了现代 GPU 的强大能力以及“大数据”的可用性——来自互联网、数码相机等的数十亿张图像。

我的实验室为这一融合贡献了“大数据”元素。在 2007 年，我们在一个名为 ImageNet 的项目中创建了一个包含 1500 万张标记图像的数据库，涵盖 22000 个物体类别。然后，我们和其他研究人员使用图像及其相应的文本标签训练神经网络模型，使得模型能够用简单的句子描述之前未见过的照片。利用 ImageNet 数据库创建的这些图像识别系统的意外快速进展，帮助引发了现代AI热潮。

随着技术的进步，基于变换器架构和扩散等技术的新一代模型带来了生成性AI工具的曙光。在语言领域，这使得像 ChatGPT这样的聊天机器人成为可能。在视觉方面，现代系统不仅能够识别，还可以根据文本提示生成图像和视频。结果令人印象深刻，但仍然仅限于2D。

为了让计算机具有人类的空间智能，它们需要能够建模世界、推理事物和地点，并在时间和3D空间中进行互动。简而言之，我们需要从大型语言模型转向大型世界模型。

我们已经在学术界和工业界的实验室中看到了这一点的初步迹象。借助最新的 AI 模型，这些模型使用来自机器人传感器和执行器的文本、图像、视频和空间数据进行训练，我们可以通过文本提示来控制机器人——例如，要求它们拔掉手机充电器或制作一个简单的三明治。或者，给定一张 2D 图像，该模型可以将其转化为用户可以探索的无限数量的合理 3D 空间。

应用是无穷无尽的。想象一下，能够在普通家庭中导航并照顾老人的机器人；为外科医生提供不知疲倦的额外帮助；或者在模拟、培训和教育中的应用。这是真正以人为中心的人工智能，空间智能是它的下一个前沿。人类进化了数亿年所取得的成果，现在在计算机中仅需几十年就能出现。而我们人类将是受益者。

本文翻译自：The Economist, https://www.economist.com/the-world-ahead/2024/11/20/fei-fei-li-says-understanding-how-the-world-works-is-the-next-step-for-ai

编译：ChatGPT

http://mp.weixin.qq.com/s?__biz=MjM5OTAzMjc4MA==&mid=2650791903&idx=2&sn=872e8c4d4b454a150f6ba3029e1d1ba0

创业邦

创业邦，国际创新生态服务平台。我们致力于打造全球化的创业生态，深度服务创新经济及其推动者，并为创业者提供一站式解决方案。

最新文章

江西一座小县城，承包了英国“绅士运动”

广汽集团与华为达成深化合作，将推全新高端智能汽车品牌；日产首席财务官据悉将卸任丨汽车交通日报

马斯克开设AI游戏工作室：怒怼政治正确，称要让游戏再次伟大

骑手真实收入揭晓：北上广深高频骑手月入过万

制造业产能过剩，到底怎么个过剩法？

中国大模型生存战：巨头围剿，创业难熬

周鸿祎旗下花房集团被港交所取消上市地位，12月16日摘牌；马云突然现身阿里全球总部新园区；网易否认深圳公司全部裁员丨邦早报

市值2000亿！王卫拿下第四个港股上市公司

华为与北京移动荣获GLOTEL Awards AI高度推荐奖；快手可灵AI软件著作权获批丨AIGC日报

2024向光奖丨年度ESG影响力投资奖荣耀揭晓！

字节有人有云，其他AI企业的生存之道何在？

博世前总裁辟谣吉利送刀要求降价；哪吒汽车创始人回应裁员降薪停工传闻丨汽车交通日报

上海关停湖南裁员，缺个爱买新闻台的马斯克？

这是一个刀口舔血的游戏：有人赚两亿、有人爆仓2000多万……

1500亿快递再上层楼，拼多多引领重画“西邮”

xAI据悉将把“Colossus”数据中心的芯片数量增加一倍；三星否认Exynos 2600芯片取消量产传闻丨智能制造日报

企业家演短剧，周鸿祎第一人

胖东来回应1件羽绒服利润仅3毛；字节起诉涉攻击大模型实习生索赔800万元；乐视《甄嬛传》年度授权商品和服务GMV达数亿元丨邦早报

OpenAI主推的AI PDF工具，一年50万用户，团队只有5个人

马斯克宣布xAI将创立AI游戏工作室：让游戏再次伟大；亚马逊据悉开发视频人工智能模型丨AIGC日报

网红小家电，打工人不伺候了

10年商业分析老炮转身AI创业者，用Data Agent提升企业决策质量

全球首款搭载易三方的旗舰SUV，比亚迪腾势N9内饰公布；现代汽车在美国召回22.6万辆汽车丨汽车交通日报

羽绒服造假背后：花300万雇法人，2元买检验证，江浙白牌多假货

330亿！斯坦福博士联手清华姚班首届毕业生，刚刚敲钟

李飞飞：理解世界运作方式是AI的下一步，我们需要从大语言模型转向大世界模型

朱雀二号改进型遥一运载火箭发射成功；台积电董事称卡塔尔曾邀请公司前往设厂丨智能制造日报

中国两大路边摊顶流，一夜奇袭日本

叶国富“炮轰”抖音电商：大家醒醒吧，1.2万亿真实GMV，却收4000亿广告费；农夫山泉再发辟谣声明；周鸿祎短剧正式发布丨邦早报

“美的太子”再出手，加码家用机器人，90后创始人师从李泽湘

OpenAI获得软银15亿美元的新投资；AI公司格灵深瞳总经理赵勇辞职丨AIGC日报

俞敏洪可以没有董宇辉，但不能没有孙东旭

终于有出海厂商，在“纯”休闲赛道跑出千万级月流水产品了

余承东12月将与“四界”品牌董事长合体直播；华为车BU前首席科学家陈亦伦创业，做具身智能丨汽车交通日报

五问Consumer AI：百亿级公司成长机会在哪？

百万“大劳”上市，华为又要复制一家“赛力斯”？

可灵，快手复仇的决心

我国首座海上储气库正式投产；法国将首次用3D打印建筑，工时缩短，成本高35%丨智能制造日报

《羊了个羊》《砖了个砖》们，一年揽入200亿

“雷军是我大哥”！何小鹏：当年买1亿多美元小米股票，终于赚钱；94岁巴菲特公布后事安排；华为Mate70系列5499元起丨邦早报

2024年Q3并购市场小幅回升，交易量较Q2上升6.07%丨睿兽分析并购季报

首例全程机器人辅助双肺移植手术完成；Anthropic开源“模型上下文协议”MCP丨AIGC日报

手握1000万，为啥加盟不了肯德基、海底捞？

7年等回《白夜破晓》，优酷能过个肥年了

2025款奥迪Q7冰雪运动版SUV上市：限量500辆，指导价74.88万元；宁德时代针对重卡市场推出动力电池新品丨汽车交通日报

奈雪的茶为什么掉队了？

清华博士后用AI做短剧，不做C端“玩具”，瞄准工业级落地

2024创业邦100未来独角兽大会邀你年终相聚丨Crossing the Alps!

AMD有意涉足手机芯片领域，采用台积电3nm工艺；索尼正研发PS5游戏掌机以对抗任天堂Switch丨智能制造日报

夜骑开封的年轻人，没吃过退押金的亏

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉