硅兔荐书｜超越人脑，AI尚需跨越的三大里程碑（内含福利）

创业 2024-11-24 16:53 中国香港

《奇点更近》

[美] 雷·库兹韦尔（Ray Kurzweil）著

超人类AI，将如何发展？《奇点更近》作者雷·库兹韦尔认为，在AI最近几年的发展中，我们已经在大步朝着重建新皮质能力的道路前进。然而，今天的AI还存在一些不足之处。在模拟甚至超越人脑之前，还需跨越三大里程碑。

#01

情境记忆

在一段对话或一篇文章中，我们需要理解并跟踪不同想法之间复杂且不断变化的关系。当我们试图连接的上下文范围扩大时，这些想法间的关系网络会以指数形式暴增。正如本章一开始提到的“复杂性的上限”所描述的，要让大语言模型处理更大的上下文范围，计算量会变得相当庞大。例如，一个句子中有10个类词概念（即符号），它们的子集之间可能形成的关系就有210-1，即1023种。如果一个段落有50个这样的单元，那么它们之间可能的上下文关系可以达到近1.12千万亿种。虽然大部分都是不相关的，但通过粗暴记忆整个章节或一本书显然是不现实的。这也是GPT-4在之前的对话中可能会忘记某些内容，以及它为何无法写出情节严谨、逻辑一致的小说的原因。

好消息是，我们在两个方面取得了积极进展：一是研究者们在设计能够更高效地关注上下文信息的AI方面取得了巨大进展；二是随着计算性价比的指数级提升，未来10年内计算成本将下降逾99%。而且，借助算法改善和针对大语言模型开发的专用硬件，其性价比提升速度可能会比一般情况更快。拿2022年8月至2023年3月的情况来看，通过GPT-3.5接口的输入/输出代币的价格降低了96.7%。随着AI被直接用于优化芯片设计，我们有理由相信价格下降的趋势将会进一步加速。

#02

常识理解能力

这项能力涉及在现实世界中设想不同场景，并预测可能后果的能力。例如，尽管你可能从未专门研究过，如果重力在你的卧室突然不起作用会发生什么情况，但你还是能够快速构想出这一幻想场景，并对可能的后果做出推断。这种推理对于因果推理同样至关重要，比如你有一只狗，当你回家发现一只花瓶碎了，你能够迅速判断发生了什么。虽然AI越来越频繁地显示出惊人的洞察力，但它在常识方面依然挣扎不前，因为它尚未构建出一个关于现实世界如何运作的强有力模型，且训练数据也鲜少包含这类隐性知识。

#03

社交互动

社交互动的微妙之处，如讽刺的语调，是目前AI训练所依赖的文本数据库中一个尚未很好体现出来的方面。若缺乏这种理解，形成“心智理论”，即意识到其他人拥有不同于自己的信念和知识，能够设身处地为他人着想，并推断他们的动机，将是一项艰巨的任务。然而，AI在这一领域已经取得了显著的进展。在2021年，谷歌的布莱斯·阿奎拉·阿尔卡斯（Blaise Agüeray Arcas）研究员向LaMDA展示了一个用于检验儿童心理学心智理论的经典场景。在这个场景中，爱丽丝将眼镜遗忘在抽屉里，然后离开房间；在她不在的时候，鲍勃将眼镜从抽屉中取出，藏在一个靠垫下面。关键问题是：爱丽丝回来时会去哪里寻找她的眼镜？

LaMDA正确地回答了她会在抽屉里寻找。短短不到两年时间，PaLM和GPT-4已经能够准确回答许多关于心智理论的问题。这一能力将使AI极具灵活性：人类围棋冠军不仅可以游刃有余地玩好围棋，还能关注周围人的状态，适时开玩笑，甚至在有人需要医疗帮助时，灵活地中断比赛。

#结语

我对于AI不久将在所有这些领域逐步缩小差距的乐观预期，是基于三个并行的指数级增长趋势：计算性价比的提升，这使得训练庞大的神经网络所需的成本更低；可用的训练数据变得更多、更广泛，使得我们可以更好地利用训练计算周期；算法的改进，让AI能够更高效地学习和推理。从2000年开始，相同成本下，计算速度大约每隔1.4年就会翻一番，而自2010年以来，用于训练先进AI模型的总计算量则是每5.7个月翻一番。这大约是100亿倍的增长。

相比之下，在深度学习技术崛起之前的1952年（第一批机器学习系统之一的演示，比感知机开创性的神经网络推出早6年）至2010年大数据兴起的这段时期，训练顶尖AI所需的计算量几乎是每两年翻一番，这大体上与摩尔定律相一致。换个角度来看，如果1952年至2010年的趋势持续到2021年，计算量的增长将不到75倍，而不是大约100亿倍。这比整体计算成本性能的改进要快得多。因此，这并非仅仅是硬件革命带来的结果。主要原因有两个：首先，AI研究者们在并行计算方面进行了创新，使得更多的芯片可以协同解决同一个机器学习问题。其次，随着大数据让深度学习变得更加有用，全球投资者也在加大对这一领域的投入，以期实现突破。

近年来训练总支出不断增长，反映出有用数据的范围在不断扩大。直到最近几年，我们才敢断言：任何一种能够产生足够清晰的绩效反馈数据的技能都可以转化为深度学习模型，从而推动AI在所有能力方面超越人类。

人类的技能无穷无尽，但这些技能在训练数据的易得性上却千差万别。一些技能的数据既容易通过量化指标来评判，且相关信息搜集起来也不费吹灰之力。拿国际象棋为例，比赛结果非胜即败，或以平局收场，而棋手的ELO等级分制度则为评价对手的实力提供了量化指标。此外，国际象棋的数据也易于搜集，因为棋局明晰无误，可以表示为一系列数学步骤。而有些技能虽说原则上可以量化，但实际搜集和分析数据更具挑战。例如，在法庭上辩护，尽管结果是明确的胜或者败，但我们很难清晰辨析这胜负是由律师的个人能力决定的，还是有其他因素（如案件性质或陪审团偏见）影响了结果。更有甚者，一些技能甚至难以量化，比如诗歌写作的质量，或是一本悬疑小说的悬疑程度。不过即便遇到这类例子，我们依然可以设法用代理指标来为AI“上课”。诗歌读者可以通过100分满分的系统来评价一首诗的美感，而功能性磁共振成像或许能够揭示他们大脑的活动程度。心率监测或皮质醇水平的变化，可能成为读者对悬念反应的晴雨表。因此，即使是不甚完美或间接的度量指标，只要数据量充足，依然能指导AI不断进步。要找出这些度量指标，就需要我们发挥创意并不断试验。

总之，数据的可用性为实现超越人类的智能提供了一条越来越清晰的路径。这无疑给寻找和搜集那些曾被视为难以企及的数据提供了强大的经济驱动力。

本文节选自《奇点更近》

奇点更近了！全球知名未来学家雷·库兹韦尔重磅新作《奇点更近》中文版上市！

雷·库兹韦尔，被比尔盖茨称为“最擅长预测人工智能未来的人！”他曾经成功预测了：互联网扩张、人工智能打败围棋冠军、人脸识别、3D打印、虚拟现实......20多年前他的《奇点临近》被称为人工智能奇书，20多年后的《奇点更近》则集结了他60年的人工智能研究。

14个重塑世界20年的神预测，3个事关人类命运的紧迫问题
当人与AI大融合时，我们的商业、生活、工作与健康将如何迎来增长繁荣
AI将在202？年通过图灵测试
人类将在20？？年迈入奇点
第一个活到一千岁的人已经诞生？
下载知识到大脑还有不到？年
“数字永生”就在下一个？年

《奇点更近》是一本关于技术将如何重塑未来、推动人类走向奇点的科学巨著，一幅AI时代更新、更科学、充满希望的生存指南与富足路线图，也是一部颠覆技术悲观主义，带来新希望的深度之作，将会挑战你对科技、生命与未来的所有认知。

《人类简史》作者尤瓦尔 · 赫拉利也赞叹《奇点更近》是对人类未来的一次迷人探索。人类迈向奇点的千年征程已经步入冲刺阶段，你准备好了吗！

📖硅兔福利来袭：

你对节选内容的看法是什么？留言+关注下方「硅兔君」公众号

我们将抽取 3 名幸运读者，送出经典好书一本～

英伟达三季度净赚千亿！每分钟到帐109万，Blackwell已发货

Get Rich

点赞+在看，搞钱稳赚！

http://mp.weixin.qq.com/s?__biz=MzI4MDUzMTc3Mg==&mid=2247621758&idx=2&sn=bf40a5f08b80021678230275314c7581

硅兔赛跑

50万创投人关注的硅谷风向标

最新文章

浴火五年，800余岁巴黎圣母院重生！马斯克激动转发

硅兔荐书｜超越人脑，AI尚需跨越的三大里程碑（内含福利）

财报速览！营收翻倍股价暴跌，英伟达Q3到底输在哪？

万字长文拆解！全球最有潜力的50家初创榜单，看懂未来五年风口

医疗设备公司Zenflow完成2400万美元C轮融资｜硅兔星项目

58岁泰森迎战27岁网红，拳王输了比赛，赢了4.2亿

蜘蛛侠嗜酒成瘾“自救式”创业，无酒精啤酒全球爆火

11月23日，来虎嗅F&M创新节开Party！内赠专属门票｜硅兔推荐

奥特曼专访自曝：OpenAI将实现AGI第三级，一人也能打造10亿独角兽

11月中，纽约·曼哈顿&美东顶尖学府，AI与数字商业线下交流会 | UpScaleX加速器重磅推出

跌跌不休！风衣巨头难成顶奢，Burberry要被卖了

北美「最后一公里」大变革，商家如何从物流降本增效？｜硅兔活动

川普上任第一把火，先烧马斯克？

硅谷2024最疯狂投资：押注下一任美国总统

要打败WhatsApp的社交平台，还没发布就让GenZ疯狂上头

硅兔荐书｜比尔·盖茨推荐，一本书读懂21世纪最大困境（内含福利）

19岁辍学创业，英国最年轻的亿万富翁是怎样炼成的

喜报｜UpHonest Capital合伙人兼COO谈冶祯登上【2024福布斯中国·最具影响力华人精英TOP 100】

北美创投圈洗牌？20位风险投资家重新站位

就在明天！千亿北美流媒体市场，短剧出海能分多少羹?｜硅兔对话创始人

失去灵魂人物后，Off-White走向大败局

比尔·盖茨认证的AI领域最牛大佬，发布新20年的AI预言

商业智能自动化工具Rollstack完成1100万美元A轮融资｜硅兔星项目

刚上线就被玩疯！一键为表情包照片写歌，这个AI简直太上头

a16z Demo Day现场直击！32家AI创企齐聚，解读北美游戏三大新趋势｜硅兔独家

巨头抢布局，VC狂撒钱，为了能让「AI读心」这些公司卷疯了

AI保险管理公司COVU完成1250万美元A轮融资｜硅兔星项目

特斯拉发布Cybercab！无方向盘和油板、成本3万美金，2025年投产

Whole Foods创始人七旬再创业，北美最贵的健康中心给你亿点震撼

成立一年即盈利的AI公司，估值2.5亿美元

「海外版豆瓣」爆火！5亿条赛博日记，重塑北美社交媒体

对话创始人：Velotric张曦，北美E-bike领先之道｜硅兔活动

万亿超级独角兽诞生！OpenAI宣布463亿新融资，估值超11000亿

10月你不能错过的AI大会，2024硅谷101科技大会亮点预览｜硅兔推荐

YC S24 完整项目清单来了！190家AI项目一览｜硅兔独家

自动驾驶卡车公司Bot Auto宣布完成2000万美元Pre-A轮融资｜硅兔星项目

Meta深夜炸场：首款天价AR眼镜问世！真机上手，黄仁勋亲自站台

硅谷创业观察：拐点之下，北美创业者生存指南

三次错失风口！OpenAI前员工杀回AI编程赛道，老东家捧金相助

2024 HYSTA年会10月5日硅谷盛大揭幕，限量优惠门票火热放送中｜硅兔推荐

硅谷YC 2024：半年诞生300+ AI初创！华裔AI创业者杀疯了

英特尔，赶不上AI芯片末班车

超万亿美元的太空经济背后，谁是最大推手？

独家对话发起人李珎，揭秘爆火AI工程师Replit Agent，分分钟用手机创造APP

鸽子开导弹，死鱼会游泳，把虫子灌醉…今年的搞笑诺奖来了

销售税解决方案Zamp完成1000万美金A轮融资｜硅兔星项目

“AI Phone”来了！苹果巅峰之作，一文看完苹果发布会

9个人的文生图公司，2500万用户，净利润百万美元

创立3家公司，2次被谷歌收购，1家成功上市：多邻国之父的不凡之路

三位哈佛00后联手创业，7个月拿下亿元估值

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉