万字访谈:为什么扎克伯格认为AR眼镜将取代你的手机,幕后揭秘Orion十年研发之路

教育   2024-09-26 09:00   上海  

AR创业者


扎克伯格揭秘:Orion AR眼镜的十年研发之旅。聊产品、聊AR产品现状、聊愿景、聊为什么押注AR未来,细节多到爆炸!Meta的AI愿景:从社交到智能眼镜的多模态交互

Meta的首款AR眼镜Orion终于亮相,关于这款眼镜的幕后研发细节,小扎在最新的播客中:揭示了这款眼镜从概念到即将面市的十年发展历程;分享了他对 AR 眼镜取代手机成为未来主要计算平台的看法,以及他对 AI 在 Meta 产品中日益增长的作用的见解;谈到了与 Ray-Ban 的合作,以及他们如何共同创造出既时尚又技术先进的智能眼镜;对于构建更加沉浸和互动的数字未来的愿景......

目录:

1. Orion AR智能眼镜介绍

2. 从移动设备到AR的平台转移

3. Orion和AR眼镜的愿景

4. 人们升级到AR眼镜的原因

5. 智能眼镜的多种选择

6. Orion的消费者目标

7. Reality Labs的开支和AR的成本

8. 与Ray-Ban的合作

9. Ray-Ban Meta的销售和成功

10. 为Ray-Ban Meta引入AI

11. AR眼镜取代手机

12. 社交媒体上AI内容的涌入

13. AI充满的社交媒体愿景

14. AI是否会导致人际交往减少

15. Threads的成功

16. 与X竞争和新闻的作用

17. 关于AI训练数据和版权的争论

18. AR作为平台的责任

【播客采访文字稿】

Alex Heath: Mark,我们刚刚一起试用了Orion。

Mark Zuckerberg: 是的。你觉得怎么样?

主持人:我们刚刚体验完。感觉真正的AR眼镜终于快要来临了。Orion是你们已经研发了五年多的产品。

小扎:实际上快十年了。

主持人:让我们回到项目开始的时候。当它还在研究阶段时,你在思考什么?这个项目的目标是什么?

小扎:很多想法可以追溯到我们与移动平台的关系。我们已经经历过一次重大的平台转型,因为我们最初是在网络上起步,而不是移动端。移动电话和智能手机大约与Facebook和早期社交媒体同时出现,所以我们并没有真正参与那次平台转型。

但经历了这个过程,我们意识到了一些事情。我们知道网络是一回事,移动又是另一回事。它们各有优缺点。在计算的连续体中,现在你有了可以随身携带的移动设备,这很棒。但它很小,而且会让你从其他互动中抽离出来。这些并不是很好的特点。

我们认识到,就像从计算机到移动设备的转变一样,移动设备不会是终点。一旦我们的公司开始变得稳定,在移动端站稳脚跟,不再明显有倒闭的风险,我就说:"好,让我们为我们认为可能是未来的东西埋下一些种子吧。"移动平台已经定型了。到2012年、2014年时,要以有意义的方式塑造那个平台已经太晚了。我是说,我们做了一些实验,但它们没有成功或者没有取得进展。

很快,我就想:"好吧,我们应该专注于未来,因为就像从桌面到移动的转变一样,未来会有新的可能性。那会是什么呢?"我认为最简单的版本就是你开始在Orion中看到的东西。我们的愿景是一副能做两件根本性事情的普通眼镜。第一是在世界中放置全息影像,带来真实的存在感,就像你与另一个人在一起或在另一个地方一样,或者也许你正和一个人在一起,但就像我们刚才做的那样,你可以调出一个虚拟的乒乓球游戏或其他东西。你可以一起工作。你可以坐在咖啡馆里调出整个工作站的不同显示器。你可以在飞机上或坐在汽车后座上调出一个全屏的电影院。这是很棒的计算能力,能带来完整的存在感,就像无论他们在哪里,你都和人们在一起。

第二件事是,这是AI的理想设备。原因是眼镜独特地能让人们看到你所看到的、听到你所听到的。它们可以给你非常微妙的反馈,可以在你耳边说话,或者显示其他人看不到的无声输入,而且不会让你脱离周围的世界。我认为这一切都会非常深刻。现在,当我们开始时,我原本以为全息影像部分会比AI更早实现。有趣的是,事实证明AI部分实际上比全息影像更早能够大规模生产并且价格合理。

但这就是我们的愿景。我认为这很容易理解,现在已经有10到20亿人每天戴眼镜。就像每个人都升级到智能手机一样,我认为在未来十年内,每个戴眼镜的人都会很快升级到智能眼镜。然后我认为它会变得真的很有价值,许多现在不戴眼镜的人也会开始戴眼镜。

这是简单的版本。然后,随着我们的发展,出现了更多微妙的方向。虽然那是我们想要构建的完整版本,但还有很多事情我们说:"好吧,也许很难以合理的价格制造出能做全息影像的普通眼镜。那我们能做哪些部分呢?"这就是我们与EssilorLuxottica合作的原因。

所以就像是,"好吧,在有显示屏之前,你可以得到看起来普通的眼镜,它可以流媒体播放和捕捉内容,有摄像头、麦克风和很棒的音频。"但此时最重要的功能是能够访问Meta AI,只需要一个完整的AI,而且它是多模态的,因为它有摄像头。这个产品的起价是300美元。起初,我认为,"嘿,这是构建全息眼镜的技术路径。"但现在,我实际上认为这两种长期都会存在。我认为会有人想要全息眼镜,也会有人更喜欢优越的形态因素或更低价格的设备,他们主要是为了优化AI。我还认为中间会有一系列的东西。

所以你刚才看到的是全视野,70度,对于眼镜来说是非常宽的视野。但我认为中间还有其他产品。有一个平视显示器版本,对于那个,你可能只需要20或30度。你不能做全世界的全息图,你不能与物体互动。你不会在30度的视野里玩乒乓球,但你可以与AI交流。你可以给朋友发短信,你可以获取方向,你可以看到你捕捉的内容。

我认为这里有很多令人信服的东西。在这个连续体的每一步,从无显示到小显示再到全息,你都在装入更多的技术。每一步都会稍微贵一点,对形态因素的约束也会更多。尽管我认为我们最终会让它们都变得有吸引力,但你将能够永久地在更小的形态因素中做更简单的事情。当然,还有混合现实头显,它走向了同一愿景的不同方向。但对于那个,我们说:"好吧,我们不会试图让它适应眼镜的形态因素。"对于那个,我们要说:"好的,我们真的要去追求我们想要的所有计算能力,这将更像是一个头显或护目镜的形态因素。"

我猜这也会是一个长期的事情,因为有很多用途人们想要完全沉浸。如果你长时间坐在桌前工作,你可能想要能够获得的计算能力的增加。但我认为毫无疑问,你在Orion中看到的是我认为并继续认为将是下一个主要的数十亿人使用的计算平台的典型愿景。然后所有这些其他东西都将围绕它建立起来。

主持人:据我所知,你最初希望Orion会是一个消费者产品,当你首次着手构建它时。

小扎:是的。Orion本应是我们的第一个消费者产品,我们不确定是否能做到。总的来说,它可能比我们50-50的估计要好得多,但我们并没有在所有我们想要的方面都做到。我们仍然希望它再小一点,再亮一点,分辨率再高一点,而且在我们把它作为产品推出之前要便宜得多。看,我们对所有这些都有了明确的认识。我认为可能原本要成为第二版的东西最终会成为消费者产品,我们将使用Orion与开发者一起基本上培养软件体验,这样当我们准备发布某些东西时,它会更加完善。

主持人:但要明确的是,你根本不出售Orion。我想知道的是,当你在2022年左右做出决定,说Orion将成为一个内部开发套件时,你的感受如何?你有没有任何部分希望"我真希望这就是我们多年来一直在建造的消费者产品"?

小扎:我总是想快速发布东西,但我认为这是正确的做法。对于这个产品,有一套相当明确的约束条件你想要达到,特别是围绕形态因素。对我们来说很有帮助的是,时尚界正流行更厚重的眼镜,因为这让我们能够制造既时尚又具有前沿技术的眼镜。即便如此,我要说这些无疑是眼镜。它们相当舒适。它们不到100克。

主持人:我戴了两个小时,几乎感觉不到。

小扎:我认为我们的目标是制造看起来真的很好的东西,我认为这些是好眼镜,但我希望它再小一点,这样它就能符合真正时尚的标准。当人们看到Ray-Ban时,在时尚方面没有任何妥协。人们喜欢它们的部分原因是你得到了所有这些功能,但即使你不使用它,它们也是很棒的眼镜。对于未来版本的Orion,这也是目标。

大多数时候你在度过一天,你不在计算,或者也许后台正在发生一些事情。它需要足够好,这样你才会想要一直戴在脸上。我觉得我们几乎做到了。我们取得了比世界上任何其他人都多的进展,据我所知,但我们没有完全达到我的标准。同样,在价格方面,这些将比Ray-Ban更贵。里面有更多的技术,但我们确实希望它在消费者价格范围内,而这超出了那个范围,所以我想等到我们能达到那个范围时再发货。

主持人:你是否设想第一个商业版本——无论何时在未来几年内准备好——将是一个你公开销售的面向开发者的产品?还是你希望它准备好面向消费者?

小扎:不,是面向消费者的。

主持人:这就是为什么我在问策略,因为Apple、Snap和其他公司已经决定做面向开发者的产品,并尽早让开发者使用硬件。但你是说你要跳过这一步,直接面向消费者吗?

小扎:我们确实将此作为开发套件使用,但主要是内部使用,也许还有少数合作伙伴。在这一点上,Meta无疑是世界上增强现实、虚拟和混合现实软硬件的首要开发者。所以你可以把它看作是一个开发套件,但我们内部有很多人才,我们也与许多外部人士建立了良好的合作关系,我们可以与他们合作。

我不认为我们需要宣布一个任意开发者都可以购买的开发套件来获得我们需要的人才来构建平台。我们处于一个可以与合作伙伴合作并做到这一点的位置,但这绝对是我们在未来几年要做的事。我们将完善体验,弄清楚我们需要做什么才能在准备发布时真正做到完美。

主持人:关于你在Reality Labs上花费了多少钱,已经有很多报道。你可能没有确切的数字,但如果你要猜测过去10年建造Orion的成本,我们是在谈论50亿美元以上,还是更多?

小扎:是的,可能是。但总的来说,对于Reality Labs,有一段时间很多人认为所有预算都用于虚拟和混合现实。实际上我认为我们已经公开表示,我们的眼镜项目预算比我们的虚拟和混合现实项目更大,但那涵盖了所有项目。所以那是完整的AR,那是无显示的眼镜,我们在Ray-Ban上要做的所有工作,我们刚刚宣布了与EssilorLuxottica的扩大合作。他们是一家很棒的公司。我们与他们合作的体验很好。他们设计了很多很棒的眼镜,与他们一起做更多的事情将会非常令人兴奋。在所有这些方面还有很多工作要做。

主持人:这个合作关系是如何运作的,你们刚刚更新的这个协议,它是如何构建的?这个交易是什么样的?

小扎:我认为这是公司之间的一种承诺,我们对目前的进展感觉很好,我们将一起制造更多的眼镜。与其只做一代然后设计下一代,长期合作允许团队不仅仅要担心一次一件事——"好的,这一个会不会好?然后我们如何在下一个基础上进行改进?"

现在,我们可以开始制定一个跨越多年的多种设备路线图,因为我们知道我们将长期合作。我对此持乐观态度。这有点像我们内部的工作方式。有时候,在早期阶段,你肯定想从每次设备发布中学习,但对于那些你已经承诺的事情,我认为你不希望团队感觉像是"好吧,如果我们没有达到短期里程碑,那么我们就要取消整个项目。"

主持人:你们要购买EssilorLuxottica的股份吗?

小扎:是的,我想我们已经讨论过对他们进行投资。这不会是一件大事。我说这更多是一种象征性的举动。我们希望这成为一个长期的合作伙伴关系,作为其中的一部分,我认为这将是一个很好的姿态。我从根本上非常相信他们。我认为他们将从世界顶级眼镜公司转变为世界主要科技公司之一。我对他们的愿景和我的看法是,如果你想想三星在韩国是如何使韩国成为世界主要手机制造中心之一,我认为这可能是欧洲,特别是意大利成为制造、建设和设计下一个主要计算平台类别的主要中心的最佳机会之一。

他们现在全身心投入其中,这一直是一个有趣的问题,因为他们在这些领域有如此出色的业务和如此深厚的能力。我越来越欣赏他们作为一家科技公司的实力:设计镜片,设计制作时尚眼镜所需的材料,这些眼镜既轻便又舒适。他们带来了大量我们科技界的人可能不一定看到的东西,但我认为他们真的为未来做好了准备。所以我相信这个伙伴关系。我对我们正在一起做的工作感到非常兴奋,从根本上说,我认为这将是一家在未来非常成功的公司。

主持人:它的设置方式是他们控制设计,而你们提供技术栈,还是你们在设计上进行合作?

小扎:我认为我们在所有方面都有合作。合作的一部分是随着时间的推移建立一种共同的文化,那里有很多非常精明的人,我认为可能需要几个版本我们才能欣赏彼此的做事方式。他们真的从"时尚、制造、镜片、销售光学设备"的角度来思考问题。而我们显然是从消费电子、人工智能和软件的角度来看待问题。但我认为,随着时间的推移,我们越来越欣赏彼此对事物的看法。

我经常与他们交谈,听取他们对不同事物的想法。你知道伙伴关系运作良好的标志是当你主动联系他们,寻求他们对目前不在你们合作范围内的事情的意见。我经常这样做,与负责他们可穿戴设备的Rocco [Basilico]和他们的CEO Francesco [Milleri]交流,我们的团队也与那里的大部分工作组这样做。他们是一个很好的团队。他们有共同的价值观。他们非常精明。就像我说的,我相信他们,我认为这将是一个非常成功的合作伙伴关系和公司。

主持人:到目前为止,你们已经卖出了多少Ray-Ban Meta?

小扎:我不知道我们是否公布过具体数字。

主持人:我知道。这就是为什么我在问。

小扎:销售情况非常好。我认为有趣的一点是我们低估了需求。消费电子世界与软件世界有一个很大的不同,那就是软件的供应限制较少。也有一些限制。我的意思是,像我们正在推出的一些东西,比如Meta AI的语音功能,我们需要在推出时进行控制,因为我们需要确保有足够的推理能力来处理它,但从根本上说,我们会在几周内解决这个问题。

但对于制造来说,你要做出具体的决定,比如"好吧,我们是要设置四条还是六条生产线?"每一条都是一个很大的前期[资本支出]投资,你基本上是在事先决定你能够产生供应的速度,而此时你还不知道需求是多少。这次,我们认为Ray-Ban Meta的销量可能会是第一版的三到五倍。我们大大低估了它。

现在,我们处于这样一个位置,实际上很难判断真实需求是多少,因为它们已经售罄了。你买不到。所以,如果你买不到,你怎么知道实际的需求曲线在哪里?我们基本上已经到了解决这个问题的阶段。现在,我们做出了调整,决定建造更多的生产线。这需要一些时间。现在它们已经上线了。这不仅仅是关于能够制造它们;你需要把它们送到所有的商店,把分销做好。我们觉得现在这方面已经做得很好了。

在今年剩下的时间里,我们将开始真正了解需求,但在此期间,由于通过空中人工智能更新,眼镜的功能会不断改进。所以,即使我们不断推出新的镜架,他们也在增加更多的变色镜片,因为人们想在室内戴它们,硬件并不一定会改变。这是一个有趣的事情,因为太阳镜更具有可选择性,所以我认为早期有很多人在想,"嘿,我会用太阳镜来尝试这个。我不会把它们作为我的主要眼镜。"现在,我们看到越来越多的人说,"嘿,这实际上真的很有用。我想能够在室内戴它们。我希望它们成为我的主要眼镜。"

所以,无论是通过光学渠道还是变色镜片与他们合作,这都是一个重要的部分,但人工智能部分也在不断改进。我们在Connect大会上谈到了这一点:在未来几个月内,当我们推出这项功能时,能够进行实时翻译。你在国外旅行,有人用西班牙语对你说话,你就能在耳边得到英语翻译。随着时间的推移,它将推广到越来越多的语言。我想我们一开始会从几种语言开始,随着时间的推移会覆盖更多语言。

主持人:我试过那个。其实,我没有试过实时翻译,但我试过看法语菜单,它把菜单翻译成了英语。然后,在最后,我问:"欧元[价格]换算成美元是多少?"它也做到了。我也开始看到这与Orion的连续性,从实用性方面来说。你可以说,"看看这个,今晚8点提醒我",然后它就会与配套应用同步。

小扎:是的,提醒功能是新增的。

主持人:它并不是要取代手机,而是要增强我用手机可以做的事情。我在想AI应用是否也是进行更多这种互动的地方。这些眼镜将如何随着时间的推移与Meta AI更深入地联系在一起?看起来它们正在越来越紧密地结合。

小扎:嗯,我认为Meta AI正在成为眼镜的一个越来越突出的功能,你可以用它做更多的事情。你刚才提到了提醒功能,这是另一个例子。现在,这个功能就可以使用了,现在你的眼镜可以提醒你各种事情。

主持人:或者你可以看一个电话号码,说"拨打这个电话号码",然后它就会在手机上拨打。

小扎:是的,我们会随着时间的推移添加更多功能,其中一些是模型更新。好的,现在它有了Llama 3.2,但有些是围绕它的软件开发。提醒功能不是仅仅因为我们更新了模型就能免费得到的。我们有这个大型软件开发工作,我们不断添加功能并开发生态系统,所以你会得到更多的应用,比如Spotify,所有这些不同的东西可以更原生地工作。

所以眼镜变得越来越有用,我认为这也会随着时间的推移增加需求。它如何与手机互动?就像你说的,我不认为人们会在短期内放弃手机。我对此的看法是,当手机成为主要的计算平台时,我们并没有放弃电脑。我们只是有所转变。我不知道你是否有这种经历,但在2010年代初的某个时候,我注意到我会坐在桌前,面对着电脑,但还是会拿出手机来做事情。

这并不是说我们要扔掉手机,但我认为会发生的是,慢慢地,我们会开始用眼镜做更多的事情,而把手机更多地留在口袋里。这并不是说我们已经完全不用电脑了,我认为我们在一段时间内也不会完全不用手机,但有一条相当清晰的路径,你就是会用眼镜做越来越多的事情。随着时间的推移,我认为眼镜也能够由基于手腕的可穿戴设备或其他可穿戴设备供电。

所以,10年后的某一天你醒来,你甚至不需要带上手机。现在,你仍然会有一部手机,但我认为大部分时间,人们会把它留在口袋里或包里,或者最终,有时候会把它留在家里。我认为会有这种逐渐的转变,眼镜会成为我们进行计算的主要方式。

主持人:有趣的是我们现在正在讨论这个,因为我觉得手机变得有点无聊和陈旧了。我刚刚看了新iPhone,它基本上和去年的一样。人们在做可折叠手机,但感觉人们已经在手机上没有新点子了,它们已经达到了自然的终点状态。当你看到像Ray-Ban这样的产品,以及人们对它的反应超出了你的......



全文总共1w+字,后续内容为社区会员专属,扫码进入社区直接阅读

本篇内容(核心总结+Q&A梳理+播客采访文字稿)

扫码订阅媒体VIP:

【驶向互联网下一站】是三次方旗下、基于付费订阅的一个创业者内容社区,我们关注科技与商业,重点赋能AI、XR、元宇宙、一人公司方向的创业者,帮你捕捉行业趋势,搞米、找方案、找灵感......

加入VIP社区,你将获得:

1、解锁日更社区,获得过去三年(以及未来一年)所有的会员内容

2、20+专栏体系内容(AI&XR&元宇宙&一人商业....),工具库、方案库、拆解案例、商业分析、趋势解读......

3、免费获得可视化知识导航库(XR+空间计算已完成,一人商业筹划中)

4、链接资源、链接人脉、对接需求5、如何开发票,联系工作人员:XDZ8833 备注发票~~

三次方AIRX
加微:XDZ8833,进万人AI和XR创业者裙。三次方-聚焦下一代互联网的科技产业服务平台!包含媒体服务、智库、社区等业务!面向下一代互联网的创业者社区,关注AI、XR、一人商业等
 最新文章