2024年9月25日,Meta CEO扎克伯格在Meta Connect 2024大会上正式发布了Meta首款AR眼镜原型产品Orion,它的主设备AR眼镜重98克,配备7个微型摄像头,采用Micro LED显示器;光学部分使用衍射光波导方案;镜片使用碳化硅材料,视角场为70度。发布会上,扎克伯格将Orion称之为“世界上最先进的眼镜”
近日,在“计算机图形、显示器和人机视觉界面”方面拥有40多年的经验的近眼显示技术专家卡尔·古塔格(Karl Guttag)在其个人博客上发表题为《Meta Orion AR Glasses (Pt. 1 Waveguides)》的技术分析文章,该文章对“Orion”的“碳化硅波导”进行了深度评测。文章指出了Orion的一些技术缺陷,认为“碳化硅+衍射光波导”并不是理想的解决方案,整体来看,文章对Orion的功能与人因因素的匹配以及其实际应用的有效性表达了深刻的担忧。
以下是该篇文章的中文翻译版,一起来了解一下。
介绍
虽然Meta在Meta Connect上宣布的Orion原型增强现实眼镜引起了广泛关注,但除了70度的视场角(FOV)和使用碳化硅波导之外,技术细节不多。虽然他们对一些普通技术媒体和“影响者”进行了演示,但似乎没有邀请那些可能更具分析能力的增强现实和虚拟现实领域的专家。通过一些Meta的专利、Reddit帖子以及对视频和文章的研究,我能够提取出一些信息。
狂热阶段与技术评测缺失
用尤吉·贝拉的话说,“这就像是一次又一次的似曾相识。”我们经历过类似的情况,苹果Vision Pro从被誉为智能手机的再临到几乎在今年早些时候消失。这次,只有一个更有限的媒体群体获得了访问权限。几乎没有关于显示图像质量或对现实世界影响的批判性分析。我可能持怀疑态度,但我见过数十种不同的衍射波导设计,肯定会有一些问题,但没有任何报告。我预计会存在色彩均匀性和衍射伪影的问题,但在任何文章或视频中都没有提到。更糟糕的是,我至今还没看到有人提到明显的“眼睛发光”问题(稍后会详细讨论)。
The Vergecast播客视频讨论了一些实用性问题及其相关视频《独家:我们与马克·扎克伯格一起尝试了Meta的AR眼镜》,提供了更多关于体验的信息。值得庆幸的是,与Meta或其他(模拟的)通过光学的视频不同,The Verge明确标注了这些视频为“模拟”(以下为屏幕截图)。
据我所知,没有真正的“通过光学”的视频或图片(可能是应Meta的要求)。我找到的所有可能看起来像是通过光学拍摄的图像和视频都是“模拟”的。
另一段信息丰富的视频是亚当·萨维奇的测试节目中的诺姆·陈拍摄的,特别是在他与Meta首席技术官安德鲁·博斯沃斯的采访后的视频最后三分之二。诺姆讨论了演示是在“轨道”上进行的,受限于控制环境下的有限演示。我将在本文中引用博斯沃斯几次,因为他提供了一些信息;虽然他可能有一些营销方面的倾斜,但与前Hololens 2负责人亚历克斯·基普曼不同,他似乎通常是诚实的,后者在Hololens 2的演示中屡次不实(我在多篇文章中记录了,包括Hololens 2及其分辨率数学失败的原因,亚历克斯·基普曼关于视场角的虚假陈述,基普曼在微软的问题,以及Hololens 2显示评估(第2部分:与Hololens 1的比较),或在本博客的搜索功能中输入“基普曼”)。
我并不反对公司进行技术演示。然而,在Meta Connect上强调“原型”而不是“产品”而非在像Siggraph这样的技术会议上,显示出增强现实对Meta的重要性。这无疑邀请了与苹果Vision Pro的比较,而这正是Meta可能的意图。
眼睛发光
我观看了数小时的视频和阅读了多篇文章,至今还没有听到有人提到明显的“眼睛发光”问题(前投影)。人们会谈论社会对这种看起来像眼镜的接受度,以及能看到佩戴者的眼睛,但却没有提到佩戴者眼睛发光的明显问题。这让我感到突兀,因为他们没有提到眼睛发光的问题,而这个问题在所有视频和许多照片中都是显而易见的。
光传输(变暗?)
在许多佩戴Orion眼镜的人们的图像和视频中,光透过率似乎有所不同。很难判断,但似乎有变化。在右侧,两帧图像交替切换,当佩戴者佩戴眼镜时,眼镜会变暗(来自视频《Orion AR眼镜:苹果的最后时光》)。
由于我是在无法控制光照的情况下判断视频和图片,因此无法确切知道光透过率,但可以与其他AR眼镜进行比较。以下是高透光率的Lumus Maximus眼镜,其透过率超过80%,而Hololens 2约为40%,与Orion眼镜的两个变暗水平相比。
以下是Meta视频中的一个静态画面,展示了Orion眼镜的一些个别部分。它们似乎展示了异常黑暗的覆盖玻璃,一个带有驱动电路的变暗快门(可能是液晶)和一堆与波导连接的平面光学元件。在他的视频中,诺姆·陈表示:“我的理解是最前面的层可以像极化层。”这似乎与看起来黑暗的覆盖“玻璃”(可能是塑料)一致,相比之下,变暗快门(液晶几乎是透明的,因为它只是改变光的极化)。
Orion的独特衍射波导
阿克塞尔·黄对Meta Orion波导的分析在Reddit上被翻译并发布为《Meta Orion AR眼镜:光学架构的首次深入研究》,这为我对Meta Orion光学的研究提供了起点,我在很大程度上同意他的发现。根据他展示的图表,他的分析基于Meta Platforms(Meta的专利持有公司)的美国专利申请2024/0179284。下面展示了该申请中的三个图表。
重叠的衍射光栅
看起来Orion使用了在基板两侧都有衍射光栅的波导(见上图FIG. 12A)。在图10中,第一个和第二个“输出光栅”重叠,这表明这些光栅位于不同的表面。根据上面的FIGs 12A和7C,这些光栅位于同一基板的相对两侧。我在其他波导中没有见过这种设计,怀疑这是一种复杂且昂贵的工艺。
正如亚历克斯·黄在他的分析中指出的那样,支持如此宽广的视场角在眼镜形态中需要两个大光栅重叠。下方(左上角)展示了Hololens 1波导,这是大多数其他衍射波导的典型结构。它由一个小的输入光栅、一个(通常是)梯形扩展光栅以及一个更矩形的第二个扩展和输出/退出光栅组成。在Orion(右上角)中,两个较大的光栅有效重叠,使波导适应眼镜的形态。我大致将Hololens 1和Orion的波导定位在与眼睛的相同垂直位置。
上图(左下角)还展示了Orion的波导晶圆,我用它来生成光栅的轮廓,右下角的图片显示了Orion的眼部发光中的两个衍射光栅。
光线从波导的“错误侧”进入
专利申请的图12A和7C令人好奇,因为投影仪位于波导的另一侧,与眼睛/输出相对。这暗示投影仪是在眼镜外部,而不是隐藏在与眼睛同侧的镜腿内。
Meta的Bosworth在《我尝试过的最疯狂的科技——Meta Orion》中提到:“因此,这个堆叠[指向透明塑料原型眼镜的角落]实际上会变得更薄,大约是原来的一半。因为投影仪是在那个点从后面进来的。”
根据Bosworth的说法,一些光学设计将光从镜腿的投影仪引导到波导的前面,这需要更厚的镜框。Bosworth表示,下一代的波导将能够接收来自波导后侧的光。我推测,让波导以这种方式工作更加困难,否则他们早就可以做到,而不需要在Orion上使用更厚的镜框。
差异校正(在专利申请中显示,但在Orion中未见)
Meta的申请2024/0179284虽然展示了波导的许多其他细节,但主要涉及“差异校正”。Bosworth在几次采访中(包括这里)提到,Orion没有差异校正,但他们计划在未来的设计中加入。Bosworth描述说,差异校正旨在纠正框架的任何弯曲(或其他对齐问题),以免导致波导(及其相对于眼睛的图像)移动。他似乎暗示,这将使Meta能够使用更薄且可能具有一定弯曲的框架。
半圆形入口光栅
Wong在Reddit文章中也注意到,晶圆上可见的小输入/入口光栅看起来像是被截断的圆形,并评论说:
然而,如果耦合光栅确实是半月形状,那么光源输出的光点也可能是这种形状。我个人猜测,这种设计主要是为了减少在耦合点常见的SRG问题,即耦合光被耦合光栅二次衍射的现象。
单波导用于所有三种颜色?
魔法跳跃的应用展示了三个叠加的波导。专利申请似乎表明,Orion使用的是一个(双面)波导来处理所有三种颜色(红色、绿色和蓝色)。大多数具有较大视场的全色衍射AR眼镜通常会堆叠三个(红、绿、蓝——例如Hololens One和Magic Leap 1&2)或两个波导(红+蓝和蓝+绿——例如Hololens 2)。Dispelix则有单层全色衍射波导,视场可达50度。
Magic Leap 应用展示了三个叠加的波导
碳化硅波导基材
使用碳化硅作为波导的想法并非Meta独有。下面的图片来自《获取AR/VR中的大图》,讨论了使用高折射率材料(如铌酸锂和碳化硅)制造波导的优势。众所周知,使用更高折射率的基材可以支持更宽的视场,正如下面的图所示。然而,正如Bosworth所指出的,生长碳化硅晶圆的成本非常高。这些晶圆也小得多,使得每个晶圆上可制造的波导数量更少。从Meta的晶圆图片来看,它们每个晶圆仅能获得四个波导,而在更大且便宜的玻璃晶圆上,可以制造十个或更多的衍射波导。
衍射波导中的“彩虹伪影”示例
衍射波导常见的问题是,衍射光栅会捕捉现实世界中的光,然后像棱镜一样按波长分散,产生类似彩虹的效果。
衍射波导中的“彩虹伪影”示例
在亚当·萨维奇的《测试》中(约5:10),Bosworth说:“波导本身是纳米蚀刻在碳化硅上,这是一种具有超高折射率的新材料,可以让我们最大限度地减少光子的损失,尽量减少从世界中捕捉到的光子数量,从而减少诸如鬼影、雾霾和彩虹等伪影,同时提供您所需的视场。虽然它不是完全无伪影,但非常接近无伪影。”我欣赏Bosworth在强调其波导技术优势时能够及时修正自己过于夸大的说法(与引言中提到的Hololens的Kipman不同)。如果他们能让一些独立专家研究并给出意见,我会更加放心。
狂热期与技术评测缺乏
广视场与低分辨率的奇怪组合
关于Orion的非常低的角分辨率(每度仅13个像素,覆盖70度的视场)几乎没有讨论(这是我下一篇关于Orion的文章的主题)。这大约对应720x540像素的显示分辨率。
光学AR与透视AR——Orion与Vision Pro的对比
Meta的Orion演示表明光学AR(例如Orion)和非相机透视AR(如Apple Vision Pro)是长期的理想设备。它强调,没有任何透视摄像头和显示组合能够在动态范围、分辨率、双眼立体视差和无限聚焦深度方面与现实世界的视图相媲美。
结论
我理解Meta在展示中表达的是,如果金钱不是问题,我们能做些什么。他们似乎过于关注广阔视场的问题。我担心衍射硅碳波导在短期和长期内都不是正确的解决方案。显然,他们无法推出具有显著“眼睛发光”问题的消费产品。
逃离实验室
Orion似乎符合“逃离实验室”的定义。引用2012年的文章:
“逃离实验室”——这是展示一种产品概念,该概念由于成本、寿命/可靠性、尺寸、设定不现实(例如需要少数人能负担的特殊房间)和在没有熟练监督的情况下存在危险等原因而高度不实用。有时,演示“逃离实验室”,是因为公司的管理层在一个项目上投入了大量资金,公共演示是试图向管理层证明这些概念至少有一天会吸引消费者。
多年来,我多次使用这个短语,包括《Hololens 2》(Hololens 2视频与Microvision“复活节彩蛋”,加上一些Hololens和Magic Leap传闻),尽管这个产品早已被视为失败产品,官方本月已停止销售。我还评论过(在《Magic Leap评测第一部分——透过衍射光栅的可怕视图》中,见我2019年9月27日的评论),认为Magic Leap One“甚至更像一个实验室项目”。
魔术表演
我也警告过,演示是“魔术表演”。
“绿野仙踪”(视觉)——仔细控制光照、图像大小、观看位置和/或视觉内容,以掩盖明显的缺陷。有时你看到的“魔术表演”与现实世界的使用关系不大。
在我对Hololens 2的早期报道中,我在“演示是魔术表演,以及为什么没有其他问题报告?”部分对此进行了更详细的阐述:
我不断提醒人们“演示是魔术表演”。大多数人被表演所惊艳,或因为成为少数能够尝试新设备的人而感到自豪。许多媒体虽然在写作上很出色,但并不是评估显示器的专家。在经过精心策划的演示中,缺陷和问题往往被忽视,而观察者并没有接受过“看幕后”的训练。
演示内容通常选择那些最能展示设备的内容,以避免可能显示缺陷的内容。例如,充满视觉“噪音”的内容会掩盖图像均匀性和死像素等问题。通常,最具挑战性的测试图案是最简单的,因为人们会立刻发现问题。我通常喜欢使用主要是白色屏幕的图案来检查均匀性,使用主要是黑色屏幕的图案来检查对比度,图案中加入一些细节以展示分辨率,同时有一些大块区域用来检查不必要的反射。例如,可以查看我的测试图案,这些图案可以免费下载。当我尝试支持网页浏览的头显时,我会导航到我的测试图案页面并选择其中一个测试图案。
大多数获得早期设备的公司与制造商之间有着特殊的关系。他们有 vested interest 确保产品成功,无论是为了他们的内部项目,还是希望为该设备开发软件。他们当然不希望被视为给微软带来麻烦。通常,他们会将负面意见指向制造商,而不是公开论坛。
只有经过独立测试的人,利用他们自己的测试内容,才能真正理解Hololens 2的图像质量。