近眼显示技术专家卡尔·古塔格深度评测Meta Orion

企业   科技   2024-10-08 19:30   广东  

2024年9月25日,Meta CEO扎克伯格在Meta Connect 2024大会上正式发布了Meta首款AR眼镜原型产品Orion,它的主设备AR眼镜重98克,配备7个微型摄像头,采用Micro LED显示器;光学部分使用衍射光波导方案;镜片使用碳化硅材料,视角场为70度。发布会上,扎克伯格将Orion称之为“世界上最先进的眼镜”

近日,在“计算机图形、显示器和人机视觉界面”方面拥有40多年的经验的近眼显示技术专家卡尔·古塔格(Karl Guttag)在其个人博客上发表题为《Meta Orion AR Glasses (Pt. 1 Waveguides)》的技术分析文章,该文章对“Orion”的“碳化硅波导”进行了深度评测。文章指出了Orion的一些技术缺陷,认为“碳化硅+衍射光波导”并不是理想的解决方案,整体来看,文章对Orion的功能与人因因素的匹配以及其实际应用的有效性表达了深刻的担忧。

以下是该篇文章的中文翻译版,一起来了解一下。

介绍

虽然Meta在Meta Connect上宣布的Orion原型增强现实眼镜引起了广泛关注,但除了70度的视场角(FOV)和使用碳化硅波导之外,技术细节不多。虽然他们对一些普通技术媒体和“影响者”进行了演示,但似乎没有邀请那些可能更具分析能力的增强现实和虚拟现实领域的专家。通过一些Meta的专利、Reddit帖子以及对视频和文章的研究,我能够提取出一些信息。

这篇文章将集中讨论Orion的碳化硅衍射波导。我还有很多关于功能与人因因素不匹配的想法,会在接下来的文章中讨论。

狂热阶段与技术评测缺失

尤吉·贝拉的话说,“这就像是一次又一次的似曾相识。”我们经历过类似的情况,苹果Vision Pro从被誉为智能手机的再临到几乎在今年早些时候消失。这次,只有一个更有限的媒体群体获得了访问权限。几乎没有关于显示图像质量或对现实世界影响的批判性分析。我可能持怀疑态度,但我见过数十种不同的衍射波导设计,肯定会有一些问题,但没有任何报告。我预计会存在色彩均匀性和衍射伪影的问题,但在任何文章或视频中都没有提到。更糟糕的是,我至今还没看到有人提到明显的“眼睛发光”问题(稍后会详细讨论)。

The Vergecast播客视频讨论了一些实用性问题及其相关视频《独家:我们与马克·扎克伯格一起尝试了Meta的AR眼镜》,提供了更多关于体验的信息。值得庆幸的是,与Meta或其他(模拟的)通过光学的视频不同,The Verge明确标注了这些视频为“模拟”(以下为屏幕截图)。

据我所知,没有真正的“通过光学”的视频或图片(可能是应Meta的要求)。我找到的所有可能看起来像是通过光学拍摄的图像和视频都是“模拟”的。

另一段信息丰富的视频是亚当·萨维奇的测试节目中的诺姆·陈拍摄的,特别是在他与Meta首席技术官安德鲁·博斯沃斯的采访后的视频最后三分之二。诺姆讨论了演示是在“轨道”上进行的,受限于控制环境下的有限演示。我将在本文中引用博斯沃斯几次,因为他提供了一些信息;虽然他可能有一些营销方面的倾斜,但与前Hololens 2负责人亚历克斯·基普曼不同,他似乎通常是诚实的,后者在Hololens 2的演示中屡次不实(我在多篇文章中记录了,包括Hololens 2及其分辨率数学失败的原因,亚历克斯·基普曼关于视场角的虚假陈述,基普曼在微软的问题,以及Hololens 2显示评估(第2部分:与Hololens 1的比较),或在本博客的搜索功能中输入“基普曼”)。

我并不反对公司进行技术演示。然而,在Meta Connect上强调“原型”而不是“产品”而非在像Siggraph这样的技术会议上,显示出增强现实对Meta的重要性。这无疑邀请了与苹果Vision Pro的比较,而这正是Meta可能的意图。

令人有些失望的是,他们也只与选择的“受邀媒体”分享演示,而这些媒体大多缺乏深厚的显示技术专业知识,容易被“好的”演示操控(见附录:“逃离实验室”和“演示是一场魔术表演”)。他们自然会倾向于手下留情,以便保持对Meta和其他主要公司新产品发布的访问权限。因此,关于虚拟显示的图像质量或通过波导观察时的任何报告问题的信息都没有。

眼睛发光

我观看了数小时的视频和阅读了多篇文章,至今还没有听到有人提到明显的“眼睛发光”问题(前投影)。人们会谈论社会对这种看起来像眼镜的接受度,以及能看到佩戴者的眼睛,但却没有提到佩戴者眼睛发光的明显问题。这让我感到突兀,因为他们没有提到眼睛发光的问题,而这个问题在所有视频和许多照片中都是显而易见的。

眼睛发光是衍射波导设计师多年来一直在尝试减少或消除的问题。而Lumus反射波导则本质上几乎没有眼睛发光的问题。Vuzix、Digilens和Dispelix强调他们在减少衍射波导眼睛发光问题方面的努力(参见前投影(“眼睛发光”)和消除“眼睛发光”的全景倾斜技术)。然而,这些大大减少眼睛发光问题的衍射波导设计的视场角相对较小(25-35度)。而Orion的设计支持非常宽广的70度视场角,同时还试图使其适应“典型”(尽管笨重)的眼镜框架;我怀疑为了满足尺寸和视场角的要求,设计方法使得“眼睛发光”问题无法得到解决。

光传输(变暗?)

在许多佩戴Orion眼镜的人们的图像和视频中,光透过率似乎有所不同。很难判断,但似乎有变化。在右侧,两帧图像交替切换,当佩戴者佩戴眼镜时,眼镜会变暗(来自视频《Orion AR眼镜:苹果的最后时光》)。

 由于我是在无法控制光照的情况下判断视频和图片,因此无法确切知道光透过率,但可以与其他AR眼镜进行比较。以下是高透光率的Lumus Maximus眼镜,其透过率超过80%,而Hololens 2约为40%,与Orion眼镜的两个变暗水平相比。

以下是Meta视频中的一个静态画面,展示了Orion眼镜的一些个别部分。它们似乎展示了异常黑暗的覆盖玻璃,一个带有驱动电路的变暗快门(可能是液晶)和一堆与波导连接的平面光学元件。在他的视频中,诺姆·陈表示:“我的理解是最前面的层可以像极化层。”这似乎与看起来黑暗的覆盖“玻璃”(可能是塑料)一致,相比之下,变暗快门(液晶几乎是透明的,因为它只是改变光的极化)。

如果它确实使用基于极化的变暗结构,那么在查看基于极化的显示器(如基于LCD的电脑显示器和智能手机)时,这将会造成问题。

Orion的独特衍射波导

阿克塞尔·黄对Meta Orion波导的分析在Reddit上被翻译并发布为《Meta Orion AR眼镜:光学架构的首次深入研究》,这为我对Meta Orion光学的研究提供了起点,我在很大程度上同意他的发现。根据他展示的图表,他的分析基于Meta Platforms(Meta的专利持有公司)的美国专利申请2024/0179284。下面展示了该申请中的三个图表。

重叠的衍射光栅

看起来Orion使用了在基板两侧都有衍射光栅的波导(见上图FIG. 12A)。在图10中,第一个和第二个“输出光栅”重叠,这表明这些光栅位于不同的表面。根据上面的FIGs 12A和7C,这些光栅位于同一基板的相对两侧。我在其他波导中没有见过这种设计,怀疑这是一种复杂且昂贵的工艺。

正如亚历克斯·黄在他的分析中指出的那样,支持如此宽广的视场角在眼镜形态中需要两个大光栅重叠。下方(左上角)展示了Hololens 1波导,这是大多数其他衍射波导的典型结构。它由一个小的输入光栅、一个(通常是)梯形扩展光栅以及一个更矩形的第二个扩展和输出/退出光栅组成。在Orion(右上角)中,两个较大的光栅有效重叠,使波导适应眼镜的形态。我大致将Hololens 1和Orion的波导定位在与眼睛的相同垂直位置。

上图(左下角)还展示了Orion的波导晶圆,我用它来生成光栅的轮廓,右下角的图片显示了Orion的眼部发光中的两个衍射光栅。

需要注意的是,虽然Hololens 1的视场角只有Orion的一半,但两个出口光栅的大小相似。Hololens 1的出口光栅之所以如此大小,是因为Hololens 1有足够的眼距以支持大多数佩戴眼镜的人。眼睛与光栅的距离越远,为了实现给定的视场角,光栅需要越大。

光线从波导的“错误侧”进入

专利申请的图12A和7C令人好奇,因为投影仪位于波导的另一侧,与眼睛/输出相对。这暗示投影仪是在眼镜外部,而不是隐藏在与眼睛同侧的镜腿内。

Meta的Bosworth在《我尝试过的最疯狂的科技——Meta Orion》中提到:“因此,这个堆叠[指向透明塑料原型眼镜的角落]实际上会变得更薄,大约是原来的一半。因为投影仪是在那个点从后面进来的。”

根据Bosworth的说法,一些光学设计将光从镜腿的投影仪引导到波导的前面,这需要更厚的镜框。Bosworth表示,下一代的波导将能够接收来自波导后侧的光。我推测,让波导以这种方式工作更加困难,否则他们早就可以做到,而不需要在Orion上使用更厚的镜框。

然而,Bosworth还说:“没有气泡。如果把这个东西扔进鱼缸里,你不会看到任何东西。”这暗示一切都是紧凑地塞进眼镜里的,因此除了节省额外光学的体积外,可能没有实现显著尺寸缩减的可能性。(Bosworth提到Steve Jobs将一款iPod原型扔进水中以证明它可以更小,因为逃出的气泡)

差异校正(在专利申请中显示,但在Orion中未见)

Meta的申请2024/0179284虽然展示了波导的许多其他细节,但主要涉及“差异校正”。Bosworth在几次采访中(包括这里)提到,Orion没有差异校正,但他们计划在未来的设计中加入。Bosworth描述说,差异校正旨在纠正框架的任何弯曲(或其他对齐问题),以免导致波导(及其相对于眼睛的图像)移动。他似乎暗示,这将使Meta能够使用更薄且可能具有一定弯曲的框架。

半圆形入口光栅

Wong在Reddit文章中也注意到,晶圆上可见的小输入/入口光栅看起来像是被截断的圆形,并评论说:

然而,如果耦合光栅确实是半月形状,那么光源输出的光点也可能是这种形状。我个人猜测,这种设计主要是为了减少在耦合点常见的SRG问题,即耦合光被耦合光栅二次衍射的现象。

在光源的光点开始总反射并在经过耦合光栅后进入人眼之前,相当一部分光会因为再次撞击耦合光栅而直接被衍射到外面。这部分光会导致显著的能量损失,还可能撞击屏幕的玻璃表面然后返回光栅,形成重影。

单波导用于所有三种颜色?

魔法跳跃的应用展示了三个叠加的波导。专利申请似乎表明,Orion使用的是一个(双面)波导来处理所有三种颜色(红色、绿色和蓝色)。大多数具有较大视场的全色衍射AR眼镜通常会堆叠三个(红、绿、蓝——例如Hololens One和Magic Leap 1&2)或两个波导(红+蓝和蓝+绿——例如Hololens 2)。Dispelix则有单层全色衍射波导,视场可达50度。

Magic Leap 应用展示了三个叠加的波导

衍射光栅的线间距基于它们所需衍射的光波长。在单一波导中支持全色和如此宽的视场通常会导致图像质量问题,包括某些颜色的光衰减和对比度损失。不幸的是,目前没有“透光学”照片,甚至没有独立专家对Orion图像质量的主观评估。

碳化硅波导基材

使用碳化硅作为波导的想法并非Meta独有。下面的图片来自《获取AR/VR中的大图》,讨论了使用高折射率材料(如铌酸锂和碳化硅)制造波导的优势。众所周知,使用更高折射率的基材可以支持更宽的视场,正如下面的图所示。然而,正如Bosworth所指出的,生长碳化硅晶圆的成本非常高。这些晶圆也小得多,使得每个晶圆上可制造的波导数量更少。从Meta的晶圆图片来看,它们每个晶圆仅能获得四个波导,而在更大且便宜的玻璃晶圆上,可以制造十个或更多的衍射波导。

Bosworth提到“几乎无伪影”,且具有低“彩虹”捕捉

衍射波导中的“彩虹伪影”示例

衍射波导常见的问题是,衍射光栅会捕捉现实世界中的光,然后像棱镜一样按波长分散,产生类似彩虹的效果。

衍射波导中的“彩虹伪影”示例

在亚当·萨维奇的《测试》中(约5:10),Bosworth说:“波导本身是纳米蚀刻在碳化硅上,这是一种具有超高折射率的新材料,可以让我们最大限度地减少光子的损失,尽量减少从世界中捕捉到的光子数量,从而减少诸如鬼影、雾霾和彩虹等伪影,同时提供您所需的视场。虽然它不是完全无伪影,但非常接近无伪影。”我欣赏Bosworth在强调其波导技术优势时能够及时修正自己过于夸大的说法(与引言中提到的Hololens的Kipman不同)。如果他们能让一些独立专家研究并给出意见,我会更加放心。

Bosworth关于彩虹和其他衍射伪影的说法可能是正确的,但我希望能看到独立专家的评估。Norm在同一视频中提到:“这是一个非常受控的演示,设置了许多保护措施。他们带我走过一个照明均匀的房间,所以没有强光。”我欣赏Norm意识到他参与的是至少有些“魔术表演”性质的演示(见附录)。

狂热期与技术评测缺乏

用Yogi Berra的话来说,“就像再次经历了似曾相识的感觉。”我们在Apple Vision Pro发布时经历过这一切,它从被视为智能手机的“第二次降临”到几乎在今年早些时候消失。这次,只有一小部分媒体获得了访问权限。几乎没有对显示图像质量或对现实世界影响的批判性分析。我可能比较怀疑,但我见过数十种不同的衍射波导设计,肯定存在一些问题,但没有任何报道。我预计会有颜色均匀性和衍射伪影的问题,但并未提及。

广视场与低分辨率的奇怪组合

关于Orion的非常低的角分辨率(每度仅13个像素,覆盖70度的视场)几乎没有讨论(这是我下一篇关于Orion的文章的主题)。这大约对应720x540像素的显示分辨率。

几个人报告看到了26PPD的演示,但不清楚这是一个形式因素还是实验室演示。即使是26PPD,角分辨率也相当低。

光学AR与透视AR——Orion与Vision Pro的对比

Meta的Orion演示表明光学AR(例如Orion)和非相机透视AR(如Apple Vision Pro)是长期的理想设备。它强调,没有任何透视摄像头和显示组合能够在动态范围、分辨率、双眼立体视差和无限聚焦深度方面与现实世界的视图相媲美。

正如我在写作和演讲中反复指出的,光学AR优先考虑现实世界的视图,而相机透视AR则优先考虑虚拟图像的视图。我认为它们的应用几乎没有重叠。我无法想象未来的Apple Vision Pro设备会允许人们在工厂车间或城市街道上活动,但对于Meta Orion这样的设备则可以想象。我认为这正是Meta想要传达的重点。

结论

我理解Meta在展示中表达的是,如果金钱不是问题,我们能做些什么。他们似乎过于关注广阔视场的问题。我担心衍射硅碳波导在短期和长期内都不是正确的解决方案。显然,他们无法推出具有显著“眼睛发光”问题的消费产品。

这是我多次讨论的主题,包括与Thad Starner的“小视场光学AR讨论”和“视场痴迷”。在某种程度上,他们处于最糟糕的境地,拥有非常大的视场和相对较低的显示分辨率;对于给定内容而言,它们阻挡了大部分现实世界。用同样的钱,我认为他们可以用不那么遥远的异域波导材料制作出更令人印象深刻的演示。我打算在这个系列中深入探讨人因和显示效用。

附录:演示是魔术表演

看到Meta推出Orion的方式,以及他们所做的精心策划的演示,让我想起了我2012年最早的博客文章之一《愤世嫉俗者的CES指南——术语表》,其中警告要警惕演示。

逃离实验室

Orion似乎符合“逃离实验室”的定义。引用2012年的文章:

“逃离实验室”——这是展示一种产品概念,该概念由于成本、寿命/可靠性、尺寸、设定不现实(例如需要少数人能负担的特殊房间)和在没有熟练监督的情况下存在危险等原因而高度不实用。有时,演示“逃离实验室”,是因为公司的管理层在一个项目上投入了大量资金,公共演示是试图向管理层证明这些概念至少有一天会吸引消费者。

多年来,我多次使用这个短语,包括《Hololens 2》(Hololens 2视频与Microvision“复活节彩蛋”,加上一些Hololens和Magic Leap传闻),尽管这个产品早已被视为失败产品,官方本月已停止销售。我还评论过(在《Magic Leap评测第一部分——透过衍射光栅的可怕视图》中,见我2019年9月27日的评论),认为Magic Leap One“甚至更像一个实验室项目”。

为什么要如此强调Orion,一个混合特征和不切实际昂贵组件的原型?某些人试图证明这个产品概念值得继续投资。

魔术表演

我也警告过,演示是“魔术表演”。

“绿野仙踪”(视觉)——仔细控制光照、图像大小、观看位置和/或视觉内容,以掩盖明显的缺陷。有时你看到的“魔术表演”与现实世界的使用关系不大。

在我对Hololens 2的早期报道中,我在“演示是魔术表演,以及为什么没有其他问题报告?”部分对此进行了更详细的阐述:

我不断提醒人们“演示是魔术表演”。大多数人被表演所惊艳,或因为成为少数能够尝试新设备的人而感到自豪。许多媒体虽然在写作上很出色,但并不是评估显示器的专家。在经过精心策划的演示中,缺陷和问题往往被忽视,而观察者并没有接受过“看幕后”的训练。

演示内容通常选择那些最能展示设备的内容,以避免可能显示缺陷的内容。例如,充满视觉“噪音”的内容会掩盖图像均匀性和死像素等问题。通常,最具挑战性的测试图案是最简单的,因为人们会立刻发现问题。我通常喜欢使用主要是白色屏幕的图案来检查均匀性,使用主要是黑色屏幕的图案来检查对比度,图案中加入一些细节以展示分辨率,同时有一些大块区域用来检查不必要的反射。例如,可以查看我的测试图案,这些图案可以免费下载。当我尝试支持网页浏览的头显时,我会导航到我的测试图案页面并选择其中一个测试图案。

大多数获得早期设备的公司与制造商之间有着特殊的关系。他们有 vested interest 确保产品成功,无论是为了他们的内部项目,还是希望为该设备开发软件。他们当然不希望被视为给微软带来麻烦。通常,他们会将负面意见指向制造商,而不是公开论坛。

只有经过独立测试的人,利用他们自己的测试内容,才能真正理解Hololens 2的图像质量。

 喜讯:光子晶体科技斩获2022世界显示大会《最佳创新技术奖》金奖
 智慧汽车时代的弄潮儿,光子晶体科技的底气何来?
● 光子晶体科技再上央视,沉浸式再现三星堆考古现场,科技传承文化!
 光子晶体科技入选“2021创业邦未来100独角兽“ AR透明显示再露锋芒
● “光子夜场透明魔屏”引领酒吧显示新潮流


联系我们,解锁更多透明显示应用场景
请致电
4000-666-072
点个“在看”,小可爱永远18岁

光子晶体科技
光子晶体科技有限公司掌握透明高清显示和AR显示核心技术。公司发明的光子透明芯片(nanoAR™)显示技术,是显示领域的一次革命,可以把任何一块透明介质变为高清、靓丽的显示器,开启万亿级的透明高清显示应用市场。
 最新文章