正在“消失”的屏幕

科技   2024-04-30 21:30   广东  

本文约5000字,阅读需20分钟。码字,希望大家耐心看完。

摘要:智能眼镜技术正向轻便化发展,AR、MR和VR技术分别提供现实增强、互动和沉浸体验。国内AR眼镜如雷鸟科技和INMO产品虽多,但多数未实现真正AR功能。真正的AR眼镜需集成摄像头和SLAM算法,面临硬件突破和应用生态完善的挑战。未来,AR和VR设备可能长期共存,各具优势。

当下国内的AR眼镜发展火热,海外Meta和雷朋合作的智能眼镜也销售火爆。本文尝试从屏幕的本质和用户需求的走向来探讨下智能眼镜。

正在“消失”的屏幕

屏幕作为人类最伟大的发明之一,正在变得越来越轻,它作为信息载体,从笨重的显像管电视,到轻便的液晶电视,再到轻薄手机屏幕,而目前它正变得更轻,更小,被装进眼镜里,我们几乎注意不到它,沿这个趋势下去,它可能未来被植入眼睛,在实体上可以完全“消失”。

眼见为实已成为历史

在屏幕发明以前,我们的眼睛看到真正的实体世界,所见一切都是真实可接触的。

纸张应该是最初代的“屏幕”,人类第一次学会将信息储存起来,并且分享给他人观看的输出设备,笔是初代输入设备。

屏幕的诞生足够伟大,它直接在现实世界中创造了一个信息世界的入口,摄影头和麦克风成了它的主要输入设备。我们也诞生了其他和这个信息世界交互的工具:遥控器,鼠标,键盘,触控屏幕。

原本屏幕中的虚拟世界只存在于一个有边框的实体,而现在它们企图藏进眼罩里,躲进眼镜腿里面,而屏幕显示的内容却想更进一步融入我们的现实,甚至可能混淆现实。

简要解释下AR/MR/VR三者区别

AR:Agumented Reality 增强现实:在现实世界上叠加虚拟内容(多为增强原有现实世界信息),如下图,平板电脑对着家里,可以看到虚拟的家具摆放在现实场景中。

MR:Mixed Reality 混合现实:在现实世界上叠加虚拟内容,并且内容和现实相互影响并可与之互动,如下图戴MR眼镜巡视工厂场景。

VR:Virtual Reality 虚拟现实:完全沉浸式地呈现虚拟现实。如下图,你进入一个完全虚拟的世界,所见都是数字创造的,正如你进入了一个游戏里面一样,360°观看这个虚拟世界。

如果我们在现实和虚拟直接画一个轴。AR增强现实,MR混合现实,VR虚拟现实各自在轴的不同地方。

而我们可以看到目前左侧AR是以传统眼镜形态为代表,而右侧VR则是以全遮眼罩形态为代表。而在实现混合现实上,两者都在做尝试来实现MR。

尝试分析二者各自优点:

AR 传统眼镜形态

AR实现方式是利用眼镜的透光性,以真实世界为底,往上叠加虚拟内容。

当下国内最火的AR眼镜可能和AR没有关系

国内智能眼镜目前有多种形态:

我们可以看到其实国内目前大部分在售的AR眼镜和AR没有关系,更准确的定义应该是眼镜式显示器(或者面向消费者叫眼镜式显示屏更加来的明了)。

国内众多企业雷鸟科技,INMO,Rokid,XReal的方向,通过直接在镜片上加上迷你显示屏达到近眼显示效果。

这极大扩展了佩戴者的可视数字界面尺寸,达到接近观看近200寸投影的近似效果。所以目前大家的宣传集中在镜像手机和游戏机屏幕,主打的场景是移动空间的私人沉浸式娱乐(观影/游戏)。

不过其实在它们没有实现对现实世界扫描的情况下(没有SLAM,模拟定位和地图算法),它们实际上只是一个戴在眼镜上的显示输出设备-屏幕而已。因为它们并没有对现实世界进行任何感知,更谈不上增强或者互动了,反而只是压暗以便让屏幕显得更亮。

不过初创企业也正往真AR方向发展

目前雷鸟科技发布的 X2和INMO 发布的Air2算得上是真正的AR设备了。XReal Air2 Ultra在2024CES有亮相,也具有一定的AR功能,不过目前还没有实际发售。

这两款设备都已经具有了自研系统,加上前置摄像头和SLAM算法,可以脱离手机等外部接入设备独立运行。并且具有一些强场景需求的,例如实时翻译,实景导航功能等。

真AR眼镜的优势具体在哪?

最新的雷鸟X2和INMO Air2都致力在打造真正的AR眼镜,都在思考如何让AR眼镜对现实进行增强和互动。因此就不得不给眼镜增加对现实的感知模组,增加了摄像头,增加了SLAM同步地位和地图算法,为了增加眼镜的通透性,也采用了光波导方案(即将屏幕放在镜腿上,通过光的衍射将画面投到镜片中,因而镜片可以很薄),雷鸟X2采用衍射光波导方案,亮度非常高。在室外强光环境,它的界面依然清晰可见。

优势1:单位屏幕尺寸的便携性

其实这类眼镜屏幕的屏幕尺寸本身并不具备优势。

其实不要被所谓类似200寸观影效果所迷惑,因为抛开距离谈屏幕尺寸是没有意义的。实际上如果在你眼前20厘米摆放一块21寸的显示器,和距离6米摆放一块200寸屏幕在你眼中是一样的面积效果。

更重要的参数是FOV(Freedom of vision),视域,这一类眼镜屏幕的FOV大多在50°左右。所以这也是它们所投射的画面内容无法放大的原因。

而像苹果的Vison Pro和Meta的Quest 3设备FOV基本在90°到100°之间,它们和人眼接近,所以我们是可以使用它们几乎观看任何尺寸大小的屏幕,没有任何限制。

所以如此看来,眼镜形态在屏幕尺寸上并没有多大优势,而真正会打动用户的是它的轻巧体积和私密性。轻巧体积自不必说,大部分平均重量在80g左右,佩戴后都是比较舒适的。

所以相比传统显示器,和全遮头戴式VR设备,我们如果把设备重量除以屏幕尺寸,得到单位屏幕尺寸的重量,就会发现这类设备的优势所在。

在家躺在床上,或者高铁飞机途中,轻便的他们都是一些娱乐设备(游戏,电影)不错的外接显示屏。

优势2:隐秘性满足用户隐私要求

相比Vision Pro夸张而显眼的造型,使用传统眼镜的造型使得这类设备的隐私性要好很多,公共场合佩戴可能完全不会让人注意到你。

另外在公共场合查看屏幕也不用像手机一样担心他人窥看。所有这些特点使得产品的隐秘性非常好,对于人们一些隐私性较高的活动来说,这种设备也在帮助人们突破场所的限制。例如你在火车上可以佩戴其畅玩巨幕游戏了。据说国内的很多此类设备在日本销售都非常好,看来隐秘性天然契合日本民众对于隐私的要求。

真AR眼镜因为它的高透光率,使得镜片更薄,在形态上则进一步接近传统眼镜,基本在人群中完全不会被察觉到。当然这可能会带来对他人隐私侵犯的疑虑,因此例如Meta雷朋眼镜在录像摄像时会有闪烁指示灯来提示外界。

虽然真AR眼镜更接近传统眼镜,不过从屏幕技术角度来看,光波导方案对投射内容的隐秘性不如曲面反射方案,因为光波导的镜片通透性较高,所以显示内容从外部是可以看到的。

优势3:特定场景体验独特

目前官方给出的几个比较科幻的AR使用场景,使用Glass的体验是非常独特和契合,当然在体验的细节上还有需要值得打磨的地方,这种体验是其他产品目前无法提供的。

主要是:

  1. 1. 实景翻译 对话说话的字幕会实时悬浮在人物旁边,并且可以显示双语。当然如果不是双方都佩戴的情况下暂时无法实时交流,不过例如IMNO提供AI智能应答功能,根据识别的话语提供应答可选项,如果未来配合声音外放设备,是可以实现佩戴眼镜和不佩戴的人同步交流。

  1. 1. 空间导航 这个也是比较未来感的画面,导航的指示图形会在真实世界的空间中显示出来,对于看不懂手机地图和导航的路痴来说是天然福音。(从实际测评来看,目前空间导航体验还没有达到视频演示效果,基本只有简单文字和箭头显示在道路上,不过有基本的定位和跟随移动,但是并非实时性的)

挑战1:实现MR,硬件仍待突破提升

显示技术/芯片/电池,核心的三者都仍在演化中。

光波导技术拥有良好的透光性和亮度,但是在FOV视域上较差。另外还有彩虹纹等问题有待优化解决。

因为SLAM室内定位即导航等实时运算功能对于芯片的高消耗,实际目前消费级AR眼镜并不能相对日常地长时间使用很多需实时感知功能的应用。

又因为眼镜重量身材限制,电池的使用寿命还有待提升突破。目前大多眼镜连续使用在2小时左右,如果看视频则更短。

挑战2:场景体验还需完善,从能用走向可用,最终达到好用

目前实际初步的AR功能,真AR眼镜在还原自己所设想的使用场景上都还没有完全达到成熟,很多功能只能是能用一下,体验的程度,并不具备日常使用的稳定性和相对其他产品的体验提升。仅个别场景跑通可用性和差异体验(例如实时翻译)。所以还需要在交互方式,体验细节上和硬件一起进行突破探索。

VR全遮眼罩的优势在哪?

优势1:沉浸度高

因为它的不透光性,屏幕的FOV和显示效果要远好于眼镜方案,因而会非常接近人眼自然看到的内容。更加容易让人沉浸其中。

优势2:实现MR互动性高

正因为它的现实并不是透过人眼直接看到的,而是通过眼罩外部摄像头实时现实拍摄后重新渲染生成的数字内容,所以它实际上也是数字内容,那么在此基础,做更多真正虚拟内容与之的互动就更容易了。

挑战:佩戴后的虚拟空间的位置移动

因为眼前屏幕会欺骗小脑,任何在VR虚拟场景中的位置移动都会给人造成眩晕不适感,所以现有大部分成熟VR应用会设计成局限在固定位置交互,比较少涉及身体移动。不过也有很多VR的专用移动设备在研发中,目前Disney提供了一个相对优雅的方案,不过它的造价还远没有消费级别。

从AR通向MR,还是VR通向MR?

如果从人接受新技术的角度,其实应该是沿着AR,MR,VR方向发展,因为我们往往更容易接受我们已经熟悉的方案,正如iPhone虽然创新巨大,但是它仍然是在手机这个人们熟悉的尺寸设备上进行了革新。所以实际上我们看到早期XR领域的代表性产品是谷歌发布的Google Glass谷歌眼镜,它希望借用人们熟悉的眼镜形态来让大众接受新事物。

VR&AR产品技术演化

然而从技术角度来看,我们能看到谷歌眼镜因为技术的不成熟,体验上无法达到人们的预期,技术和用户需求以及产品定价都不匹配,因而失败了。XR行业沿着功能可实现性满足用户的可用角度,开始从有线的VR设备HTC vive开始探索完全实现VR可能性的全遮式头戴设备。基本可以看下图。

VR演化:有线VR全遮眼罩 > 无线VR全遮眼罩 > 无线VR+MR全遮眼罩

AR演化:独立AR眼镜 > 外接眼镜式显示器 + 独立眼镜式相机/耳机 > 独立AR眼镜

用户需求地图

尝试画一个XR用户需求四象限图,横轴左边是生活娱乐,右边是工作场景,纵轴上面是虚拟世界,下面是真实世界。我们的不同需要在不同象限中,绿色表示更适合VR设备,红色表示更适合AR设备。

AR眼镜就像手机,而VR眼镜就像笔记本,二者共存

我的理解是,这两类设备会长期共存,它们也会有很多交叉的MR场景,但是可能都无法取代彼此。正如当下的手机和笔记本的关系。

传统眼镜形态的AR在外观造型上的熟悉度使得人们更容易接受它。也因为它的轻便性,所以假设技术足够成熟,在MR混合现实的方向上,我觉得从普及度来看眼镜形态肯定是比全遮眼罩形态的产品更优。

苹果Vision Pro的现实其实是摄像头捕捉后经过处理的虚拟现实,它不是现实本身。它会更适合对虚拟世界和显示质量要求更高的场景,例如游戏,教育培训,线上办公等等。

共同挑战:应用生态丰富,交互方式突破

不管AR还是VR眼镜,两者目前都面临的硬件突破后的软件大爆发。目前各自都还有部分硬件需要进一步突破,而这同时也都在等待软件应用生态的大爆发,这种爆发必然会基于硬件突破。正如触控屏幕对于手机变革的决定性意义,它刚好同时解决了输入交互和显示问题。

AR和VR也迫切需要这样的软硬件同时突破。

AR设备的交互

目前走在前面的雷鸟科技和INMO都采用了戒指方案,雷鸟支持射线操作,不过它的触控戒指被人诟病费力程度和反人类的单方向滑动设计(它仅支持水平方向滑动),反而INMO的按键戒指的可用性备受好评,因为按键的确定性,降低了用户的操作成本。手势交互也是一种尝试,Xreal Air2 Ultra宣称有实现,不过从试用视频看精度比较一般,不到可用程度。

VR设备的交互

相比而言,VR设备因为本身设备传感器更丰富,因而交互方式探索已经比较成熟。

Meta Quest 3的双摇杆射线控制已经非常好用,另外它的手势追踪识别也非常精准,基本可以还原手部精细动作。

苹果的Vision Pro带来的眼动追踪和完全抛弃控制器采用手势识别是一个很不错的输入方式创新,它带来的另外一个有意义思考是对于VR应用于日常工作和生活场景的探索,这些都是很苹果的成熟式创新,也遵循适应新交互方式的的设计准则,尽量让用户不用学习新东西,尽可能使用已经熟悉的交互和新设备互动(眼动和手势交互),这多像率先全部屏幕采用触摸屏的iPhone,以适应人习以为常的手指操控。不过Vision Pro 仍需突破的是它的造价,如果VR设备类比笔记本,它还需要让工作/生活场景更加需要它,同时做到普通消费者更易获得。

记得之前看过一个手腕交互方案,利用人手腕处的肌肉电流来感知判断手势,这也不失一种方向,还可以利用成熟的手环或者手表,减少一个配件。

最早的VR屏幕诞生于1935年的小说

而这个概念首次被提起是在1935年,美国科幻小说家斯坦利·温鲍姆(Stanley G.Weinbaum)在他的短篇小说《皮格马利翁的眼镜》中提到的一款全息护目镜——佩戴者可以通过视觉、嗅觉、触觉全方位地沉浸式体验一个虚拟世界

真正意义上实体化是在1957年,电影摄影师Morton Heiling发明了名为Sensorama的仿真模拟器。Sensorama的体积庞大,通过三面显示屏来形成空间感,用户需要坐在椅子上将头探进设备内部,才能体验到沉浸感。

11年后,美国计算机图形学之父Ivan Sutherland 开发了第一个计算机图形驱动的头盔显示器及头部位置跟踪系统。

由于受到技术的限制,它十分沉重,并且需要在天花板上设计专门的支撑杆。因此被用户们戏称为悬在头上的“达摩克利斯之剑”。

经过了近70年的发展,我们已经在视觉和听觉上实现了科幻小说中对于这种眼镜的幻想。但是仍然有很多的技术需要发展和突破。可以想见这个过程远不如我们拿到产品体验那一刻炫酷惊艳,而是由无数枯燥而暂时无解的小问题组成。

目前来看,中国在AR眼镜领域的探索要领先全球,而美国在VR眼罩领域则领先全球。两者都在往MR方向融合,希望更加融入人们真正的生活工作中。

正如这正在“消失”的屏幕,它不是消失,而是希望变得无所不在,就像空气。

如果你想看到更多类似内容,欢迎关注免费开源的HCI/HMI人机交互知识库

如果你对XR(扩展现实)、AI(人工智能)、机器人、智能座舱、智能硬件等领域的人机交互感兴趣,欢迎关注此免费知识库。知识库涵盖人机交互的理论基础、最佳实践、案例研究、技术进展、工具和框架、行业趋势、学习资料等。纯粹基于个人兴趣建立,喜欢收集整理资料,分享出来以便更多有需要的爱好者共同成长进步。

点击查看原文可访问该知识库

或复制以下网址访问:

https://o280ewolw6.feishu.cn/wiki/VqUewribEiiMJbk7usAcHVHznxd?from=from_copylink

HCI/HMI 人机交互知识库介绍[1]


引用链接

[1] HCI/HMI 人机交互知识库介绍: https://o280ewolw6.feishu.cn/wiki/VqUewribEiiMJbk7usAcHVHznxd?from=from_copylink


NextUnknow
关注新知,旧知,分享自我的新启发,读书,生活,探索发现的下一个未知。集中在 科技,生活方式,文化领域。