引自:《一体两翼:虚实融合的真谛》(作者:朱文海、唐明南、肖莹莹)
近两年,全球非接触式经济发展的模式促进了虚拟现实(VR)技术与5G、云计算等技术一起为各行业赋能。无论是终端消费领域,还是机械制造、航空航天、医疗教育等领域都在积极关注和尝试引入VR技术。(1)消费体验:随着VR技术的普及,远程协作式消费体验成为一种促进消费者足不出户享受“门店”式体验的绝佳方式。无论是房产交易平台推出的线上虚拟看房,还是各大电商平台推出的虚拟试衣间,包括走进家庭的智能健身镜/试衣镜,都是VR技术提高个体消费者在数字世界体验的成功应用。(2)远程医疗:伴随医疗网络的互联互通和互联网看诊的兴起,远程专家病情分析、无接触式的探视、手术过程直播等应用模式能够促进优质医疗资源的更优分配。例如,早在2017年6月,北京协和医院就使用VR直播技术进行了全球首例全膝关节人工置换手术直播;微软以AR眼镜(HoloLens2)能够支持远程专家实施共享病情、体征等数据以评估医疗方案。(3)线上教育:VR技术在提高异地学生沉浸式共享课堂,促进教育资源平衡利用方面也发挥了重要作用。例如,威爱教育通过5G+VR实现多机位课堂直播,让远在凉山州贫困地区的学生能远程实时连接到成都泡桐树小学的课堂,观看老师讲课和实验操作,并能自由切换视觉,从而获得比现场学生更清晰的观察效果。曼恒科技八爪鱼(OCTOPUS)VR智能中控系统能一键启动不同终端设备内的VR体验内容,教师可一键开启VR设备上的VR教学课件,对学生设备上显示的VR教学内容也可进行控制或监控,随时掌握学生的课堂行为,更好地掌控授课过程。(4)文娱游戏:影视游戏是虚拟技术最快得到应用的一个领域,也是当前各大厂商推广和应用虚拟技术的重要发力点。例如,游戏平台Steam上的VR游戏有4000+款,腾讯、字节跳动等国内公司也积极开发虚拟世界游戏。目前,三维游戏中已经广泛应用VR技术系统,网络游戏的发展也在较大程度上促进了VR技术/系统的发展。(5)VR直播:是VR与直播的结合,能够让观众身临其境来到现场,实时全方位体验。2020年中央广播电视台利用电信5G网络平台进行雷神山医院施工现场的全景VR直播;闪电新闻“江河湖海看中国”出品了《盛世共潮生》,沿着奔涌向前的海浪,以VR全景+行进式报道的形式聚焦各地经略海洋的探索实践,呈现中国10年成就;2021年央视春晚的《牛起来》将远在香港的演员虚拟成像到直播现场,完成云制作。(6)虚拟办公/会议:以多人多地佩戴VR设备进入同一虚拟会议室的方式进行办公/会议,用投屏、画笔等方式开展沟通,以扩大办公空间,节约差旅开支,提高沟通效率。2022年,扎克伯格要求员工在Meta的Horizon Workrooms应用中通过虚拟化身的方式在各种虚拟办公空间中召开会议,InsiteVR会议允许专业人员在虚拟空间聚集在一起,共同审查CAD模型。(7)虚拟手机应用:是手机厂商与VR技术融合的一个新方向。小米发布的单目光波导AR智能眼镜探索版,能够通过Micro LED光波导显像技术可以实现信息显示、通话、导航、拍照、翻译等功能。2)在企业为主体的ToB领域,针对设计、生产、维修保障、培训的VR应用(1)设计研发体验:将VR技术应用到设计研发环节,促进各专业研发人员在统一的数字模型和虚拟环境中协作交流、优化设计方案。典型的如英伟达推出的Omniverse平台,提供虚拟协作开放式平台,使个人和团队更快地构建自定义3D 工作流并模拟大型虚拟世界,方便各大企业开发物理属性准确、AI赋能且与现实世界完全同步的虚拟仿真孪生系统,供他们在产品投产之前实时设计、仿真和优化产品、设备和流程。奥迪、大众、通用等汽车制造企业通过VR技术进行车辆的各种行驶状态体验、汽车三维模型虚拟交互环境,以促进产品设计优化。洛克希德×马丁公司使用VR技术配置光学式动作捕捉系统提供人体工程信息。2022年,加拿大造船公司Seaspan将3D沉浸式VR系统引入船舶设计,使设计师可在VR系统中浏览他们的设计。(2)生产者体验:将VR技术应用到生产制造环节,促进各工厂的生产、测试效率提升。典型的如海尔和移动、华为一起建设的智能+5G互联工厂,能够实现异地远程作业指导,提升生产效率。大众、波音、福特、江铃汽车、宝马等公司在装配环节引入了AR/VR眼镜,分别用于辅助测试人员查看流体仿真结果以发现车身缺陷、加快飞机装配布局方案生成效率、促进零件装配方案应用方案虚拟试验、查看装配指导并实现智能纠错、构建虚拟工厂进行产线规划优化等。联想发布的分体式AR眼镜ThinkReality A3的工业版配备了摩托罗拉手机,用户可以通过AR眼镜选择远程协作以及引导应用以执行任务,使得工厂车间或生产线工作的人们就可以在现场进行大量操作。联想还于2022年与手势追踪解决方案供应商Crunchfish签署了一份为期两年的商业许可协议,从而允许用户实现非接触式裸手交互。(3)维修者体验:将VR技术应用到维修环节,辅助维修者提升检修效率和产品质量保证。典型的如国家电网使用混合现实技术实时显示引导标记,后方运维人员综合使用现场设备运行数据和巡视数据进行检修结果综合分析。宝马利用VR/AR技术检查部件安装位置是否正确。(4)受训者体验:在制造业现场操作培训方面,利用VR技术就可进行一些产品加工、装配、远程操作使用等训练。在航空航天训练方面,利用VR技术重现了现实中的航天飞机与飞行环境,使飞行员在虚拟环境中进行飞行训练和试验操作,极大地降低了试验费用和试验的危险系数。临床医学虚拟教学培训方面,利用虚拟医疗教学培训系统,如虚拟骨科手术、腹腔镜教学培训、虚拟穿刺技术、虚拟中医针灸仿真教学等,让受训者通过力触觉准确感知不同操作下的受体力学特性。3)在军事领域,针对战场环境、作战式样、装备维护保障、军事演练的VR应用美军认为VR训练和模拟推演是21世纪的主要训练方式。VR甚至是美国国防部列出的21世纪关键技术之一。在军事领域,由于战场环境一般都是当前不存在的环境(合理VR)或人类不可能达到的环境(夸张VR),因此,利用VR技术创建的数字平行世界,可以在平时促进装备维修保障能力提升,对军事概念开发、装备体系论证、平时训练也能起到较好的作用。将这些数字模型带入真实战场环境,能够提升对战场环境的综合感知能力,辅助开展战场作战指挥。(1)战场环境模拟:运用VR技术实现战场环境仿真,其目的就是构成多维的、可感知的、可度量的、逼真的虚拟战场环境,借此提高参训人员对战场环境的认知效率,主要用于仿真对抗、导调监控、装备操作、参谋作业训练等。虚拟战场环境可以为计算机作战推演、半实兵演习、实兵演习提供与实际演习区域的仿真环境,也可以为特定的训练科目拟构出典型的训练环境(在现实中并不存在)。例如,海湾战争中的美国士兵对周边环境不觉得陌生,是由于VR已把他们带入那漫无边际的风尘黄沙,让他们“身临其境”感受到大漠的荒凉。1998年构建的STOW(synthetic theater of war)高级概念演示系统,利用真实地形数据构建了虚拟战场环境,并且不同军兵种的武器平台都可以参与其中,进行多兵种的协同对抗与演练。(2)战争过程模拟:利用VR技术模拟战争过程已成为最先进的多快好省的研究战争、培训指挥员的方法。战争实验室在检验预定方案用于实战方面也能起巨大作用。VR还可以帮助指挥员在实际战斗中做出决策和采取战术。1991年海湾战争开始前,美军便把海湾地区各种自然环境和伊拉克军队的各种数据输入计算机内,进行各种作战方案模拟后才定下初步作战方案。后来实际作战的发展和模拟实验结果相当一致。(3)装备维护保障:虚拟维修是VR技术近年来的一个重要研究方向,目的是通过采用计算机仿真和VR技术在计算机上真实展现装备的维修过程,增强装备寿命周期各阶段关于维修的各种决策能力,包括维修型设计、维修性演示验证、维修过程核查、维修训练实施等,如图1所示。经验丰富的技术支持人员在军事与国防领域的人数并不多,他们的知识必须以某种方式进行转移与传授。VR技术的使用是应对这一挑战的理想解决方案。以海军为例,每艘舰船都可能具有特定的工程约束,这使得从一艘船到另一艘船的维护方案不同。为了立即投入运行,技术人员可以在VR系统中查看CAD模型、电子手册,根据程序进行维护操作。许多国防装备都是密集的复杂机电系统,例如飞机、航天器、军舰、坦克等,而且并非所有装备都在工程师构想时所考虑的条件下使用。例如,某些车辆最终可能会在某些气候或环境条件下使用。在任何情况下,如果最终用户注意到哪些零件磨损严重,则可将信息传回设计团队。由此,下一个设计的模型(或仅是固定零件)会更好。从技术发展的角度看,可以将数字孪生技术融入VR中,既可支持装备的设计完善,又可以进行装备健康预测,有效提高装备的、可靠性可维护性等。(4)装备训练仿真:VR技术可以打破实践操作中对时间和空间的限制,克服实际操作中武器装备数量少、性能不稳定、高风险性等短板,使参与者通过人在回路或操作传感装置等方式做出或选择相应的战术动作,达到在虚拟环境中沉浸式地实现对真实装备实战训练的目的,不仅便于论证武器装备的操作性、人机工效、可靠性等性能指标,及时发现装备设计的不足之处,而且在增强士兵战斗力、提升实战化条件下的心理素质、紧急情况下做出快速反应等方面起到了关键作用。1983年,美国军方构建了SIMNET(simulation networking),将模拟器进行互联,用以完成战术级协同训练。在肯塔基州诺克斯堡乘车作战战斗实验室,坦克驾驶员可操纵M1A2坦克模拟器过雪地、穿森林,甚至可以开上运送坦克的列车。使用坦克驾驶员模拟器,可使受训者在1小时内获得比6个月实车驾驶还要多的经验。图2为在单兵模拟训练中引入VR技术模拟伞降。微软就已经将其AR设备应用到单装士兵的感知决策能力提升上,2021年上半年获得美军219亿美元设备订单,将为美军提供至少12万套军用增强现实AR设备,通过机器学习技术提升其杀伤力和机动性。Mass Virtual在美国空军中推广VR技术用于虚拟战斗机生成,以模拟真实空战,提高空军面向实战化训练能力。
尽管VR技术应用前景较为广泛,但作为一项高速发展的技术,其自身的问题也随之渐渐浮现,例如产品回报稳定性问题、用户视觉体验问题等。对于VR企业而言,如何突破目前VR发展的瓶颈,让VR技术成为主流仍是他们所亟待解决的问题。
(1)VR设备的性能和体验还需进一步增强。部分用户使用VR设备会带来眩晕、呕吐等不适之感,这也造成其体验不佳的问题;VR设备长期穿戴带来的疲劳感也会影响用户的使用热情;单调简单的交互体验可能成为无法维持用户活跃度的重要因素;VR体验的高价位同样是制约其扩张的原因之一。这些因素必将影响VR技术未来的发展与普及。
(2)软件可用性差。受硬件局限性的影响,VR软件开发花费巨大且效果有限,相关的算法和理论也尚不成熟。在新型传感机理、几何与物理建模方法、高速图形图像处理、人工智能等领域,都有很多问题亟待解决。三维建模技术也需要进一步完善。
(3)高速网络依赖性强。在网络基础设施方面,需要更高速稳定的无线网络才能实现多人互动和云端处理协同。当前5G技术提供的高峰值速率、毫秒级传输延迟和千亿级别的链接能力是促使VR终端设备大量接入、快速云化、提高用户体验的重要手段。中国移动、中国电信、中国联通分别推出“5G+产品+终端”“云VR视频+云VR游戏+云AR+云游戏四大行业应用”“5G+VR开发平台”等探索,通过云上渲染、云上制作的方式,利用高速网络和边缘计算技术将处理好的音视频推送到终端,解决终端产品小体积轻重量约束下的渲染能力不足、互动体验不强等问题,同时降低终端的电池续航、体积、存储等能力的要求以提高设备的移动化和轻型化水平。但随着未来更多为感知模式的加入,更多数据内容和交互方式的要求需要覆盖更广、性能更稳定的网络支撑,才能促进VR技术的商用化推广。
(4)人员储备不足。在内容开发推广模式方面,需要配套培养产业全链条的专业人员,从内容设计、内容制作、设备生产、内容推广全方位提高VR技术的应用广度,让更多人能够适应和信任这种非接触式的体验方式。
(5)关键技术需要突破。在关键技术研发方面,需要提高多视角图像采集与拼接、云端协作的视频编码与解码、VR云端平台与终端设备制造、VR内容制作软件平台、大数据与人工智能处理算法、边缘计算和终端硬件设计生产等难题,才能在根本上促进VR技术的应用推广。
版权归原作者所有
编辑:刘杨
编审:辛召
▼购买链接▼
点击我购买