在眼睛之后，耳朵也要进入元宇宙了～

科技 2022-06-16 18:06

提到AR/VR设备你会想到什么？赛博朋克风的画面，还是虚拟与现实叠加带来的科幻感？

当大家的目光仍聚焦于视觉交互层面时，业内一场有关听觉层面的变革已经悄然兴起。

在谈论这场听觉革新之前，我们先来感受一下XR时代的“声临其境”。

注：戴上耳机体验更好哦

这是国内人机交互产品平台公司Rokid近日发布的一组应用于AR眼镜的6DoF空间声场技术Demo视频。

不同于传统双声道、立体音带来的听觉体验，6DoF空间声场技术可以在混合现实中模拟声源与人耳之间因空间位置变化、有无遮挡物等带来的声音强弱与方向的变化，从而让AR眼镜为用户带来更具临场感的听觉体验。

什么是6DoF空间声场？

6DoF空间声场其实是声音在三维领域的体现。但这不是简单的通过更多声道让声音更有立体感，而是和视频空间化同步的音频空间化过程。因此包含了两个必备要素——3D音频和头部运动的实时反馈。

首先看6DoF空间声场的第一个必备要素——3D音频。传统的5.1声道可以把声音展现在一个水平面上，声音定位因此具备前后、左右两个维度，这被称为2D音频。当一个音频同时还具有上下维度的时候，这个音频就是3D音频了。

3D音频图示（图源自网络）

6DoF空间声场的第二个必备要素——对头部运动的实时反馈。在现实世界中，当我们的头部发生转动或位移，声源本身的绝对位置不会改变，而声源与头部相对方向会产生变化。

举一个例子：在你前方有把吉他正在弹奏音乐，如果你转向右边，音乐声就会相对地变到你的左边；如果你转向左边，音乐声就会相对地变到你的右边。因此，要在混合现实中实现更接近于现实中的听觉体验，就需要准确定位声源与用户头部之间的空间位置，即实现对用户头部运动的实时追踪。

6DoF空间声场的实现需要

软硬件高度协同

要满足6DoF空间声场技术的两个必要元素并非易事，在技术层面，这需要空间引擎（Space Engine）和音频引擎（Audio Engine）高度融合，并充分利用硬件资源。

空间引擎的核心工作是虚实空间融合。引擎预先利用三维重建技术构建地图，建立虚拟世界坐标系，并增加虚拟物体，设置位姿、形状、材质等属性。运行时，通过处理传感器数据得到观察者（如佩戴AR眼镜，观察者就是人的头部位置）的真实空间位姿和本地地图，进而通过地图匹配得到真实空间和虚拟空间的位姿变换，就可以把位姿统一在虚拟世界坐标系里。

根据不同的传感器类型和数量，空间引擎可以获得观察者不同类型的自由度（Degrees of Freedom-DoF）信息，从而为音频引擎提供必要的空间信息。比如人头的自由度分为：既有位移又有旋转的6DoF、只有旋转的3DoF、人头不动的虚拟空间，那对应的音频也就可以分为6DoF空间声场、3DoF空间声场、环绕声。因此，6DoF空间声场技术就需要获得更复杂的人头自由度。

6DoF自由度（图源自网络）

音频引擎的核心工作是对音频信号和 HRTFs（Head Related Tranfer Functions，头相关传递函数，简称头传函数）做卷积，生成双耳音频。HRTFs是在水平角（azimuth）、俯仰角（elevation）和距离（distance）这三个度量维度做坐标采样测量出的卷积核集合，其准确性是6DoF空间声场呈现效果的主导因素。

但目前可商用的HRTFs数据库能达到的精度还未完全与人耳的听辨能力所媲美，更具挑战的是每个人的人体工学参数和心理声学系统都不同，甚至会随着年龄增加而变化。

准确测量每个人的HRTFs参数显然不现实，如何才能低成本地⽣成个性化HRTFs？已经实现6DoF空间声场技术落地的Rokid技术团队给出了一个解决思路，即在考虑端上NPU/GPU等计算性能的情况下，结合深度学习技术，对更精细化的成分做出更精细的生成。

XR设备应用6DoF空间声场需要软硬件高度协同

此外，为了增加遮挡、反射、混响等效果，让6DoF空间声场更具真实感，还需要用到诸如几何声学（Geometric Acoutstics）的光线追踪和波动声学（Wave Acoustics）的球谐函数（Spherical Harmonics）分解等技术。

这对设备的算力有着极高的要求，也会给设备带来更大的功耗负荷，增加设备成本和安全风险。所以在实际应用中，往往需要在球谐函数的阶数、语音质量以及空间精准度之间做相应的妥协与平衡。

除了算法层面，6DoF空间声场技术的应用也要考虑设备的硬件形态。当前的很多音频算法都是基于入耳式或头戴式喇叭，但AR眼镜作为未来用户长期佩戴的可穿戴式设备，如果采用入耳式设计不仅会严重地损伤用户听力，更是违背了AR对物理和数字的融合使命，因此，在保持开放式喇叭设计的同时，如何保障6DoF空间声场的呈现效果和安全性就成为了新的挑战。

目前，Rokid技术团队采取的办法是，通过定向声技术的研究与使用，来解决隐私性问题。

同时，为了让6DoF空间声场的音效更丰富饱满，通过音腔结构的设计、声音频率的修复、根据人耳听觉做声音谐波及混响等方式增强音质，减少音频效果的损失，让用户真正感受到“声临其境”。

一场声音革命，正在悄然兴起

6DoF空间声场技术在AR设备上的应用落地，让我们看到了声音在混合现实中的广阔应用空间。

通过6DoF空间声场技术，AR眼镜等设备可以摆脱视场角（FOV）限制，让用户通过声音发现画面之外的内容，以此实现360度范围的内容呈现。

同时，除了视觉层面的交互，6DoF空间声场技术的应用让听觉也成为了新的交互维度。结合6DoF空间声场，用户可以在混合现实中快速准确定位发声物体的方向，清晰区分接收到的声音信息，感受声音距离和位置的变化……

这将让用户在混合现实中获得更加接近现实世界的体验，从而进一步降低混合现实中数字世界和现实世界的割裂感。

6DoF空间声场带来的全新听觉体验正在冲击统领了大半个世纪的传统立体声音，但任何一项新技术的应用和普及都绝非只靠某一团队、某一公司之力，这需要不断降低准入门槛，吸引更多行业力量的加入。

如Rokid就表示将把6DoF空间声场集成到全新升级版的YodaOS-XR操作系统中，作为YodaOS-XR操作系统的基础能力供行业开发者们进行调用。

同时，Rokid还计划推进更多应用于AR眼镜的特殊音效的开发，如环绕与微重低音的高保真音效等，以高效易用的SDK让开发者真正实现即拿即用。

有消息称，Rokid全新升级的YodaOS-XR操作系统或将于今年下半年对外发布，包含诸多自然交互引擎、友好的UI界面、原生XR应用以及应用开发框架等。

届时开发者们能够专注于精品内容的打磨，开发出各类富有想象力的应用和内容，比如XR游戏、XR会议、XR社交、XR影院等，和广大用户携手进入真正的AR世界。

XR时代的终极目标是虚拟世界和物理世界的完美融合，这种融合主要是对人类与外界进行信息交换的一些方式，如触觉、听觉、视觉、嗅觉、味觉等进行模拟和增强。

6DoF空间声场等技术的应用拓宽了XR设备的想象边界，也悄然掀起了一场感知交互革命。我们或许可以预见，在视觉和听觉之后，触觉、嗅觉、味觉等“感官体验”也将在XR时代被重新定义。

赛博科技

最future的生活方式，最in的科技资讯，最real的产品测评，赛博格人必看的时尚内容都在赛博科技

最新文章

美的新风探索家中央空调——以创新驱动，探索舒适无界

前方AI含量超高，巴黎奥运会上的AI闪耀时刻

为什么选择天工AI？3分钟做完百页PPT，我拒绝不了！

AI智能管家锁？紫禁城联名高奢智能锁？德施曼新品“卷”出新高度！

ChatGPT宣布免注册，谷歌先慌了？AI如何颠覆搜索引擎

智能锁也能用上GPT技术了？大扭力电机更配中国门？这家公司再次引领行业

用AI重构PC，荣耀MagicBook Pro 16实力亮相

2024AWE即将开启，海尔智家这4个亮点值得期待

在AI生成的“世界”你能撑多久？

淘宝天猫推出一件直降，拼多多麻烦大了！

荣耀Magic V2系列发布：引领折叠屏进入“毫米时代”

海信冰箱又有大动作！独家精彩剧透速来看

主打智能座舱的深蓝S7，是对中型电动SUV竞争的一次降维打击！

荣耀Magic5系列发布：三年磨一舰多领域技术全面爆发

头显设备会是苹果下一个iPhone吗？

【送福利】荣耀Magic Vs、荣耀80系列开售：折叠旗舰、绝美设计登场！

中国制造“膜法”领先世界

你真的以为，AR只是个“眼镜”吗？

【实测+科普】4款1亿像素手机横评，玻塑混合镜头打开影像全新赛道

文末抽奖！荣耀X40i火热开售：夏日闪耀之作，1599元起

元宇宙还没来，前置技术先用起来

超高清的VR空间拍摄神器，用过都说好！

每一个迎战618的你，都不能错过这份秘籍！

在眼睛之后，耳朵也要进入元宇宙了～

抽送手机！荣耀70火爆开售：美，焦点在我！

罗技视频会议套装体验：用技术干掉痛点，让参与处处体现

ROG新品笔记本发布：枪神6 Plus超竞版/幻16翻转版缔造新旗舰

作为内容创作者，我为什么选择三星移动硬盘T7 shield？

免费、国产、不限速，你想要的都在这了

全面领先国际品牌，国货智能锁德施曼2022新品重磅发布，将引爆全球市场

国产EDA四十年沉浮，未来有哪些期待？

未来科技打造全生态体验，外星人竟然在玩这一套？

终于来了！荣耀Magic4系列国内震撼发布

【送福利】终于来了！荣耀Magic4系列在2022世界移动通信大会上正式发布

收购暴雪后微软被指投机，687亿花得值不值？

便携就不配拥有性能？华硕无畏Pro14不忘初心

文末福利！一部到位，荣耀Magic V正式发布！

2021全球专利榜出炉，华为杀疯了

没有了乔布斯，库克拿什么突破3万亿

把健身房、教练全搬到家里，野小兽的「1㎡家庭健身房」值得拥有

1个笔记本，2个屏幕，3档风扇，灵耀X双屏Pro会是生产力新标杆吗

让Facebook换“牌匾”，元宇宙到底有多大能耐？

iQOO Z5x发布，我从多角度论证它真的可以玩一整天。

限时福利！荣耀智慧生活新品发布12款新品登场，开启智慧生活新篇章

想商务办公，又想偷懒摸鱼？华硕无畏Pro15你值得拥有

换了固态硬盘后，谁还用机械硬盘

OPPO手表，拿什么冲榜？

华为新品发布会 | 华为智选德施曼智能门锁正式众测：解锁快人一步，开启智慧生活

苹果股票大涨进军3万亿美元，今年有哪些产品值得期待？

618终极战报：德施曼全明星直播季全程狂揽15项第一，3D人脸锁等中高端销量遥遥领先

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉