YodaOS-Master —— Rokid 空间计算的独到之处

科技   2024-11-04 17:32   浙江  

对于数码产品而言,硬件通常决定了产品性能的上限,而软件直接影响用户体验的下限。一个优秀的系统能够显著提升产品的整体体验,这一点在多个领域的产品中都有体现。

例如,iPhone曾长期依靠其独特的iOS系统,在内存低于同期其他安卓旗舰手机的情况下,依然能够提供流畅和高效的用户体验。这主要是因为iOS系统的优化和苹果对硬件的深度控制,使得iPhone即使在硬件配置上不占优势,也能在性能和用户体验上保持竞争力。

同样地,PlayStation系列游戏机也因其卓越的游戏体验,在硬件更新换代的过程中依然保持竞争力,甚至与许多顶配台式电脑的游戏体验不相上下。这背后,PlayStation系统的贡献不可忽视。

Rokid深谙优质操作系统对硬件产品的重要性,自成立以来便坚持自主研发路线,围绕使用场景倾力打造YodaOS,目前火热的AR Lite就搭载了Rokid多次迭代优化的空间操作系统YodaOS-Master。

与其他品类的硬件产品一样,不同设备的交互逻辑各有不同,比如电脑系统基于鼠标键盘的交互设计,手机系统基于触摸屏的交互逻辑设计,而YodaOS则基于AR使用场景特性来进行交互设计。

YodaOS-Master具备强大的实时空间计算能力,支持多模态交互,并针对核心应用场景进行了深度的操作系统定制和自研能力开发,旨在将物理世界和数字世界完美融合、充分展现信息特点、方便信息交流、并为用户提供沉浸式的交互体验。

01

空间定位与交互

空间定位与交互是实现AR虚拟结合效果的基石。YodaOS-Master采用了业界领先的单摄像头空间感知算法,这种算法能够在单目摄像头的限制下实现厘米级的定位精度。通过这种方法,系统不仅能够精确地映射和理解物理空间,还能够以低延迟进行实时渲染,提供流畅的用户体验。这种算法的优势在于它不依赖于昂贵的多摄像头系统或其他复杂的传感器组合,从而降低了硬件成本并简化了设备设计。此外,配合YodaOS-Master的自研SLAM技术具有高鲁棒性,即使在室内外光照变化较大的环境下也能稳定运行,大大扩展了其应用场景。

Rokid实现了厘米级别的端侧SLAM(Simultaneous Localization and Mapping)定位精度以及云侧VPS(Visual Positioning System)定位精度。

这意味着YodaOS-Master能够在没有外部参考点的情况下,通过内部传感器对环境进行映射和定位。空间定位还包括物体追踪和光线估计,这些能力使得系统能够理解虚拟对象与现实世界的关系,实现虚实空间的配准和遮挡关系处理。

对于用户来说,在佩戴Rokid AR眼镜时,他们所看到的虚拟内容将与真实环境高度吻合,将虚拟信息和真实环境融入一体,为用户提供了虚拟与显示无缝融合的交互体验。

在空间计算中,用户与系统的交互是复杂多样的,传播的交互方式就包括语音交互、手势交互、触摸交互等多种模式。YodaOS-Master支持多种交互方式,包括手势、语音、射线等,为用户提供了丰富的交互选择。这种多模态交互设计使得用户可以根据自己的习惯和场景需求,选择最自然和直观的交互方式。

其中手势交互作为主流交互方式,是很多AR企业技术突破的重点,Rokid在手势识别方面具备深厚的技术积累,手势识别准确率高达99%,即使手势快速变化也能被及时捕捉到,确保了用户在交互时的丝滑体验。


02

空间显示与渲染

空间显示和渲染的细腻程度决定了AR虚拟内容是否可以以假乱真。在空间显示方面,Rokid支持1200P高清分辨率加上90Hz刷新率,配合50度的大视场角,不仅提供了清晰细腻的画面质量,同时也增加了信息展示量。

更重要的是,Rokid还率先引入了双目立体显示技术以及厘米级精度的虚实空间校准算法,从设备标定、算法优化等角度全面优化虚拟现实体验,使得虚拟物体能够以极高的逼真度融入现实世界之中。

在渲染部分Rokid的技术依旧具备很强的竞争力,YodaOS-Master拥有超低M2P延迟响应速度以及Warp线程实时调整机制。无论用户处于静止还是移动状态,虚拟元素都能迅速适应周围环境的变化,创造出一种身临其境的感觉。

同时反畸变和反色散技术用于校正因摄像头或其他传感器特性引起的图像扭曲,确保渲染内容的真实性和准确性。虚实遮挡和双目立体显示则增强了三维视觉效果,使用户能够感受到更加真实的空间深度。


YodaOS-Master本身的兼容性也非常强,支持多种三维引擎,包括目前正在流行的Unity、Unreal Engine,以及其他符合OpenXR标准的引擎。

YodaOS-Master还能够与国产三维引擎粒界科技的GritGene图形引擎无缝集成,这不仅为开发者提供了更多的选择,也为用户带来了更加逼真和流畅的AR体验。

YodaOS-Master针对核心应用场景进行了深度的操作系统定制和自研能力开发,实现了多项技术突破和能力拓展。

Rokid YodaOS-Master通过对各项技术的智能化调度,发挥多核架构优势,既保证SLAM、手势、渲染等高实时性任务的毫秒级实时响应,又满足多个前台任务同时运行。

空间计算能力的核心算法和能力集成到系统服务中,核心能力随系统升级,与客户端SDK解耦,降低客户端包体大小、降低开发者负担、支持多客户端同时运行

YodaOS-Master将Camera、IMU、MIC等硬件资源虚拟化,允许多个Client同时使用原本是进程独占的硬件资源,从而使得每个应用都能根据自身需求调用硬件资源。

多任务框架深度定制AOSP中Multi-display等框架,支持多个2D应用在空间中同时运行,创新性实现支持多个空间小程序和多个2D应用多开。

YodaOS-Master不仅解决了传统AR设备面临的诸多挑战,如精准定位难、操作迟滞等问题,同时也极大提升了用户体验,让用户能够享受到前所未有的混合现实交互乐趣。

随着未来技术不断进步和完善,相信Rokid还将继续引领行业发展潮流,为我们带来更多惊喜。

从硬件到软件,Rokid始终致力于打造最优质的AR解决方案,让每个人都能轻松步入充满无限可能的数字新世界。

无论是专业开发者还是普通消费者,都将从中受益匪浅,共同见证并参与到这场科技变革之中。

Rokid
Rokid是由前阿里巴巴M工作室负责人祝铭明创办,致力于以人工智能为核心技术探索下一代人机交互平台。
 最新文章