9月11-13日,第25届中国国际光电博览会在深圳举行,在同期举办的“光学成像新兴技术论坛—下一代光电成像技术:计算光学成像”上,清华大学曹良才教授介绍了一种显示+成像集成化设计方案:AR Camera。
曹教授表示: AR Camera根据光路可逆原理,将成像与显示功能集成到同一个光路中,打造“透明”相机。同时,通过计算成像技术,来提高成像质量、扩展成像功能。此相机技术未来有潜力应用于AR眼镜、智能手机、智能载具等领域,虽不适宜作为主摄,但为集成化、小型化、无感化的成像系统提供了思路。
增强现实(Augmented reality, AR)技术旨在实现虚拟内容和现实场景的深度融合。成像与显示是AR设备的两大核心功能。AR眼镜通过成像组件获取用户状态和环境信息,依此生成虚拟内容并通过显示组件投影至人眼。然而,由于显示组件与成像组件分立设计并组装,当前AR设备普遍存在体积大、成本高、集成度低、校准困难等问题。
针对现有问题,曹教授课题组提出了一种显示+成像集成化方案。该方案利用了AR显示中常用的光波导,构造出一个“透明”的成像窗口。当前AR设备中的光波导主要用于将光路引导至人眼,使人看到无限远处的虚像。然而,基于光路可逆原理,是否可以逆向思考,将AR光波导作为成像器件而非单纯显示器件?在此基础上,课题组提出了一种构想——AR Camera。
AR Camera这一设计将AR光波导转化为一个成像器件。它利用光波导的特性,通过光线经过Lightguide进行图像采集。不同于传统相机,AR Camera没有复杂的镜组,却依然能够捕捉到清晰的画面。此方案能够扩展AR设备功能,实现高效图像采集。
为解决光波导相机在近距离物体成像时引入的严重伪影问题,曹教授课题组开发了计算成像算法,确保AR Camera能够在不同物距下清晰成像。
物体发出的光在光波导内传播时会被复制多份并叠加在一起,形成了复杂的伪影。为了消除这种伪影,课题组首先构建了光波导成像的全局表示模型。该模型可以减少对标定数据和计算内存的需求,使得高效高质量的图像重建成为可能。随后,课题组融合物理模型与图像统计先验,开发了图像重建算法。样机采集的原始图像虽然模糊,但通过重建算法的处理,最终能够呈现出全彩、高清的重建结果。
值得一提的是,伪影图像中包含了视差信息,这种视差信息可以被用于获取场景深度信息。物光在光波导内传播时被复制为彼此偏移的多份图片,相当于多个相机在不同视角对物体进行拍摄。因此,我们可以利用这一特性,根据单张采集图片反演出物体的深度信息。
综上所述,AR Camera是一种融合显示+成像的集成化方案。AR Camera根据光路可逆原理,反向利用光波导作为成像中继组件,实现“透明”的成像窗口。此外,基于计算成像的建模与重建技术提高了AR Camera的成像质量、扩展了其成像功能。这一技术有潜力应用于AR眼镜、智能手机、智能载具等场景;为眼动追踪、手势识别、立体感知等需求提供可能的技术路径。
曹教授表示,未来,我们将期待着一种终极的成像产品形态:一块透明的智能终端。它将承载所有信息,实现无遮挡的显示效果,不再需要镜头或其他复杂的组件。这是我们的目标追求,也是我们所聚焦的主题:“下一代光电成像技术”。