会议观点 | 清华大学曹良才教授:新一代显示+成像集成化方案——AR Camera

创业   2024-10-16 18:02   上海  

9月11-13日,第25届中国国际光电博览会在深圳举行,在同期举办的“光学成像新兴技术论坛—下一代光电成像技术:计算光学成像”上,清华大学曹良才教授介绍了一种显示+成像集成化设计方案:AR Camera。



曹教授表示: AR Camera根据光路可逆原理,将成像与显示功能集成到同一个光路中,打造“透明”相机。同时,通过计算成像技术,来提高成像质量、扩展成像功能。此相机技术未来有潜力应用于AR眼镜、智能手机、智能载具等领域,虽不适宜作为主摄,但为集成化、小型化、无感化的成像系统提供了思路。


增强现实(Augmented reality, AR)技术旨在实现虚拟内容和现实场景的深度融合。成像与显示是AR设备的两大核心功能。AR眼镜通过成像组件获取用户状态和环境信息,依此生成虚拟内容并通过显示组件投影至人眼。然而,由于显示组件与成像组件分立设计并组装,当前AR设备普遍存在体积大、成本高、集成度低、校准困难等问题。


针对现有问题,曹教授课题组提出了一种显示+成像集成化方案。该方案利用了AR显示中常用的光波导,构造出一个“透明”的成像窗口。当前AR设备中的光波导主要用于将光路引导至人眼,使人看到无限远处的虚像。然而,基于光路可逆原理,是否可以逆向思考,将AR光波导作为成像器件而非单纯显示器件?在此基础上,课题组提出了一种构想——AR Camera。


AR Camera这一设计将AR光波导转化为一个成像器件。它利用光波导的特性,通过光线经过Lightguide进行图像采集。不同于传统相机,AR Camera没有复杂的镜组,却依然能够捕捉到清晰的画面。此方案能够扩展AR设备功能,实现高效图像采集。


为解决光波导相机在近距离物体成像时引入的严重伪影问题,曹教授课题组开发了计算成像算法,确保AR Camera能够在不同物距下清晰成像。


物体发出的光在光波导内传播时会被复制多份并叠加在一起,形成了复杂的伪影。为了消除这种伪影,课题组首先构建了光波导成像的全局表示模型。该模型可以减少对标定数据和计算内存的需求,使得高效高质量的图像重建成为可能。随后,课题组融合物理模型与图像统计先验,开发了图像重建算法。样机采集的原始图像虽然模糊,但通过重建算法的处理,最终能够呈现出全彩、高清的重建结果。


值得一提的是,伪影图像中包含了视差信息,这种视差信息可以被用于获取场景深度信息。物光在光波导内传播时被复制为彼此偏移的多份图片,相当于多个相机在不同视角对物体进行拍摄。因此,我们可以利用这一特性,根据单张采集图片反演出物体的深度信息。


综上所述,AR Camera是一种融合显示+成像的集成化方案。AR Camera根据光路可逆原理,反向利用光波导作为成像中继组件,实现“透明”的成像窗口。此外,基于计算成像的建模与重建技术提高了AR Camera的成像质量、扩展了其成像功能。这一技术有潜力应用于AR眼镜、智能手机、智能载具等场景;为眼动追踪、手势识别、立体感知等需求提供可能的技术路径。


曹教授表示,未来,我们将期待着一种终极的成像产品形态:一块透明的智能终端。它将承载所有信息,实现无遮挡的显示效果,不再需要镜头或其他复杂的组件。这是我们的目标追求,也是我们所聚焦的主题:“下一代光电成像技术”。






点分享
点点赞
点在看

CIOE中国光博会
中国国际光电博览会是全球极具规模及影响力的光电产业综合性展会,将于2025年9月10-12日在深圳国际会展中心(宝安新馆)盛大开幕。
 最新文章