OES封面 | 基于双目超构透镜的边缘增强空间计算【香港城市大学陈沐谷和日本理化所Takuo Tanaka联合团队】

文摘   2024-10-10 16:31   四川  



Opto-Electronic Science

封面论文推荐

香港城市大学陈沐谷助理教授团队与日本理化学研究所Takuo Tanaka教授团队合作,开发了一种基于双目超构透镜的边缘增强深度感知系统,用于空间计算。该系统将有助于精确的3D场景建模,从而促进机器视觉、自动驾驶和机器人技术的发展。




封面文章 | Liu XY, Zhang JC, Leng BR et al. Edge enhanced depth perception with binocular meta-lens. Opto-Electron Sci 3, 230033 (2024).

第一作者:刘小源 博士

通信作者:Takuo Tanaka 教授,陈沐谷 助理教授

点击文章标题查看全文


研究背景

空间计算和新兴的元宇宙代表了人类与机器交互方式的范式转变。常见的增强现实设备依靠空间计算来感知真实物理世界的深度,同时将虚拟对象以三维方式嵌入到真实场景中。空间计算的关键技术之一是其深度感知能力,它弥合了物理领域和数字领域之间的差距。这保证了与虚拟对象的直观、自然的交互。因此,数字信息可以按照物理定律在场景中正确放置和操作。然而,传统深度传感系统的重量和体积导致包含许多传感器(主要是摄像头和激光雷达)的人机交互可穿戴设备缺乏舒适度。笨重的传感器占用的空间也限制了电池寿命,导致设备需要频繁充电。同时对固有缺乏纹理的不适定区域的视差计算仍然面临挑战。便携式精确成像和深度传感系统的进步对于下一代人机交互可穿戴设备至关重要。

本文亮点

针对上述问题,香港城市大学陈沐谷助理教授团队与日本理化学研究所Takuo Tanaka教授团队合作,开发了一种基于双目超构透镜的边缘增强深度感知系统,用于空间计算。整个系统集小型化、智能化、轻量化、紧凑化于一体。其物理工作机制由双目超构透镜、532 nm滤光片和CMOS传感器组成。

图 1 双目超构透镜边缘增强空间计算示意图
双目成像中深度采集的基本原理依赖于呈现具有可辨别视差的立体图像对。视差表示左右图像中对应像素之间的水平位移。尽管各种双目立体系统在精度和速度方面取得了显著进步,但在固有不适定区域内找到精确的对应点以进行深度计算仍然具有挑战性,例如无纹理区域和反射表面。模糊的深度预测对后续的机器决策产生严重影响。图1所示的应用场景存在不适定区域,例如字母对象的无图案背景和无纹理表面。但在该文提出的金字塔立体匹配神经网络H-Net处理中,具有注意力机制的新型对称H模块允许H-Net根据每个视图的全局特征的重要性以及左右视图之间的相关性动态分配资源。并根据深度感测结果,执行边缘增强以过滤检测3D空间梯度的特征信息。

研究人员基于扫描电子显微镜(SEM)图像对双目超构透镜的制造进行了表征(图2)。所制造的纳米柱上没有裂纹或孔隙,750 nm高纳米柱有良好的准直性。每个超构透镜直径为2.6 mm,体积为4.25×10-6 cm3,重量仅为2.61×10-5 g,比一根头发丝重量的百分之一还要轻。

图 2 制造的双目超构透镜的光学和SEM图像

H-Net遵循从立体输入图像到视差图预测的端到端学习框架,无需任何其他预处理或后处理(图3)。全局上下文聚合对于从立体图像对获取视差信息至关重要。除了传统的编码器-解码器架构和金字塔池化之外,H-Net还采用跨像素交互和跨视图交互来实现上下文信息的利用和不同视角的融合,从而提高性能和更全面的分析。H-Net以PSMNet为骨干网,头部是孪生神经网络,其两个分支网络权重共享。这些头部连体CNN利用残差块来提取特征,并利用权重共享空间金字塔池模块来聚合上下文信息。根据左右图像特征创建4D成本,然后在3D CNN中使用该成本进行深度估计。在最终视差图预测之前执行视差回归模块。

图 3 使用神经网络进行视差计算

这种边缘增强的深度感知系统将有助于精确的3D场景建模,从而促进机器视觉、自动驾驶和机器人技术的发展。该工作以“Edge enhanced depth perception with binocular meta-lens”为题作为封面文章发表在Opto-Electronic Science (光电科学) 2024年第9期,收录于“超构透镜”专题。
 
该工作得到了中国香港特别行政区研究资助局(项目号C5031-22G; CityU11310522; CityU11300123),广东省科技厅(项目号2020B1515120073),香港城市大学(项目号9610628)和JST CREST(项目号 JPMJCR1904)的支持。



研究团队简介

陈沐谷,香港城市大学电机工程系助理教授。2019年获得台湾大学物理系博士学位。2019年于台湾中央研究院应用科学研究中心从事博士后研究。2019.09至2020.05于香港理工大学电子及信息工程学系从事博士后研究。2020.06至2021.07在香港理工大学电子及信息工程系担任研究助理教授。研究方向包括光子信息、纳米光子学、微纳电子制造以及用于光子应用的基于人工纳米天线阵列的超构元器件。

陈沐谷 助理教授


Takuo Tanaka,日本理化学研究所首席科学家。1996年获得大阪大学博士学位。之后,他加入大阪大学工学部,担任助理教授。2003年,他作为纳米光子学实验室的研究科学家转至理化学研究所。2008年晋升为副首席科学家,2017年晋升为首席科学家。他的研究兴趣包括三维显微镜,如共焦显微镜和双光子显微镜。最近,他正在研究纳米光子学、等离子体激元和超材料领域,并开发了许多新的纳米制造技术。他还拥有高精度光学测量和光谱学方面的实验和理论经验。

Takuo Tanaka 教授


长按识别此二维码,直达全文


点击下载PDF


文章荐读

点击标题阅读报道或文章

OES | “超构透镜”专题出版


OEA封面 | 基于全介质非线性超表面的二次与三次谐波产生的增强与调控技术【伦敦大学学院、澳大利亚国立大学、哈工大(深圳)】

Wang JT, Tonkaev P, Koshelev K et al. Resonantly enhanced second- and third-harmonic generation in dielectric nonlinear metasurfaces. Opto-Electron Adv 7, 230186 (2024)


OES| 新型超透镜:单帧图像即可实现光谱及椭偏度重建【华中科技大学熊伟教授、夏金松教授和高辉副教授研究团队】

Gao H, Fan XH, Wang YX, Liu YC, Wang XG et al. Multi-foci metalens for spectra and polarization ellipticity recognition and reconstruction. Opto-Electron Sci 2, 220026 (2023).


OEA | 旋转超构透镜轻松操控任意线-圆偏振态间的高效转换

Li JT, Wang GC, Yue Z, Liu JY, Li J et al. Dynamic phase assembled terahertz metalens for reversible conversion between linear polarization and arbitrary circular polarization. Opto-Electron Adv 5, 210062 (2022).


Ha YL, Luo Y, Pu MB, Zhang F, He Q et al. Physics-data-driven intelligent optimization for large-aperture metalenses. Opto-Electron Adv 6, 230133 (2023). 


Zhang XH, Chen QM, Tang DL et al. Broadband high-efficiency dielectric metalenses based on quasi-continuous nanostrips. Opto-Electron Adv 7, 230126 (2024). 



光电科学

Opto-Electronic Science(OES,光电科学)是卓越行动计划高起点新刊,是国际知名光学期刊Opto-Electronic Advances(JCR Q1)的姊妹刊,由中国科学院主管,中国科学院光电技术研究所主办并出版,面向全球发行。OES目前已被Scopus、DOAJ、CA、EuroPub、万方等国内外数据库收录。OES专注于光学、光电子及相关交叉学科领域的基础科学研究,致力于发掘、报道光学物理机制的新发现。


投稿地址:https://mc03.manuscriptcentral.com/oes

期刊官网: https://www.oejournal.org/oes

联系邮箱:oes@ioe.ac.cn



光电期刊集群,敬请关注

www.oejournal.org

OEA

光电进展

英文 SCI

JCR IF 15.3

聚焦创新前沿

OES

光电科学

英文 卓越行动

高起点新刊

探究物理机制

OEE

光电工程

中文核心

SCOPUS

面向工程应用

OET

光电技术

英文 卓越行动

高起点新刊

关注核心技术

OER

光电研究评论

英文新刊

即将创办

汇集综述评论






编辑 | 曾晚婷 张诗杰

审核 | 杨淇名

转载或合作请联系:gdgc@ioe.ac.cn



点击“在看”给我一朵小黄花

光电期刊
“光电期刊”平台依托中科院光电技术研究所主办的学术期刊《光电工程》(中文刊)、《光电进展》(英文刊)和《光电科学》(英文刊),报道光电学术领域最新动态,科学技术最新进展和光电行业最新成果。
 最新文章