北航自研：XR秒变“透视眼” | 基于CAD模型与单目RGB图像的6DoF位姿实时跟踪方案 | 下载

科技科技 2024-04-22 03:05 浙江

01 导读

在今天的文章中，警长(黑毛警长008)将向大家介绍一项北京航空航天大学自研的XR三维注册技术。正文部分由作者投稿，描述偏学术，对于尚未深入接触XR行业的读者而言，可能会略感生涩。为此，警长在文章第三部分加入了点评和展望，对于想简单了解项目价值的读者，可以看下第二部分的视频后跳至文章第三部分。

🔺该技术可广泛用于各类虚/实融合以及虚/实交互场景，图源：北航

项目作者来自北京航空航天大学航空高端装备智能制造工信部重点实验室，团队长期从事 XR 虚拟装配、数字化设计、智能制造、数字孪生等方向的研究工作，曾主持多项国家级/省部级项目并发表论文/专利/软著/专著等学术成果，其中多项技术已实现成果转化，成功应用于工业软件及航空航天院所中。在文章中，该团队针对XR场景（尤其是工业弱纹理场景）特定物体的三维注册问题，自研了基于CAD模型与单目RGB图像的6DoF位姿实时跟踪方案，可替代国外同类商业 SDK 并推广至机器⼈、目标跟踪等领域，应用前景广阔。

02 正文

位姿跟踪 —— 即实时估计相机相对于三维场景或相对于特定物体的6DoF位姿，既是增强现实技术的底层核心，也是决定应用系统性能优劣的关键。目前，基于SLAM框架的位姿跟踪方法相对成熟，已占据业界主流。但SLAM-based方法在增强现实应用中存在以下问题：

1. 只能获得相机与整个场景之间的相对位姿，无法获得场景中某个特定物体的相对位姿，不便于虚拟信息的精准叠加；

2. 更适合于静态场景，若场景发生较大变化或者目标物体本身发生运动，可能导致定位失败；

3. 消费级IMU传感器长时间运行易累积误差导致位姿估计产生漂移，需采用额外手段进行校正。

因此，对特定三维物体进行位姿跟踪，在大量应用场景中十分必要。同时，将物体跟踪与SLAM框架融合进行优势互补可形成更完整、更灵活、更普适的定位方案，拓展应用范围。

在基于单目RGB图像的三维物体位姿跟踪领域，利用局部特征描述子的方法较为常见，但此类方法要求物体表面具备丰富的纹理特征，工业领域通常无法满足。基于CAD模型的位姿跟踪方法更为业界青睐，虽然该方向已存在不少研究工作，但易用性、鲁棒性才是决定其是否可以落地实用的关键。目前提供商业解决方案的主要有德国Visometry公司的VisionLib SDK和美国PTC公司的Vuforia SDK (Model Target)，收费较高，且部分功能需要上传CAD模型至其云端、License授权模式需要远程连接其服务器进行验证，导致国内用户在应用过程中十分被动，某些特殊厂所出于数据安全的考量甚至不具备应用条件。

Camereon Model Tracker

在此背景下，北京航空航天大学自研了基于CAD模型与单⽬RGB图像的刚体6DoF位姿估计与实时跟踪方案，可⽤于且不限于增强现实、机器⼈抓取、⽬标跟踪等领域。其主要特性包括：

只需要提供⽬标物体的CAD 模型，⽆需预先训练
快速稳定的实时位姿跟踪，可在主流移动设备上达到60FPS
跟踪过程中特征⾃动提取、更新
对复杂背景、局部遮挡、快速运动具有较好的鲁棒性
跟踪失败时具备⼀定的⾃恢复能⼒
与SLAM 融合，提⾼位姿稳定性和⾃恢复能⼒
跨平台⽀持

🔺项目演示视频，图源：北航

⽬前作者已采用C++编写了算法内核。同时为了便于使用，又基于该内核开发了Unity插件，分为ARFoundation版和MRTK版。前者适用于iOS、Android等移动设备，后者适用于Microsoft Hololens 2，其它平台可基于C++内核自行封装。

该项目已分享在Github（https://github.com/HartisanBUAA/Camereon-Model-Tracker）。欢迎XR专家下载、测试并与作者交流（作者联系方式亦见Github）。

03 点评与展望

看完正文文章及视频演示，相信XR行业专家对这项技术已有了初步了解。下面警长用更通俗的方式解释一下它的应用场景和价值。

在工业领域，这项技术可用于装配指导、质量检测、设备维修、培训演示等方面。例如：在装配环节，识别零部件的位姿后叠加装配信息，指导工人进行装配操作，提高效率、降低错误概率；在设备维修中，识别故障部件并叠加维修信息，指导工人进行维修，降低维修人员技能要求；在培训中，将复杂设备的内部结构、工作原理等以可视化的方式展示出来，加深学员理解，提升培训效果。

🔺基于AR辅助的汽车离合器片装配培训，图源：北航

在文旅领域，它可用于文物展示、古建筑复原、考古探索等。游客只需看向实物，就能看到相关的3D虚拟信息（而非简单的2D视频或文字），方便游客了解文物的历史背景、艺术特色、保护现状等，还可利用AR技术对残缺不全的文物进行数字化修复，古建筑进行虚拟重建，考古遗址进行探索式展示，为游客提供沉浸式的文化体验。以下图为例，当游客戴着XR眼镜看向木乃伊，不仅能看到木乃伊的外部结构，也可以通过该技术看到展品内部3D结构。

🔺文物3D信息展示图源：vr2.tv

在教育领域，可用于物理、化学和生物实验，学生可以通过XR直观的观察给类教学模型的内部构造和运行机理，从而加深理解，提升学习效率。

🔺火星探测器结构展示与教学，图源：北航

在销售领域，借助该技术可对产品的不同形态、结构特点向客户提供更为直观的效果预览，方便选购。例如汽车销售人员可通过XR展示车身（或者内饰）的不同颜色搭配，通过XR看车内的空间布局，透视车身结构、动力系统等，进一步客户的体验并提升销售转化率。

🔺车身颜色预览，图源：北航

🔺刹车系统展示，图源：北航

此外，它在XR游戏、XR广告等大众消费领域也大有可为。例如：XR游戏可通过识别特定物体触发游戏情节，增加趣味性；XR广告可针对不同实物展示定制化虚拟内容，吸引眼球。

🔺该技术可广泛用于各类虚/实融合以及虚/实交互场景，图源：北航

总之，这项技术打破了XR应用对环境的依赖，如与Vision Pro、Meta Quest、Hololens等具备空间计算能力的设备相结合，可使得设备既能感知周围环境，又能感知环境中的特定物体，大大拓展了XR的应用边界。未来，随着技术的不断成熟和完善，该技术有望在更多领域发挥重要作用。期待北航团队继续深耕该领域，推出更多XR成果。

苹果Vision Pro商标完成注册，华为申请却遭“无效宣告”

2024-03-28

苹果新一代AirPods将强化AI交互能力，这家中国公司或重夺新品订单

2024-03-20

战争or游戏？美军测试Quest 3头显操控无人装备作战

2024-03-26

耀宇视芯发布VST芯片：致敬苹果R1，开启XR“双芯时代”

2024-02-26

仅两颗国产芯片 | 苹果Vision Pro芯片供应商解析 | PDF下载

2024-02-18

Vision Pro零组件重量图文解析

2024-02-08

投稿/商务/转载/合作

请联系微信：XRInstitute

点个在看你最好看

http://mp.weixin.qq.com/s?__biz=MzA3MDAwNzcyOQ==&mid=2247500237&idx=1&sn=a6c8275c8f89ce3468c1502d53483884

AR圈

『AR圈』由前H公司战略规划专家创办，专注解读AR/VR/AI眼镜的技术突破与产业机遇。以专业深度透析技术本质，以战略高度洞见市场未来。不仅是智慧的萃取炉，更是未来的孵化器。与AR圈同行，让我们共同开创下一个十年的科技传奇。

最新文章

AR十年，Rokid的"王炸"时刻—— Rokid Jungle 2024发布会全记录

苹果布局智能眼镜已7年，华为专利超百项 | 眼动追踪、三焦镜、快换镜片&镜腿、集成式天线、可调镜腿、轨迹球、机/表/镜多模交互

Meta：钓鱼佬？驴友？骑友？来，了解一下你的新装备 | 陆逊梯卡三季报 | Meta获新品牌 | 合作延长十年

一文看懂星纪魅族AR新品：年轻人的科技潮玩，到底值不值得入手？

比苹果官宣还低33%！专业实测报告为您解读苹果VST时延背后的秘密 | PDF下载

深度解析Meta AR眼镜核心技术

星纪魅族发布AR眼镜 StarV Air2，搭载表面浮雕衍射光波导，提供全天候 AI 体验

多款AR眼镜即将上市，内部讲座视频免费公开

立讯精密携最新AR光学产品解决方案首次亮相深圳光博会

星纪魅族AI生态发布会即将开启：全品类产品齐亮相

歌尔光学六大新品亮相CIOE：赋能AR、VR、车载HUD及三维视觉行业

全球首款偏振体全息光波导AR眼镜即将亮相光博会

首家手机大厂入局AI眼镜市场，剑指Meta，超百万台

内部讲座预告：AR眼镜的光学系统

东南大学转让15项专利入股南京平行视界技术有限公司，加速推进偏振体全息（PVG）光波导AR显示技术产业化

PICO新机定价超Meta千元，网友直呼"幽默"

美军下一代AR眼镜计划启动，80家企业角逐，微软地位或生变 | 潜在供应商商名单 | 微信群 | 下载

MR眼镜供应商图谱 | 字节将于下周发布新机 PICO 4 Ultra | VR | AI | PDF | 下载 | 微信群

受益AI终端，歌尔上半年净利润飙升190%，盈利能力强劲反弹

XR收入涨28%，下一代AR+AI眼镜在研 | Meta Q2 电话会议纪要全文（中/英文）| 福利

XREAL Air 2 Ultra详评：更具性价比的空间计算开发平台

字节将发布新款XR，剑指Meta | 光学交流群开放

国产旗舰机将搭载新型光谱相机，有望应用于AR/VR领域

硅谷双雄的AI+XR争霸：从广告王国到XR野望

歌尔股份赢AI产品订单，全年净利润有望翻番

光·显未来，歌尔主办 2024VR&AR显示光学技术峰会成功召开

讲座回放：2024年XR行业进展暨AI眼镜市场分析

关于举办2024第二届全国虚实融合交互大会的通知

独家：字节跳动秘密启动AI手机研发

苹果AI手机剧透： AI回信、AI回表情、智能纪要、智能密码、AI抠图、编程助手、精确指令

全文：苹果与OpenAI达成协议，将在下周的WWDC上正式宣布 | 可移动机器人

由Beam Pro管窥XREAL的当下与未来

AR行业头部公司斩获大单

AI眼镜引爆销量奇迹，将开创消费电子新蓝海？

VIVO“手机+XR”战略初现端倪：旗舰机率先支持3D拍摄

粉丝福利，速来！近距离接触利亚德、谷歌、雷鸟、大朋VR、华灿、星纪魅族和JBD，参加XR生态大会

OPTIX极溯光学完成Pre-A轮融资，向XR光学技术“无人区”加速推进

实锤：Rokid登陆某头部手机品牌门店，五一开启跨界联合推广

索尼大动作：关闭伦敦VR游戏工作室，裁员900人！

PICO下一代眼镜曝光：升级双VST摄像头及空间计算能力

绿厂XR业务遭“优化”，XR行业冰火两重天

歌尔股份重夺大厂订单，全年净利润有望翻番

手机大厂与Rokid达成合作协议

X499元？这家公司发布空间计算套装，操控敢比苹果Vision Pro更顺滑？

北航自研：XR秒变“透视眼” | 基于CAD模型与单目RGB图像的6DoF位姿实时跟踪方案 | 下载

超预期：Meta智能眼镜单季发货超30万副，多家国内供应商受益

苹果Vision Pro商标完成注册，华为申请却遭“无效宣告”

战争or游戏？美军测试Quest 3头显操控无人装备作战

苹果Vision Pro即将在中国、日本和澳大利亚上市

苹果新一代AirPods将强化AI交互能力，这家中国公司或重夺新品订单

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉