华为Mate70系列手机如何做到地库停车精准打卡?

文摘   2024-12-17 07:01   江苏  


作者 | 李治
来源 | 华为人 心声社区
投稿 | funqitown(微信)

一场“永不迷失”的定位技术突围战


文 | 李治

2018年,我还是西北工业大学的一名学生。8月的一个下午,一阵期待已久的铃声突然响起,那是来自华为2012黎曼实验室定位技术专家亮哥的电话。电话中,我快速介绍了自己研究生阶段在无人机视觉定位方向的研究经历,几个技术问题交流后,亮哥突然说:“你过几天来趟研究所,咱们当面聊聊。”

那是我第一次来到华为西安研究所,亮哥向我介绍了黎曼实验室的地图定位业务和未来规划,我越听越感兴趣。此前,我的心里一直潜藏着一个问题:“除了无人机定位方向,我还可以做什么?”在亮哥欢迎我加入华为的那一刻,我似乎突然有了答案。

那天,坐在回学校的公交车上,我久久不能平静——既充满了对未来的期待,也有着些许担忧:如果跨越技术方向,我能不能做好呢?然而,我心中一直有个坚定的声音告诉自己:“如果能将学习的技术落到产品中,那将是多么酷的事!”

 
01

3D精准室内定位的“无人区”


入职后,我便来到了2012实验室中央软件院的黎曼实验室,参与到了室内定位项目。位置服务是移动服务的核心,室内定位是旅游出行和便捷生活两大应用领域的核心基础技术。全球百万级商场、交通枢纽等都需要室内定位技术,然而全球顶尖的互联网公司及地图厂商在该技术领域都没有实现通用化的技术突破,这也是业界公认的“无人区”。面对这一业界难题,华为终端希望基于手机众包的方式,构建黑科技,突破无人区,实现低成本、广覆盖的室内定位体验。面对未知的技术方案、复杂的团队背景、跨领域及地域合作、规模化外场测试等诸多挑战,我们开启了持续三年的技术突围战。

虽然困难重重,但我们下定决心:不惜一切代价,研究出可行的技术方案。为了调研可行的技术线路,我们和终端形成了联合项目组,分析业界现有的室内定位技术解决方案,同时拜访了多所高校的定位研究团队,期望在技术交流中碰撞出思想火花。那段时间,我也深入学习了Wi-Fi等无线信号定位相关技术,希望能尽快补齐业务上的短板。

经过调研,我们了解到爱丁堡的S公司在室内定位解决方案方面有着一定的经验和积累。2019年年底,我和领导沟通,期望年后能去爱丁堡和S公司深入交流。护照、航班及酒店一切都准备就绪,没料到一场突如其来的新冠疫情打乱了整个计划。由于疫情管控,我只能居家办公,两地时差极大地降低了讨论效率。国内和爱丁堡有近8个小时的时差,为了不耽搁进度,我们的很多会议都是晚上8点后开始,讨论到凌晨成了“家常便饭”。

经过几个月的梳理,我们终于输出了初步的技术架构和解决方案:整体架构基于端云协同方案包括云测的指纹库构建、定位服务和端侧融合定位两大模块,云测指纹构图模块涵盖了行人运动航迹估计、平层跨层轨迹识别、平层及跨层轨迹拼接和聚合等很多算法技术。终端短距领域的专家张博经常说:“室内定位是个大工程,子算法就有几十种,每个方向都是一个博士研究课题。”初步的技术路线明确后,整个项目组又面临着更大的挑战:我们需要尽快敲定可行的算法选型并进行商用原型的验证。

黎曼实验室室内定位攻关团队(中间为作者)

02

三年磨一剑,“亮剑”旗舰机


时间来到2020年,技术原型验证提上日程,我主要负责这块的3D轨迹构图的算法研究,首先面临的困难就是数据问题。众包数据才刚开始积累,数量远远满足不了我们的需求。为了获取带有真值标签的室内运动轨迹数据来进行算法仿真和测试,每天就餐高峰期,我都会带着手机在食堂模拟采集。

后来为了模拟真实场景,我扛着几十斤重的采集设备,在商场里一圈一圈压马路式地进行数据采集和标注。由于采集设备体积大且重,为了能够长时间进行采集,我只能把设备放在背包里背着走。你可以想象,一个小伙子背着巨大的包在商场来回溜达,这样的采集行为显然十分突兀,好几次商场保安上前询问。有一次在深圳海岸城采集数据时,我甚至还被保安叫到了保卫科。

第一版构图算法的思路是序列化的轨迹拼接,首先将室内轨迹按照匹配关系分成多组,再将每组内一条一条的时序轨迹进行拼接以形成拓扑子图,最后合并拓扑子图形成室内整体拓扑图。在自采集的数据上,整个方案经过几版优化,终于跑出了初版结果。2020年4月,众包数据已经累积了一段时间,项目组希望我们能在众包数据上验证出效果。但现实却给了我重重一击:商用数据的验证结果和人工采集数据的验证结果简直是天壤之别!

专家建议尝试优化一下构图方法,于是,我开启了第二版算法的验证。在研究生阶段,我在视觉定位图优化上有些积累,就赶紧对问题进行了建模。建模后我发现:轨迹聚合是一个很典型的全局优化问题,在第一版采用序列拼接思路的算法中,整个过程是误差逐渐累计并发散的,聚合结果很难收敛到全局最优。针对此问题进行优化,再经过几轮数据验证,第二版算法完成开发,轨迹聚合准确度、鲁邦性及效率都很高,基本上可以实现全局最优。当时,我们在北京大悦城的众包数据上终于跑出了效果,这让整个项目组看到了算法的可行性和希望。

短暂的欣喜后,又一个挑战冒了出来:此时我们仅完成了平层的轨迹拼接聚合,如果要构建室内3D多层的指纹地图,还需要实现跨层之间的对齐和聚合。比方说,一个人从2楼跑到了3楼,他的轨迹该如何拼接?2D平层轨迹聚合如何拓展到整个楼栋,实现3D聚合及层间对齐呢?

为了打开思路,周末的时候,我经常待在商场,静静地看着往来的人们,等待灵感降临。那段时间,真的是精神紧绷,为了让我放松下来,女朋友特地给我买了一套地球拼图来解压。一个周末的晚上,我打开拼图,想尝试拼一拼,当我翻开说明书的瞬间,我突然愣住了:拼图也是一层一层地用关键连接块进行连接和叠加的,这个过程和商场层间骨架3D拼接简直太像了,那些拼图中的层间关键连接块就像商场内连接不同层间的电梯和扶梯,跨层的轨迹将不同层的骨架连接了起来!那一刻,我像被点燃了一样,迅速地打开电脑记录下了这个想法。循着这条思路走下去,经过两个多月的设计和开发,3D轨迹构图算法的原型诞生了。我们的室内定位建库算法历经三个版本的演进,终于完成了技术验证和突破!

后来,我们同外场测试人员在全国重点城市线下人工采集数据进行验证,包括商场、机场及高铁站等。另外,我们从测试需求维度出发,算法上突破了自动化建库质量校验模块,完成了从几百个线下测试到应用于6000多个商场、覆盖全国100多个城市的自动化测试并规模上线。历时三年,2022年4月28日,3D精准室内定位作为Mate Xs 2折叠机的主打黑科技卖点特性全球发布,该技术也产出了两篇核心潜高专利。与此同时,室内定位也成为了后续所有机型如P60、Mate60、Pura70和Mate X5等的标配特性,当前也是鸿蒙生态推广的关键基础特性。

截至目前,面向鸿蒙单框架生态拓展,高德地图类APP、美团本地生活类APP和钉钉考勤打卡类APP等都已经陆续集成了华为室内定位能力,支持提供更高精度的位置服务,让用户的体验变得更佳。克服一切困难,捅破算法技术瓶颈——我们做到了!

室内定位联合团队(第二排左三为作者)

03

停车打卡成现实


在大型商超的地库里,很多人都遇到过停车和找车难的问题,这也一直是困扰着业界的痛点,其解决方案的核心技术便是地库3D定位技术。2023年,华为终端打造了针对停车打卡的1.0项目,寻求技术突破。然而,停车打卡1.0项目严重依赖人工数据采集,成本高,泛化性差,很难支撑上万量级的地库停车定位体验。这个方案遇到了难以突破的技术瓶颈,终端再度联合2012实验室寻找解决方案。2023年4月,联合项目正式启动,我作为定位组的PL(项目负责人),自然而然成了该项目的负责人。

联合地库停车打卡定位团队任务令授旗仪式
(第二排左八为作者)

接到这个任务,我决定重点突破地库定位技术中两个核心痛点问题,一个是在弱无线信号的地库场景下,我们需要用车机轨迹构建完整的地库3D语义路网数据,以便辅助手机定位;另一个则是得重新设计一套匹配该路网数据的融合定位算法。只有突破这两大问题并将其完美配合,才有可能彻底解决地库手机停车定位问题,从而实现通用化的商用落地。

在室内定位众包构图技术上的积累以及高校老师探索的基础上,我提出了“众包地库语义路网构图+路网辅助手机融合定位”的方案和架构,整个项目涉及了多个团队,为了验证技术可行性,我们多团队一起投入到在众包数据的采集和分析、关键算法验证、端云协同部署及APP开发等工作中。

在算法Demo(技术原型)开发阶段,我们主要负责地库语义路网构图部分,路网构图部分在整个停车打卡解决方案里举足轻重,地库语义路网的准确度和完整度直接决定了端侧定位的性能和收益,也成为了本次Demo能否成功的关键。仅仅用时两周,我们就采集了西安、上海等地的十多个地库,初步分析数据后,我们发现了构图的最大问题:车机的pitch角度,也就是车机上下坡时的俯仰角度估计得不准确。原本上坡是为正角度,下坡时为负角度,平地时俯仰角是0°,但实际中却频频报错。单轨迹高程误差较大,这给轨迹分层带来了很大的挑战。

我们开展了多轮的讨论和分析,在整体构图方案中增加了轨迹高程优化部分,通过假坡道、螺旋坡道等异常坡道识别、坡道聚类及层高均衡化等处理实现层间坡道的高度对齐,经过反复验证和算法迭代,Demo场景的构图基本满足要求。

然而,端侧定位器算法在场景测试中又出现了很大的性能问题。初版算法沿用的是高校的算法原型,算法强依赖于语义匹配的稳定性,由于实际测试场景语义匹配稳定性不够,导致定位器拉起失败、楼层切换成功率低、定位误差大等问题大量涌现。

我和团队一起讨论,发现定位器的设计不能脱离语义地图。我们负责构图,因此最熟悉图的属性,此时我决定重新设计定位器,以充分考虑语义地图的属性和手机轨迹的性能。紧接着,我们提出了3D粒子滤波的融合定位方案,简单理解,就是将整个地库的3D路网看作一个3D管道,我们要让定位轨迹在3D管道中移动,通过路网的约束实时修正上下层切换、移动的方向和位置,最后实现停车楼层和位置的精确计算。

经过两个月的验证和迭代,端侧定位性能终于稳定下来,达到了预期效果。我们陆续约了相关主管和专家进行了实际体验测试。大家对Demo的惊艳效果都给予了很大的鼓励和肯定。历经五个月,从开始提出方案到打造Demo原型,我们按计划达成了目标,终于到了要检阅的时候了!

2023年11月,为了保障地库通信质量及现场Demo体验效果,我们提前到松山湖搭建了两套相同的环境,一套实战一套备份,做了近两周的体验稳定性测试。因为我们的Demo是所有在场Demo中体验最佳的一个,很多主管和专家都进行了实车体验,获得了大家的一致称赞,并肯定了地库连续稳定的楼层定位能力是解决用户停车的痛点所在,这一技术可以衍生更多的高价值服务。最终停车打卡Demo在“2023年Q4总裁Demo秀”上荣获通信领域第一名,也锁定为2024年Mate产品的商用特性。在庆功宴上,大家高度肯定和表扬了我们团队做出的成绩,每个人脸上都洋溢着笑容,我的心里也格外欣喜。

Demo的成功只是第一步,从Demo效果到真正商用落地,我很清楚这之间的差距非常大。和同事吃饭的时候,我经常说:“我们要以终为始,做实每个模块和算法,认真分析每一个测试用例和问题,特性落地商用过程还要做好‘再掉一层皮’的准备。”

2023年12月中旬,产品侧的同事说由于版本问题,商用众包数据比原计划预计要晚两个月,数据的延迟严重压缩了轨迹构图技术迭代的周期,为了能提前验证算法性能及场景泛化性,我们集中在4个地域覆盖采集了20多个地库,共计构建了400多个测试数据。其间,团队轮番在上海集中攻关和联调,算法在本地完成多个版本的调测和优化,在2月份众包数据上线时,我们将本地的构图算法迁移到了终端云,完成了云侧算法的部署,实现了全自动化的流程,将项目进度整整提前了1个月!

看着地库构图准出的场景数量从3月的200个增长到4月的1000个,再到9月突破了8000个,整个团队也越来越自信。在众包数据的积累下,我们云侧算法的性能经受住了考验,并实现了全自动化的准出评测。9个月的商用迭代,我们历经了无数次的团队方案研讨、阶段性出差和异常用例攻关分析,最终在云测轨迹构图和端侧融合定位算法上,实现了4个高质量版本的迭代和商用交付,联合测试团队完成了指标验收,并达成商用要求。2024年11月,地库停车打卡特性上线Mate70商用!

2024香港室内定位导航会议黎曼实验室定位团队
(左一为作者)

时间和经历是个很神奇的东西,这五年,我从学校踏入公司,亲历了从迷茫、怀疑、破局到突破的周期螺旋式成长,从项目独立开发到带领团队,我也非常有幸荣获了总裁个人和团队奖、西研创新精英及优秀班排长等诸多奖项。回想自己来华为的初衷:做一项前所未有的技术并落入产品,给客户带来价值。这真的很酷,而且我做到了!感谢团队一直以来的信任和支持,我也希望自己在华为能和团队一起留下更有价值的作品。

最后,将自己很受鼓励的一句话分享给大家:恒者行远,思者常新;博观约取,厚积薄发。与大家共勉。

来源/《华为人》作者 李治

风起堂观察/为您讲述华为奋斗者的故事


风起堂观察
讲述大佬传奇故事,解读商业智慧和管理方法,分享科教文领域价值观点。
 最新文章