近日，一位特别的“打菜师傅”
引起北理工师生的广泛关注
它拥有白色外壳组成的机械臂
随着同学的点菜指令移动旋转
动作灵活而精准
仿佛拥有智慧一般
会打饭的机器人？！
原来，这是由自动化学院
组合导航与智能导航研究室
师生团队自主研发的
“巧手灵心——具身智能机器人服务系统”
▲新生报到日“巧手灵心”在学校食堂上线
“巧手灵心”动作灵活，交互性强，是人工智能领域前沿研究方向“具身智能”的先进成果。研究团队由自动化学院杨毅教授和岳裕丰教授指导，主要组成人员是学校在读的本科学生，不仅展现了学校在这一研究领域的深厚积累与前沿探索，也是对学生创新与实践能力培养成果的一次生动诠释。
创新至上·“让机器人学起来”
“巧手灵心”机器人名副其实，既有灵活的“巧手”，能够完成平移转动等多种动作组合，也有一颗“灵心”，会根据菜量、菜品质地、餐盘位置等因素的改变而自适应调整动作，甚至会在盛菜后沥去多余汤汁，“像是真人一样”是现场师生对它的一致评价。
为了让机器人拥有“巧手”“灵心”，杨毅和岳裕丰指导学生开展了大量测试研究，在多个方面实现了创新突破。
不同于常规不变的操作对象，菜品是具有流动性的。在采用菜盆作为刚体匹配的基础之上，研发团队又新增深度相机，将盆内菜量信息引入到操作行为框架中，实现行为对象由刚体到流体的转变，从而使机器人可以根据菜量变化时时更换打菜点。
▲“巧手灵心”机器人环境交互能力强
不同的菜品所需力度也是不同的，为了让机器人“不用打鸡块的力去打豆腐”，团队为机械臂增加力反馈能力，使之在接触菜品时可根据反馈去控制力度，调整动作和方式。更为智能的是，即使餐盘移动，机器人的随动跟踪能力也能让它准确识别到正确摆放位置，与环境空间保持交互。
受限于机器人操作数据集规模和算力，研发团队无法完全依赖数据驱动的方式进行模型训练，在原有技术路线的部署上遇到了难题，他们创新性地采用了视觉模仿学习方式。“我们先去找食堂师傅学习打饭的动作和标准，然后在实验室录制视频作为原始数据给人工智能学习，”团队学生周天行介绍道，“这种方法对机器人学习来说难度更大，就像是人不靠教练指导、只通过视频学习游泳一样，对于基础模型理解多模态信息的能力带来了更大的挑战。”为了给机器人提供丰富、真实的训练数据集，团队学生录制了多条多角度示范视频，使机器人能够充分得到打饭每一个步骤所需要的动作素材。通过提取和抽象视频中的操作，机器人逐渐掌握了复杂的打菜技巧。
“具身智能是基于物理实体进行感知和行动的智能系统，通过在物理世界和数字世界的学习和进化，理解世界、互动交互并完成任务。研发团队基于‘会、懂、博、学’的自主系统认知导航研究架构，以数据和知识双驱动模式赋能具身机器人研发，以大规模、多模态数据为输入开展认知导航模型训练，将知识注入认知导航模型，利用认知导航的认知与推理能力从人类演示数据、实机运行数据中学习细粒度行为技能，并实现多类型场景和任务的泛化。”岳裕丰介绍道。
▲具身机器人执行多类型泛化任务
不同于传统的编程机器人，具身机器人搭载了先进的大模型与深度学习算法，“如何让机器人具备人的认知和学习能力”一直是该领域尚待突破的重点和难点。“数据和知识双驱动”是面向开放环境的具身智能知识获取与应用的全新范式，打通从知识的采集、分析、利用到泛化的全流程，实现具身机器人一项技能跨场景的通用应用，从而完成在复杂多变的环境中自主学习、认知与决策，实现从“机械完成指令”到“主动适应环境”的跨越。有了这项能力，“巧手灵心”不仅可以成为打饭师傅，还可以化身厨师制作美味的披萨，甚至可以成为实验室小助手……
▲车臂协同具身机器人在制作披萨
“能够通过‘打饭机器人’这样生活化的场景激发更多学生的创新科研的兴趣，我们所做的一切就都值得！”机器人的成功上线不仅给参与这次项目研发的学生们莫大的信心，也激发了更多学生参加科创的兴趣，“连要我们微信的同学都多了起来”，22级本科生雷杰笑着说道。
育人为本·“让学生动起来”
暑假的早上八点，在良乡校区北一食堂，团队成员们已经陆续到达，开始对即将上线的具身机器人进行反复测试。为了保证机器人上线后万无一失，他们几乎全天都值守在食堂，随时观察、记录、调试，实在累了就趴在食堂的桌子上小睡一会。机器人上线前一晚的凌晨，伴随着最后一个问题的解决，“会打饭的机器人”终于彻底完工。“因为对具身智能领域抱有强烈的兴趣，我们主动投入、日夜奋斗，在项目遇到困难的时候勇于攻关、敢于创造，在科研目标的牵引下用创新的方案和不懈的努力去攻克一个又一个新难题，这让我十分有成就感。”周天行说道。
这份坚持不懈不仅仅发生在机器人上线的前几天，而是贯穿了整个暑期。有些学生住在良乡校区，每天乘坐早上6点半的班车前往中关村校区实验室；有些学生怕自己进度慢，给团队拖后腿，干脆自费住在中关村校区附近，他们玩笑地说，“如果允许，真想住在实验室。”
▲杨毅、岳裕丰与学生讨论技术方案
锲而不舍，金石可镂。这个全部由本科生组成的团队，利用一个暑假，完成了一项对他们来说颇具挑战的任务。没有人催促，也没有人要求，学生们自发地推进项目、研讨问题、互相“传帮带”。是什么驱动着他们前进？
“因为热爱，所以会有自驱力，驱动我去主动学习。如果自己做出的成果能对社会生产力进步产生哪怕一点点作用，我都觉得是有意义的。”雷杰说道。
这份热爱的形成，是学校育人为本，致力培养拔尖创新人才的生动写照。王之瑞是21级特立书院徐特立英才班的学生，在大类培养和书院制育人模式下，大一期间，他通过“专业导论”系列课程、“学科专业体验月”等活动了解学科内涵、寻找兴趣所在，在进入大二后选择“学术导师”，进一步树立专业志向，在学习理论知识的同时开始接触科研项目。“这次参与到项目中来也是受到了老师的鼓励，在老师的引领和指导下自己的实践能力、创新思维都有了很大的提高。”
作为一名高校教师，如何培养人、怎样培养人，一直是指导老师思考的问题。在拔尖创新人才培养的实践中，杨毅首要关注的便是激发学生的兴趣，有兴趣才会愿意行动，进而引导学生养成主动学习的习惯。此外，“实践先行”也是他常常对学生强调的，尤其在实践性强的学科，要在过程中发现问题，再进行理论和技术上的创新。
▲多模具身数据获取
为了让机器人成功上线，团队在实验室进行了大量测试，但测试成功并不代表能够稳定运行。在食堂真实部署过程中，由于太阳光的暴晒深度相机无法使用，失去了“眼睛”的机器人难以完成任务。正当团队成员焦急的时候，他们想起了老师总是说的那句话：“创新就是找到新路径去解决问题。没有条件，就去创造条件；遇到问题就去解决问题。”团队当场搭建“临时实验室”，补充强光环境中的数据解决这一问题。“落地应用跟做理论研究还是不一样的，在实验室中预想的范围并不能涵盖所有复杂情况，但大量的实践经验锻炼了我们快速排查问题和解决问题的能力。”21级本科生王之瑞说。
鼓励学生去不断探索和发现，找到兴趣大胆地去尝试，组合导航与智能导航研究室的教师们如伴飞的飞机，为学生们展翅高飞的航程保驾护航。
代代传承·“青年强则国家强”
组合导航与智能导航研究室始终坚持国家需求牵引、聚焦科技前沿，系统开展陆上无人系统自主导航基础理论创新、体系架构构建、共性技术攻关和系统集成应用，牵头获国家科技进步一等奖1项，二等奖2项，国家技术发明二等奖1项，在科学研究、成果转化、人才培养等方面成效显著。在付梦印院士的带领下，形成了包含国家级领军人才、国家级青年人才的教师团队，在这个人才辈出的团队中，代代相传的是立德树人的使命。
团队发挥科研优势，将“科教融合”贯穿于学生培养过程中。付梦印非常重视教学内容和方法的改革，注重理论和实践案例相结合，在指导科研过程中培养学生独立自主解决问题的能力。“言传身教是最好的教育，付老师是我成为老师的动力和榜样。”杨毅师从付梦印院士，毕业后留校任教，将科教融合的理念传承下来。
▲机器人“Dream Chaser”战队获得ICRA 2019 RoboMaster人工智能国际挑战赛总冠军
作为机器人“Dream Chaser”战队的指导教师，备战期间杨毅与学生共同奋斗，2019年团队斩获ICRA 2019 RoboMaster人工智能国际挑战赛总冠军。“兴趣驱动、实践先行、自主卓越”是杨毅在培养学生过程中一以贯之的原则，他常常与学生们分享最新的科研动态和技术趋势，激发他们的科研热情和创新思维。
“在北理工读书是我最快乐的时光，我最初想要投身科研的热情是在老师指导科研过程中逐渐积累的。”岳裕丰本科就读于北理工自动化学院，2020年从国外深造归来的他选择回到母校，加入组合导航与智能导航研究室，成为一名人民教师，并继续从事自己热爱的科研事业。“我希望能够将这份热爱继续传承下去，让更多的青年学子潜心科研、矢志创新、报效国家。”大二暑期参与机器人研发项目的王之瑞充满感激地说道：“很幸运加入组合导航与智能导航研究室，在本科阶段就能进实验室，在实践中做到学以致用。”
实验室为学生团队提供优越的科研条件。全天候对内开放的创新实验室、宽敞的实验场地、专门构建的实验环境，实验仪器、器材齐备应有尽有。同时，实验室还与多个企业和研究所建立了长期稳定的合作关系，为团队的科研创新创造了良好的科研环境和学术氛围。
“青年是最有活力的力量，青年一代是未来希望！”北理工的育人故事还在继续，北理工组合导航与智能导航研究室的科研故事也在续写。面向具身机器人广泛的应用前景，学生们充满信心：“我们将继续面向国家的重大需求，面向人民的美好生活，面向人民生命健康，不断攻坚克难，让机器人替我们完成更多任务，解决生活所需、实现国家所盼、守护生命所系。”
一流大学要培养一流的人才
北理工坚持科教深度融合理念
深入推进教育科技人才体制机制一体改革
为拔尖创新人才培养
夯实基础、贯通渠道、打造体系
以大团队、大平台、大项目
支撑高质量人才培养
为培养“胸怀壮志、明德精工、
创新包容、时代担当”的
领军领导人才不懈奋斗
官微推荐●●
出品：党委宣传部
素材：自动化学院
供稿：臧瑞楠、王媛
图片：团队提供
编辑：臧瑞楠
审核：蔺伟、刘晓俏
为北理工点亮
666个“赞”和“在看”吧！
