【北斗讲堂】“海纳百创” | 《利用视觉、语言和生成模型提升机器人操作能力》培训圆满完成

创业   2024-12-27 16:03   上海  

海纳百创





2024年12月14日,卫星导航场景化测试平台实训工作坊·智在飞翔微论坛第四期《利用视觉、语言和生成模型提升机器人操作能力》在线上举行,本次讲座由上海交通大学邹丹平教授主持,特邀美国东北大学Yaoyao (Freax) Qian博士作为主讲嘉宾,通过线上会议的形式,与来自全国各地的专家学者和行业同仁分享了他在如何利用视觉-语言模型、生成点云技术推进机器人操控方面的最新研究成果—ThinkGrasp技术和Imagination Policy策略。



ThinkGrasp是一个即插即用的、由GPT-4o驱动,能够有效地识别并生成目标对象的抓取姿态,即使这些对象被严重遮挡或几乎看不见,并通过自然语言指令指导移除障碍物,为现实世界中的机器人抓取挑战提供了一个强大而多功能的解决方案。在模拟和真实实验中,ThinkGrasp在重度杂乱环境或多样化未见过物体方面显著优于现有方法,展现了强大的泛化能力Imagination Policy则是一种新颖的多任务关键帧策略网络,用于解决高精度的拾取和放置任务。该策略的核心思想是模仿人类在规划时能够想象目标状态并执行动作以实现这些目标的能力。Imagination Policy不是直接学习动作,而是生成点云来想象期望的状态,然后使用刚性动作估计将这些状态转化为动作。以上两项研究成果已在提升机器人处理复杂环境和高精度任务方面显露出巨大的潜力。


本次论坛吸引了上海交通大学、复旦大学、浙江大学、西北工业大学、西安交通大学、电子科技大学、上海人工智能实验室等人工智能领域专业人员40余人参与,共同学习探讨人形机器人如何实现更高的敏捷性。下一步,北斗西虹桥基地卫星导航场景化测试平台将结合参会人员后续资源对接需求,围绕机器人多传感器融合的自主定位导航模块与算法提供专业测试等服务。

 

卫星导航场景化测试平台实训服务

在中国(上海)创业者公共实训基地青浦分基地指导下,由上海西虹桥导航产业发展有限公司负责建设运营。


项目通过加大北斗空间信息领域专业测试设备设施投入,叠加北斗西虹桥基地创业孵化加速体系,最终形成北斗“一站式”创业孵化实训能力:


一是面向创业者、创业组织和相关专业高校学生开展实训活动,为未来产品工程研制奠定基础;


二是整合“北斗讲堂”培训资源,“北斗杯”全国青少年空天科技与创新大赛、无人飞行器智能感知技术竞赛等赛事资源,开展适应不同人群的创新创业培训,激发青年人群创新热情与活力。



分享、在看与点赞

我们一起关注行业


北斗西虹桥
传递园区最新资讯,企业服务互动,北斗高端智慧交流平台。
 最新文章