成果速递 | 上海交大苏州人工智能研究院最新科技成果包

应用领域：

缺乏纹理信息的高反表面，包含平面和复杂曲面，具有在线测量需求的场景，如：

手机背板检测

特种玻璃检测

抛光工件检测

汽车漆面检测

技术领域：

高精度光学检测、精密仪器仪表

团队介绍：

团队成员40余人，全职教师5人，工程师9人，硕士/博士30余人，其中国家级人才2人，上海市级人才4人。

主要致力于高精度光学检测/成像技术及仪器、光场调控、计算光学、机器视觉等方面的研究；

发表Nature、Science子刊、Light; Science & Applications、Optica、Laser & Photonics；

Reviews等高水平学术论文50余篇，授权发明专利30余项；

研究成果得到包括研究成果得到包括中央新闻联播、世界科技研究新闻资讯网、世界科技探索网、交大官网等媒体报道和同行的高度评价；

研制的多款具有自主知识产权的光学模组及光学仪器，已在多家科研单位和企业的实际生产中成功应用。

技术特点：

相机通过待测镜面表面拍摄显示屏上条纹的镜像，解码获取表面梯度，梯度积分获取高度信息。

测量速度快，精度可达亚微米

镜面反射添加纹理

适合测量自由曲面

采用非相干光源，结构简单，抗干扰能力强

规格参数：

应用领域：

PCB原件检测等

工业元件缺陷检测等

高精度孔径测量

技术领域：

高精度光学检测、精密仪器仪表

团队介绍：

团队成员40余人，全职教师5人，工程师9人，硕士/博士30余人，其中国家级人才2人，上海市级人才4人。

主要致力于高精度光学检测/成像技术及仪器、光场调控、计算光学、机器视觉等方面的研究。

发表Nature、Science子刊、Light; Science & Applications、Optica、Laser & Photonics；

技术特点：

不同焦面位置样品显微图像，计算合成全聚焦全景深图像

多模式照明光路

远心探测光路

控制电路及数据接口

多片最佳面形透镜及非球面镜

高同轴度快速变焦模组

物镜倍数反馈模组

大范围r-y平移台

快速、高精度轴向定位台

旋转式载物台

规格参数：

应用领域：

工业元件缺陷检测等

技术领域：

高精度光学检测、精密仪器仪表

团队介绍：

团队成员40余人，全职教师5人，工程师9人，硕士/博士30余人，其中国家级人才2人，上海市级人才4人。

主要致力于高精度光学检测/成像技术及仪器、光场调控、计算光学、机器视觉等方面的研究；

发表Nature、Science子刊、Light; Science & Applications、Optica、Laser & Photonics；

技术特点：

基于TI DLPC410和DLPC910芯片组，配置高速FPGA芯片，支持高速USB3.0和超高速40G QSFP+光模块传输接口。

实现对数字微镜阵列DMD的单像素级即时高速精确控制。

高精度的时序同步触发接口，实现对外部设备的精确触发控制。

支持多设备实时在线控制。

规格参数：

应用领域：

精密零部件三维检测

工业加工缺陷检测与分析

实验室精密检测分析

SMT: AOI,SPI检测，新能源锡焊检测

技术领域：

高精度光学检测、精密仪器仪表

技术优势：

非接触测量：

多种光学方式

避免物体表面

受到损伤或污染

高效处理：

自动对焦1秒处理计算1秒

紧凑机身：

机身小巧便携

多方向多次拆装

空间受限可用

操作简单：

检测流程自动化

电脑即可操控

参数调整简单

团队介绍：

团队成员40余人，全职教师5人，工程师9人，硕士/博士30余人，其中国家级人才2人，上海市级人才4人。

技术特点：

3.5D相机+XYZ平移检测工作台

3.5D相机单模组定制化检测方案

产线大规模完整解决方案

规格参数：

XY向测试精度：0.5-3μm

Z向测试精度：1-10μm

视场（不移动）：30mm

自动对焦速度：1s

自动处理速度：1s

应用领域：

光伏硅片切割

半导体硅片切割

技术领域：

高精度光学检测、精密仪器仪表

团队介绍：

团队成员40余人，全职教师5人，工程师9人，硕士/博士30余人，其中国家级人才2人，上海市级人才4人。

主要致力于高精度光学检测/成像技术及仪器、光场调控、计算光学、机器视觉等方面的研究。

发表Nature、Science子刊、Light; Science & Applications、Optica、Laser & Photonics；

Reviews等高水平学术论文50余篇，授权发明专利30余项；

研究成果得到包括研究成果得到包括中央新闻联播、世界科技研究新闻资讯网、世界科技探索网、交大官网等媒体报道和同行的高度评价；

研制的多款具有自主知识产权的光学模组及光学仪器，已在多家科研单位和企业的实际生产中成功应用。

技术介绍：

一款应用于硅片切割工艺中的空槽、错槽智能识别检测设备，高精度高效率大范围检测、操作便捷、适应恶劣工况。对金刚线网布线时的空槽、错槽进行大范围、高效率、高精度识别。

规格参数：

最大采样距离：110mm

平均采样速度：10mm/s

重复定位精度：0.02mm

分辨率：2176*3840/frame

计算速度：<1s/frame

单点准确率：99.999+%

接口：USB2.0(上下位机的接口)

尺寸：238mm*141mm*82.5mm

重量：2.3kg

应用领域：

智慧地下城市

矿井安全监测和救援

技术领域：

基于透地通信的无线传感

解决核心问题：

突破面向地下低功耗传感器及其无源无线通信的便携式透地共生通信关键技术，使得地下传感器无需额外电池、发射模块和传输电缆，通过从透地低频电磁波中获取能量、并以近零功耗扰动电磁波实现调制功能；

对于分布式海量传感器节点，都能通过透地共生通信架构实现无源无线传输，此时利用单个阅读器（接收端）就能实现对通信信号和传感信号的同时解调。

实现无源无线的远距离透地传输能力，能够推动拥有海量节点的地下无线传感网络发展，实现对地下环境的大面积和高可靠监测。

团队介绍：

该研究团队现有长聘教授2名，副教授1名，博士后、博士等研究生30余名， 长期从事无源无线传感系统研究，在国内外SCI期刊发表论文300余篇，承担了国家重点研发课题(2021YFA0716501, 2022YFB3205703等)、国家重大科学仪器研制项目、重点项目( 61527813, 61531008等)、国家高技术863计划重大项目、国家自然科学基金重大研究计划（92164107）、国防重点课题等50余项，获教育部自然科学基金一、二等奖各1项。

技术特点：

通用传感器被动通信信号的高分辨接收和解调：

高分辨率、低功耗的微型磁电接收端：微型一维磁电接收端实现高分辨率的磁场接收，并利用多天线组阵。

多个被动传感信号的精确定位和识别：利用接收端阵列+多载波技术实现基于多传感节点的MIMO系统，并利用压缩感知进行精确的多传感节点解调。

核心技术：

超低功耗、大带宽和高辐射效率的便携式多场驱动型低频电磁发射机。

高信噪比输出和多调制模式的微型传感被动无线输出功能端。

通用传感器被动通信信号的高分辨接收和解调。

应用领域：

动作空间带约束的具身智能场景

通用 Agent 强化学习框架，多用于开放性场景的在线学习

技术领域：

大语言模型、AI agent

解决问题：

语言智能体的动作通常由 Token（令牌，语言模型中表示单词/短语/汉字的最小符号单元）序列组成，直接将强化学习用于语言智能体进行策略优化的过程中，一般需要预定义可行动作集合，同时忽略了动作内 Token 细粒度信用分配问题。本团队将 Agent 优化从动作层分解到 Token 层，为每个动作内 Token 提供更精细的监督，可在语言动作空间不受约束的环境中实现可控优化复杂度。

团队介绍：

上海交通大学 Apex 和多智能体实验室张伟楠教授和上海交通大学人工智能学院、约翰·霍普克罗夫特计算机科学中心长聘教轨副教授温颖。

技术特点：

在 POAD 的算法主要是消除了 Token Level 与 Action Level 的贝尔曼方程更新过程的差距，以实现在 Token Level 对原始 Action Level 的 MDP 一致的策略优化。贝尔曼备份需要根据当前的奖励与未来状态下折扣值进行计算。当我们从 Action Level 的贝尔曼备份直接切换为 Token Level 的贝尔曼备份时，会从单个 Action 的折扣估计变为多个 Tokens 的折扣估计，导致和原始贝尔曼最优迭代的不一致。我们通过区分动作间折扣因子与动作内 Token 折扣因子来消除这种不一致性，保证 Token Level 和 Action Level 策略优化的一致性。

模型架构：

团队推出带有动作分解的贝尔曼备份（BAD），整合动作内和动作间 Token 的信用分配过程，提供更高效的、显式的跨层信用分配，并理论保证了其优化结果与传统纯动作层优化结果的一致性，通过在 PPO 算法中实施 BAD，我们引入了带动作分解的策略优化 POAD，受益于更精细的信用分配过程和更低的优化复杂度，POAD 支持在动作空间为开放语言空间的环境中进行策略优化，提高了语言智能体与交互环境的学习效率和通用能力。

核心技术：

第一，POAD 能够提供更快的收敛速度和稳定性，这本质上意味着 POAD 更高的学习效率；

第二，传统强化学习优化方式受限于预设好的动作，我们需要做任何动作 Agent 都预先知道，因此在开放空间里进行一些优化的时候，POAD 会更有优势。类似于在数据科学等场景，需要进行很长很开放的代码编写时，POAD 会取得更好的效果。

应用领域：

通用大模型

团队介绍：

上海交通大学 Apex 和多智能体实验室张伟楠教授和上海交通大学人工智能学院、约翰·霍普克罗夫特计算机科学中心长聘教轨副教授温颖。

技术领域：

大语言模型

解决问题：

语言智能体的动作通常由 Token（令牌，语言模型中表示单词/短语/汉字的最小符号单元）序列组成，直接将强化学习用于语言智能体进行策略优化的过程中，一般需要预定义可行动作集合，同时忽略了动作内 Token 细粒度信用分配问题。本团队将 Agent 优化从动作层分解到 Token 层，为每个动作内 Token 提供更精细的监督，可在语言动作空间不受约束的环境中实现可控优化复杂度。

技术介绍：

OpenR 将数据获取、强化学习训练（包括在线和离线训练）以及非自回归解码集成到一个统一的平台中。受到 OpenAI 的 o1 模型成功的启发， OpenR 采用了一种基于模型的方法，超越了传统的自回归方法。通过在 MATH 数据集上的评估来展示 OpenR 的有效性，利用公开的数据和搜索方法。初步实验表明，相对改进达到了显著提升。

系统设计：

过程奖励模型（PRM）在两个关键方面增强了 LLM 的策略。首先，在训练期间，PRM 通过策略优化技术（如上图所示的策略迭代）改进 LLM 策略。其次，在解码阶段，PRM 引导 LLM 的搜索过程，使推理朝着更有效的结果发展（如上图所示）。接下来我们将展示，LLM 策略还可以帮助识别缺失的中间推理步骤，这反过来又可以进一步训练和改进 PRM。正如上图所示，这种迭代的互动使 LLM 和 PRM 能够持续地释放各自的潜力以改进推理。

应用领域：

工业、餐饮、物流、零售、电商、酒店、家居等场景

技术领域：

具身智能机器人

团队介绍：

首席科学家为上海交通大学计算机科学与工程系教授、国家级高层次人才、海外高层次人才计划青年项目获得者、科学探索奖获得者卢策。

技术介绍：

具身智能大脑系统以实现通用性和智能性为核心目标，具身大脑提供“以力为中心”的具身智能大模型、原子技能库AnySkill、基础软件框架及相关开发者工具链。

技术特点：

基于实际落地场景，提供AnySkill原子技能库。通过提升单一技能的泛化通用性，增强多技能组合的复杂任务处理和复杂环境适应能力，AnySkill能够以最精简的原子能力集，支持各类场景的快速开发。

通用物体抓取技能：无需提前物体建模，可对未知物体直接进行高速抓取，支持刚体、可变形物体、无纹理等物体。

通用柔性物体折叠技能：无需提前物体建模，支持机器人全自主地完成柔性衣物展开、识别与折叠等操作，可折叠毛巾、衣服等。

通用物体表面刮削技能：无需提前物体建模，支持刮胡子，削皮等表面刮削柔性操作，适应对象表面起伏，保证安全、细致。

通用物体打开技能：无需提前物体建模，可直接打开各种物体，如抽屉、门、冰箱等。

技术优势：

（1）规划 Planning

高级语义规划：对指令进行语义分析和推理

连续思考：通过预定义的流程，不断生成新的动作参数

（2）记忆 Memory

短期记忆：实时的环境、物体、机器人、任务等状态信息

长期记忆：环境、操作空间表征、物体知识及属性、人与物体的从属或操作关系等新、信息

（3）执行 Action

机器人动作流执行引擎

软硬件协同优化能力

机器人原子操作技能库

（4）工具链 Tools

提供生命周期管理工具链，包括数字孪生、部署、运维等工件

应用领域：

机器人认识世界和对行为的决策

技术领域：

具身智能、大模型

团队介绍：

首席科学家为上海交通大学计算机科学与工程系教授、国家级高层次人才、海外高层次人才计划青年项目获得者、科学探索奖获得者卢策。

技术介绍：

实体世界大模型与机器人行为大模型，弥补大语言模型缺失的实体操作知识，以及解决机器人和物理世界以力为中心的交互操作互动反馈问题。

具身数据采集：

机械结构全映射外骨骼数据采集：具有可规模化、低成本等优势

高精度力觉遥操作数据采集：已采集100TB，两倍于GPT3训练数据

Open X-Embodiment 数据集：迄今为止最大的开源真实机器人数据集，包含22个机器人的1百万+个真实机器人轨迹

模型开发与产品验证平台：

模型训练平台，提供MLOps工具，加速模型开发

软硬件一体的具身智能业务开发和集成平台

机器人集群管理平台

数字孪生软件平台

数据采集和管理平台

数据量：

有10万级的数据实现30类的通用知识预估

拥有通用的机器人操作模型：

以物体为中心的操作知识

统一不同的操作数据集

三层次抽象用于复杂任务：

分析物体的可供性

定义基本操作概念

分解复杂任务（通过功能依赖图）

标注内容：

任务描述结合图像（状态-基本操作）

数据采集平台：

动作捕捉（12个OptiTrack+4个RGBD）

应用领域：

具身智能仿真

技术领域：

具身智能

团队介绍：

首席科学家为上海交通大学计算机科学与工程系教授、国家级高层次人才、海外高层次人才计划青年项目获得者、科学探索奖获得者卢策。

技术特点：

强大的高保真物理仿真能力：支持刚体、流体、刚体-流体耦合、气体、气体-固体耦合、热力学。

兼顾性能和仿真精度：单机（Intel Core i9-10900K CPU，NVIDIA Geforce GTX 1080Ti）可流畅运行。

丰富资源库：内置常用机器人本体数模、YCB数据集、支持Open AI Gym。

自主研发与开源：自主研发，达到一线仿真水平，且掌握每行代码，已开源开发者生态。

应用领域：

数字化制造

数字化检测

技术领域：

多轴数控加工

团队介绍：

高性能智能化制造团队，团队负责人为长江学者、国家杰青朱利民教授。团队博士2人，副教授5人，博士后6人，实验及办公用房1350平方米，拥有Nanotech 650FG等设备。

关键技术：

五轴小线段刀具路径解析光顺

五轴进给速度实时同步规划

基于FIR滤波的五轴路径局部光顺与插补

高效铣削轨迹规划

技术优势：

分区插铣：刀具使用寿命提高33%

等切宽螺旋铣：加工效率提升20%

椭圆摆线铣：加工效率提升13%

直纹面侧铣：效率提升

诱导轮：

加工时间：280小时→65小时

加工精度：0.35mm→0.13mm

贮箱箱底：

加工方式：化学铣→机械铣

加工精度：±0.5mm→±0.2mm

应用领域：

电驱动智能汽车

技术领域：

磁驱电机、电驱系统

团队介绍：

上海交通大学机动学院智能汽车研究所。

关键技术：

高速电驱系统损耗精准量化

技术优势：

电机与功率模块实时温升在线估计方法，实现温度可靠监测与功率密度提升。

基于数据驱动的功率变换器预测热管理策略，在保证热安全的前提下实现风扇降噪与功率密度提升。

应用领域：

为不同行业的客户提供创新的通用机器人智能解决方案和服务。

技术领域：

信息技术

团队介绍：

刘成良教授为首席科学家，研发团队包括机动学院 教授 2人，副教授3人，助理教授 2人，及对应工程人员多人。致力于为企业提供好用、可靠的创新技术解决方案。

技术特点：

应用领域：

手术治疗

水下应用

一些极端环境

技术领域：

机器人

团队介绍：

实验室致力于在人类智能和机器智能之间架设一座互动的桥梁，一方面，通过对人类智能的模拟提高机器智能，另一方面，通过对机器智能的研究来理解人类智能的工作机理。实验室的目标是研制出与人类和谐相处的机器人助手。

机器人设计：

受到“肌肉性静水骨骼”结构的启发，本研究设计了一种线驱动软体机械臂，用驱动线来模拟“纵向肌肉”，以期望实现类似于象鼻的复杂功能。

机器人建模：

线驱软体机器人的运动学模型：根据线驱软体机器人的几何关系，基于分段常曲率假设进行软体机器人的运动学建模。从而建立驱动拉线与机器人运动的关系。

线驱软体机器人的动力学模型：基于凯恩方法，考虑惯性力、重力、弹性内力、线驱动力，进行线驱机器人的动力学建模。

机器人控制：

机器人自由空间内的视觉伺服：将CCD摄像头内嵌软体机器人中，使用单目相机，采用深度独立矩阵进行视觉伺服的控制器设计，进行手眼伺服系统下的特征点目标追踪。

机器人受限环境中的视觉伺服：为解决拥挤环境如手术体腔环境中的手眼伺服问题，设计自适应控制器，模拟软体机械臂受外界环境干扰的情况下，进行目标点的追踪。

机器人利用光纤接近传感器的末端位置控制：软体机器人内嵌光纤传感器，通过检测接收光强来判断末端与目标的距离，使用此原理进行机器人末端位置控制，完成动态心脏追踪。

机器人利用光纤接近传感器的末端姿态控制：接近传感器末端姿态控制，是利用光纤传感器组反馈光强差异进行软体机器人末端姿态的调整，以解决末端与目标平面的角度调整问题。

机器人末端力控制：末端嵌入力传感器薄膜或光纤原理的力传感器对于动态目标进行力跟踪控制，保证接触对象的受力保持不变或达到期望指令。

机器人形状估计与控制：软体机器人的形状估计与控制对于机器人状态感知有很重要的意义，通过内嵌光纤等距刻入光栅，构造分布式光纤光栅传感器网络。检测反射光波长判断弯曲位置，从而进行软体机器人的形状感知，并进行形状控制。