安徽省优秀科技计划项目巡礼⑤丨面向工业互联网的多模态智能感知与认知决策技术攻关

政务   2024-10-17 19:26   安徽  


面向工业互联网的多模态智能感知与认知决策技术攻关


项目概况

2023年省科技将“面向工业互联网的多模态智能感知与认知决策技术攻关”列入“揭榜挂帅”项目,由羚羊工业互联网股份有限公司联合中国科学技术大学、北京理工大学、合肥工业大学、中科院合肥物质研究院、安徽工业大学以及科大讯飞、中国船级社、海螺信息技术、金星智控、皖北煤电和智能语音创新发展有限公司等11家高校、央国企和上市公司共同实施。
该项目针对工业智能感知、工业认知理解和工业智能决策体系化开展攻关,突破核心技术卡点,实现工业智能化技术自主可控,有效支撑工业互联网对产业数字化的赋能,助力安徽工业互联网产业生态发展,打造工业互联网产业新高地。

该项目利用“工业六感”模拟人的“视听嗅味触思”等感觉,融合 AI技术,让工业生产过程具备系列智能感知决策能力,提升工业效能;通过 AI感知技术、认知技术的赋能升级,构建产业知识库,建设工业认知大模型,并实现个性化精准供需匹配与资讯推荐,促进产业高效协同。

重大成果

项目启动以来,在数据集的组建、算法库构建、场景凝练、模型训练和技术应用推广等方面联合开展攻关,取得了以下阶段性成果。

——在工业智能感知技术方向,针对工业场景需求碎片化问题,研究基于工业六感的多维智能传感技术,对工业场景中非结构化的感官类传感数据进行采集和建模,依托工业声学和视觉等算法,直接输出具体的分析应用结果,让工业生产过程具备智能感知、智能决策,解决安全检测、设备管理、生产调度、知识应用等具体场景问题。目前,已经开发出20类工业声学、视觉算法,22个场景模型,构建了工业场景模型库并研究场景自适应学习算法。

工业视觉小模型


——在生产智能决策方向,主要研究大模型辅助生产过程智能感知决策,目前大模型已经在工业视觉核心技术、工业数据应用,MOM Agent与传统MES系统的结合等方面取得突破。针对工业视觉领域中的场景多变、目标多样等问题,项目团队开展工业视觉大模型技术攻关,通过视觉特征提取网络设计方法的创新,解决了视觉特征提取网络难以平衡性能和效率的问题,提升了视觉系统的通用性和自适应能力。

工业视觉检测大模型技术框架

——在工业数据应用方向,依托大模型具备的NL2SQL核心能力,实现通过自然语言对话的方式直接获取生产数据;通过思维链的方式,对提取出来的数据进一步进行数据解读、分析和预警,生成数据分析报告,辅助业务决策等;在生产制造管理方面,自主研发了MOM Agent产品,通过本地化部署与MES系统结合,基于大模型智能体通过业务CBB组件、专家模型组合(预训练的生产运营大模型和场景小模型)进行任务链与智能体规划,帮助企业实现不同场景下生产运营管理需求,实现了从系统功能驱动到业务驱动人的转变。

“工业大模型+机器人”在生产缺料配送场景下的智能体应用实例

——在工业认知大模型方向,以讯飞星火认知大模型的通用能力为技术底座,结合工业场景需求,打造专门面向工业领域的大模型。该模型具备工业文本生成、工业知识问答、工业理解运算、工业代码生成、工业多模态5项能力,从海量数据和大规模知识中持续进化,实现从提出、规划到解决问题的全流程闭环。基于该模型,羚羊工业互联网平台开发出数字工匠、流程工匠等产品,能精准提供企业、行业相关知识,提供工业领域多模态智能应用服务。结合能源行业实际需求,开发具备云边端协同、自主可控、数据与模型安全三大特性的能源大模型,覆盖风、光、水、火、核、储六大行业场景,并与国家能源集团、中国石油等企业开展合作。

基于羚羊大模型的多模态知识管理、知识应用及知识服务平台

产业化应用

通过项目攻关,推动羚羊工业互联网平台利用AI探索科技成果与企业技术需求的精准匹配和定向推送,构建虚拟研发机构,促进产业高效协同。目前羚羊工业互联网平台已经汇聚168家高校科研院所,科技成果13.4万条,技术需求1.4万条,专家和学生创客22万人,虚拟研发机构成功上线,入驻虚拟实验室30个。

往期回顾

 1 

8185.33万元!2024年第一批拟政策兑现资金正在公示

 2 

637项!2024年度安徽省自然科学基金拟立项项目正在公示

 3 

正在公示!2023年度安徽省科学技术奖专业(学科)评审结果(附名单)

来源:安徽省科学技术厅
编辑左梓涵
责编李环环
审核孙刚、凌岚、方太升
技术支持安徽新媒体集团有限公司


安徽省科技厅
安徽省科学技术厅官方公众号,发布科技信息,解读科技政策,传播科学思想,服务创新主体,开展科学普及等。
 最新文章