@2024 WAIC | 联影智能联席 CEO 周翔演讲实录:医疗大模型的最新实践

健康   2024-07-08 19:29   上海  
·

文章转自联影智能,作者联影智能

谈及上海在人工智能领域的布局,文艺与科技并蓄的徐汇西岸,始终总能稳居话题 C 位。


5 日,在联影智能上海总部的坐落之处——徐汇西岸,由中国信息通信研究院承办的 2024 世界人工智能大会“迈向 AGI:大模型焕新与产业赋能”论坛拉开序幕。


本次论坛深度聚焦大模型产业应用落地、端侧智能、大模型安全与治理等前沿热点话题,来自华为、蚂蚁集团、联影智能、商汤科技等多位企业领袖,清华大学、中科大等顶尖高校与科研机构专家,与来自行业主管部门、国家实验室、国际组织的大咖嘉宾聚首一堂,探讨大模型驱动新质生产力发展的新潜能。


作为医疗 AI 垂直领域的唯一企业代表,联影智能联席 CEO 周翔受邀出席此次论坛,发表《启智能蝶变,见医疗未来》主题演讲,阐述大模型在医疗领域中的应用前景,并分享联影智能在医疗大模型开发上的阶段性成果。



演讲伊始,周翔博士就开门见山地指出:数据,是 AI 时代的燃料,亦是驱动大模型不断进化的关键所在。回顾 2010-2020 年这十年间,我国医疗数据的增长率达到了 40%。


然而,与之形成鲜明对比的是,数据的真正利用率不足 3%,仅占冰山一角。这意味着目前医疗领域仍有海量的数据尚未实现有序释放,我国医疗大模型的发展仍有巨大的想象空间和爆发潜力。



诚然,相较于其他行业,大模型技术在医疗领域的落地常常会面临着更为严峻的挑战。医疗决策,紧密关系着患者的生命安全与健康福祉,因此技术本身的成熟度与安全性也理应被置于更高的优先级。

于技术提供者而言,其行业经验的深度与广度,以及对医疗责任的深刻认识,都是衡量其能否承担医疗产品开发的关键标尺。技术提供者必须明辨哪些创新是可行的、哪些技术尚未成熟、如何稳中求进、又如何确保技术安全着陆。

在此背景下,作为医疗 AI 领域的先行者,联影智能具有较为深厚的实战经验与敏锐的行业洞察。对此,周翔博士表示:“联影智能已成功打造了行业内最全的产品线、汇聚了非常强大的研发力量、构建起领先的产学研医布局、展现出灵活高效的商业化落地能力,这些先决条件使得联影智能在医疗大模型方面可以承前启后,做到扎实而敏捷的布局和落地。”

而借助联影集团在健康管理、医学影像、辅助诊断、临床治疗、智慧医院、前瞻科研和区域医疗等方面的超前布局,联影智能背靠全智能医疗健康生态,享有深度协同、资源共享的优势,在大模型时代也更具综合创新、快速进化的竞争力。

随后,周翔博士便分享了联影智能在影像、文本和混合模态等多个前沿方向上的布局,展示大模型技术对医疗产业的切实赋能。

此次分享的亮点,莫过于联影智能的医疗混合大模型产品,包括 uAI 影智医声报告系统的发布和 uAI MERITS 多元手术规划平台的临床落地。


uAI 影智医声报告系统聚焦于医生报告书写场景,全流程辅助医生完成报告书写工作,可解决报告书写重复、繁琐等痛点。基于 uAI 影智医声报告系统内置的语音、文本、影像多模态大模型技术,AI 通过对医生的语音识别,智能分析语音描述、自动匹配影像部位,实现标准化报告描述,并可根据语音指令自动生成规范的检查结论,智能屏蔽无关对话内容,让报告书写工作更加便捷、规范。


uAI 影智医声报告系统使用演示


区别于市面大多数的语音电子病历软件,该应用可与联影智能长期深耕的优势领域结合,即与现有的全疾病谱、全模态的医学影像 AI 辅助诊断软件无缝衔接,在患者进行影像扫描后,可将 AI 辅助诊断结果直接生成初步结构化报告,并在医生语音指导下直观便捷地辅助报告书写,实现“影像诊断-报告撰写”全流程、多模态 AI 赋能。


未来,影智医声报告系统也将在医疗健康管理方面发挥优势,包括医学影像智能分析、个人随访档案、体检报告解读等多维功能,从预防保健、疾病治疗、到康复管理,提供全周期健康管理服务。


除了新发布的影智医声报告系统,周翔博士还分享了一个在混合大模型领域取得的重要成就。

在六月,香港大学牙医学院口腔颌面外科的专家团队利用 uAI MERITS 多元手术规划平台完成了「全球首例」混合大模型驱动的口腔颌面整复外科手术。

术中使用 uAI MERITS


该技术的创新点在于通过影像大模型分割算法及智能动态跟踪投影技术,解决了在穿支皮瓣制备中,医生靠经验和感觉定位穿支血管的临床痛点,大大提升了手术效率和精准度。

医生根据 3D 重建的血管投影标记小腿穿支血管

目前,该团队已成功完成三例由 uAI MERITS 平台赋能的口腔颌面整复外科手术,其中区别于前两例的腓骨肌皮瓣制备手术,第三例手术首次实现了股前外侧穿支皮瓣制备手术。这些里程碑式的成功标志着混合大模型在口腔颌面外科领域迈出了重要一步,为虚实结合的手术技术发展开启了一个新方向。

在影像大模型方面,联影智能基于多器官、多病种、多模态影像数据,打造了 uAI 影像基模型。该模型具备医学影像的通用认知能力,既可实现一扫多查,又可快速拓展出新的能力。在实际开发中,仅需少量样本进行微调或增量学习,即可快速开发全新产品。


数字减影血管造影(DSA)这一技术常用于心脏介入手术,其数据和标注也往往较难收集。并且由于图像中的造影导丝非常细,且背景存在较多噪音,因此对导丝的标注、分割和追踪往往是一项极具挑战性的任务。

联影智能借助少批量的人工标注数据,使用生成式 AI 模型生成大量模拟导丝图并配以不同的动态背景,得到海量自带金标准的 DSA 训练视频,再将生成的数据投入到模型训练后发现,造影导丝的检测和分割的准确性提升了 6%。基于类似的思路,生成式 AI 可以模拟生成不可分享的私域数据,将联邦学习的精准度提升 11%。


在深度整合了医疗证据精确抽取、信息总结以及个性化推理能力后,联影智能打造的文本大模型的应用潜力也得到了进一步释放。

它不仅能够直接从复杂的录音内容中迅速筛选并结构化关键信息,有效革新电子病历的数据处理方式,还能够智能地将入院记录转化为首次诊疗记录,极大简化医疗文书的编写流程,让医护人员能从繁复的文书工作中解脱出来,更加专注于临床诊疗工作,并有更多时间给到病人。

另外,联影智能也开发了基于语义理解的院外记录的录入工具,可以便捷地把例如纸质打印的检验报告里的表格扫描识别成结构化的信息,直接转入医院相关信息系统,并供医疗大模型做基于全病史的推理和决策支持。


对于医疗大模型的进一步畅想,周翔博士表示,未来的医疗 AI 大模型将是一个集算法模型、数据和算力于一体的综合体,从健康管理、智能诊疗、医院管理、到教学科研等所有与大健康相关的工作都将能够借助一个整合的大数据与大智能平台来完成。

但是,由于医疗领域具备高度的严肃性、复杂性与低容错性,现阶段大模型在医疗领域落地,仍旧需要关注一些实际问题。周翔指出:以最基础的字母数数问题为例,当我们向目前的大模型提问:单词 uncharacteristically 的第 16 个字母是什么?模型回答常会犯错,并且该问题似乎是很多大模型的一个“通病”。



这说明,大模型在一些逻辑简单但是很不常见的问题上仍然会莫名其妙地出错而不自知。但此类基础性错误在高度严肃、复杂的医疗领域,是带有高风险的。这也意味着,短期内大模型技术要在医疗领域落地,仍旧需要严谨的风险把控。

尽管今天的大模型还代替不了医生,但随着产学研医的通力合作和深入探索,医疗 AI 大模型一定会引领着医疗行业不断跃迁,并在不远的未来实现高质高效和全新体验的涌现和蝶变。

以上产品与技术由上海联影智能科技有限公司提供

联影医疗
关于联影,您想知道的一切,尽在于此。
 最新文章