AI“生成式”科普创作能否取代药师?

健康   2024-09-30 16:21   北京  

相关阅读:《药师怎么做科普?国家卫健委划重点!可享受职称晋升、评优评先等制度保障》


在过去,药师的职称评审往往聚焦于学历、工作经验和专业考试。然而,随着医疗行业的发展和公众对健康知识需求的增加,专业药学科普的重要性愈发彰显。面对科普文章的撰写任务如何将晦涩难懂的专业知识转化为公众易于理解的生动内容,是创作过程中主要的瓶颈,也恰恰是决定作品吸引力的关键因素。

大语言模型的出现为药学科普内容创作的增效提质带来了契机理论上,利用生成式AI的特点,结合药师制定的较为完善的内容框架和高质量的提示词,可以实现作品快速批量生产但在实际应用过程中我们发现,即使是千亿级大语言模型,虽然其在通用知识部分表现优秀,但在特定知识领域(如垂直的医药行业),大语言模型由于缺乏药物治疗管理和药学监护等数据集训练,在解释剂量等关键数据时经常产生“幻觉”,错误并发的风险值得高度关注。

值得庆幸的是,国内已有专注于智慧药学服务产品研发的厂家尝试汇总海量药学领域先验知识,结合药物治疗实践案例和专家经验自建小数据集,应用微调(Fine-tuning)和检索增强生成技术(RAG)来提升大语言模型在药学科普创作、药学门诊和药师驻科服务、药师规范化培训等细分领域决策产出的性能表现,形成旨在高效执行特定语言任务的小型语言模型,并能主动提供生成内容的参考来源以满足医疗领域对于循证的苛刻要求。

以下我们选取一篇科普作品为“模特”来分别让小型语言模型和多个主流大语言模型完成“素描”,对其创作能力进行初步考察:

这篇药师科普聚焦热点药物,内容深入浅出,文字通俗易懂,可谓精品,尤其值得关注的内容是提到了刚刚在中国获批上市的司美格鲁肽口服剂型和原有注射剂型之间的剂量转换策略,颇为与时俱进,我们就基于这个知识点来进行众多AI写手之间的PK。

原文中的剂量转换方法来自于口服剂型英文原版说明书内容的翻译:如下:

那么我们现在就以“司美格鲁肽口服和注射剂量的转换策略”为提示词,来看看生成式AI们的表演:

国产模型:主旋律-安全第一

1.小灵

模型情况:灵犀量子(北京)医疗科技有限公司(简称:灵犀医疗,源自诺道健康集团)所开发的医药专业领域小型语言模型,针对药学服务专业领域量身定制,强调精确度和效率,其独特的优势在于结合医疗机构实际需求可以提供所有生成内容的参考来源列表,实现答有所依,循证严谨,即使偶发幻觉使用者也便于及时发现和纠正。

生成内容:                           

参考来源:

评估结果:参考来源都是国内外高质量的文献,并且内容与原文非常吻合,有理有据,每篇文献来源中对应的段落内容也清晰呈现,使用者高度友好。

2.文心一言(网页版本即最新版本)

模型情况:百度一下啥都有

生成内容:

在中国,我以注射液的形式与大家见面。我有两种规格,就像穿着不同颜色衣服的“双胞胎”:红色的是1.5ml/2.01mg,蓝色的是3ml/4.02mg。注射时,您可以选择不同的剂量刻度,从起始的0.25mg开始,逐步调整至0.5mg或1mg,每周只需一次,非常方便。

关于口服剂型,目前我还未以这种形式与大家见面,但科学家们正在不断探索,希望未来能有更多选择,让治疗更加灵活便捷。不过,请记住,任何剂型的转换或替代都应在医生的指导下进行,切勿自行决定。

参考来源:基本都为百度搜索出的互联网科普,看病可以不信医生,必须信百度!

评估结果:主打一个不知道不乱说

3.通义千问(网页版本即最新版本)

模型情况:淘宝赚的钱都干这个了

生成内容:

我的“身体”有两种不同的形态:一种是注射液,另一种是片剂(也就是你们常说的口服药)。两种形态都是有效的,但是它们之间不能直接互换。如果你正在使用注射液,而想转为口服片剂,或者反过来,都需要在医生的指导下逐步调整。一般来说,开始新的剂型时,会从较小的剂量开始,然后根据你的身体反应逐渐增加到合适的剂量。

参考来源:基本为互联网各类来源内容的拼凑,喜欢啥就推你啥

评估结果:别多问,我不想惹事儿

国外模型:主旋律-和拜登一样,时常产生幻觉,并且不会主动提供参考来源,追问之后只会泛泛地提供一些比如“糖尿病协会(ADA)和内分泌学会(AACE)发布的糖尿病管理指南,通常会包含关于GLP-1受体激动剂的使用和剂量调整的建议。”等难以验证或者验证后不存在相关推荐内容的参考来源,以下不再一一列举。

4.Claude3.5 sonnet

模型情况:Anthropic公司开发。Anthropic是一家美国的人工智能初创公司,由OpenAI前高级成员丹妮拉·阿莫代(Daniela Amodei)和达里奥·阿莫代(Dario Amodei)兄妹于2021年创立。训练参数量约数十亿。

生成内容:

如果你正在使用注射剂,想要改用口服剂,医生通常会根据你当前使用注射剂的剂量来确定合适的口服剂剂量:

- 如果你正在使用0.25毫克或0.5毫克的注射剂,可以转换为3毫克的口服剂。

- 如果你正在使用1.0毫克或1.5毫克的注射剂,可以转换为7毫克的口服剂。

- 如果你正在使用2.0毫克的注射剂,可以转换为14毫克的口服剂。

反过来,如果你想从口服剂转换到注射剂,医生也会根据你当前使用口服剂的剂量来确定合适的注射剂剂量。

评估结果:剂量建议找不到任何依据,基本判断为幻觉。实际使用中发现国外多个大语言模型存在互相参考错误内容的情况。

5.Gpt-4o

模型情况:OpenAI的最新一代大型语言模型,在模型参数规模上达到了前所未有的高度。具体来说,GPT-4在120层网络中总共包含了约1.8万亿个参数。这一数字是GPT-3(约1750亿参数)的10倍以上,展示了GPT-4在知识库深度和推理能力上的显著提升。

生成内容:

如果你想从注射剂转换为口服剂,或者反之,以下是一些具体的方法:

- **从注射剂到口服剂**:

- 0.25毫克或0.5毫克的注射剂可以转换为3毫克的口服剂。

- 1.0毫克或1.5毫克的注射剂可以转换为7毫克的口服剂。

- 2.0毫克的注射剂可以转换为14毫克的口服剂。

- **从口服剂到注射剂**:

- 3毫克的口服剂可以转换为0.25毫克的注射剂。

- 7毫克的口服剂可以转换为0.5毫克的注射剂。

- 14毫克的口服剂可以转换为1.0毫克的注射剂。

在转换过程中,请务必在医生的指导下进行,以确保安全和有效。

评估结果:错的一样离谱,找不到任何来源里有相同建议,并未达万亿级大模型应有的实力。

6.Gemini 1.5 pro

模型情况:由谷歌公司开发的。参数量为175B(即1750亿),相较于之前版本的Gemini Pro(参数量可能为600B)有了显著降低。这种参数量的减少可能得益于模型架构的优化和参数效率的提升,使得模型在保持高性能的同时,降低了对计算资源的需求。

生成内容:

如果你想从注射剂转换为口服剂,或者反过来,医生会根据你当前的剂量来确定合适的转换剂量。一般来说:

- **从注射剂到口服剂**:

- 0.25毫克或0.5毫克的注射剂可以转换为3毫克的口服剂。

- 1.0毫克或1.5毫克的注射剂可以转换为7毫克的口服剂。

- 2.0毫克的注射剂可以转换为14毫克的口服剂。

- **从口服剂到注射剂**:

- 3毫克的口服剂可以转换为0.25毫克的注射剂。

- 7毫克的口服剂可以转换为0.5毫克的注射剂。

- 14毫克的口服剂可以转换为1.0毫克的注射剂。

评估结果:错的一样一样的

7.O1-preview和O1-mini

模型情况:开发者是OpenAI。O1-preview(知识广)和O1-mini(逻辑强)均为128K上下文,这意味着它们能够处理相当长的文本序列,这对于需要处理复杂推理和长文生成的任务来说至关重要。同时,这两个模型的训练知识截止日期均为2023年10月,这表明它们在训练过程中使用了大量的最新数据,以确保模型能够理解和生成符合当前时代背景的文本。

生成内容:一对儿难兄难弟,对的大多相似,错的也没啥不同

如果你想从注射剂转换为口服剂,或者反过来,以下是一些具体的方法:

- **从注射剂到口服剂**:

- 0.25毫克或0.5毫克的注射剂可以转换为3毫克的口服剂。

- 1.0毫克或1.5毫克的注射剂可以转换为7毫克的口服剂。

- 2.0毫克的注射剂可以转换为14毫克的口服剂。

- **从口服剂到注射剂**:

- 3毫克的口服剂可以转换为0.25毫克的注射剂。

- 7毫克的口服剂可以转换为0.5毫克的注射剂。

- 14毫克的口服剂可以转换为1.0毫克的注射剂。

在转换过程中,请务必在医生的指导下进行,以确保安全和有效。

评估结果:谁用谁知道,挺好,下次别用了。

总结:这样的测试只是针对随机问题的随机回答,虽然出现了一些幻觉导致的错误,但是大语言模型尤其是千亿级、万亿级大预言模型在通用知识领域展示出的能力毋庸置疑已经带动了一场知识革命。只不过对于特定领域的知识生成需求,尤其是对质量安全要求极高的医疗场景,高质量的专业数据集加持后的小型语言模型,并不过分追求计算能力而是专注准确度和效率,并且更容易实现在医疗机构内的本地部署,也许在智慧药学服务解决方案中有更大的实用潜力。


热点视频推荐📹
👇
药事网发布 | 尽情分享朋友圈 | 转载请联系授权



                    药事网

中国领先的互联网药师集团

长按识别二维码关注 


 戳原文,看药事网全频道!

药事网
中国领先的互联网药师集团,北京药学会《药物与人》杂志媒体支持单位,北京科技记者编辑协会成员单位,拥有覆盖全国超过6000位医院药师的实名制社群。入驻无锡市健康物联网创新中心,被评为2019年杰出行业观察者,今日头条2020年最具影响力机构。
 最新文章