上海交通大学：关于使用深度学习模型配合大语言模型对糖尿病的诊断和治疗进行辅助的验证

本次我们分享了一篇发表在Nature子刊 Nature Medicine（IF = 58.7）上的一篇文章《Integrated image-based deep learning and language models for primary diabetes care》。文章向我们展示了研究者如何使用深度学习模型配合大语言模型成功的提高了欠发达地区对糖尿病的诊断和治疗能力，为欠发达地区预防和治疗糖尿病做出了很大的贡献。

文章亮点

1. 本次实验首次使用深度学习模型成功的做到了对早期糖尿病的准确判断。
2. 本次实验还成功地使用大语言模型提高了糖尿病人的接受治疗情况和积极性。
3. 再结合了深度学习模型与大语言模型后，研究者们成功的开发了一套能够辅助医生对早期糖尿病患者进行诊断和治疗的系统。

I. 文献背景

• 文章题目：Integrated image-based deep learning and language models for primary diabetes care
• DOI：10.1038/s41591-024-03139-8
• 中文标题：关于基于集成图像的深度学习模型和大语言模型对糖尿病的诊断和治疗的帮助的研究
• 发表杂志：The Nature Medicine
• 影响因子：58.7
• 发表时间：2023年11月

II. 实验介绍

实验背景

随着社会的进步，糖尿病这种“富贵病”变得越来越常见。由于低收入和中等收入国家和地区的医疗资源不足和缺乏训练有素的护理医生，这些地区面临比发达地区更严重的公共卫生挑战。糖尿病视网膜病变是糖尿病的常见并发症，也是这些地区里工作年龄段成人失明的主要原因。

为了更好地帮助欠发达地区的居民尽早发现和治疗糖尿病，我们的研究团队开发了一套由深度学习模型和大语言模型组成的糖尿病快速检测和辅助治疗系统。其中，深度学习模型辅助医生进行更快、更高效的糖尿病筛查。在确诊糖尿病后，利用大语言模型帮助患者更加清晰、有效地治疗糖尿病。让我们一起来看看这个系统是如何被开发出来的吧！

诊疗辅助系统介绍

研究员们开发的诊疗系统名为DeepDR-LLM系统（以下称为诊疗系统），该系统由两个主要模块组成：LLM模块（以下称为大语言模型模块）和DeepDR-Transformer模块（以下称为深度学习模型模块）。系统通过这两个模块的协同工作，实现对糖尿病视网膜病变（DR）筛查和糖尿病患者的个性化管理建议。

模块I：大语言模型模块 大语言模型模块旨在根据糖尿病患者的临床元数据（包括病史、体检、实验室检查和糖尿病并发症的诊断结果）提供个性化的糖尿病管理建议。该模块基于微调的大型语言模型（LLM），使用了来自上海第六人民医院和华东疗养院等医院的共371,763对临床数据和管理建议进行训练。通过人工微调的方式，将糖尿病管理相关的知识融入大语言模型的训练过程中，该语言模型使用LLaMA-7B作为基础模型。

模块II：深度学习模型模块 深度学习模型模块负责从标准或便携式眼底图像中评估眼底图像的质量，并分别检测出微动脉瘤、棉絮斑、硬性渗出物和出血等病变。在检测到病变后，模型会根据国际临床糖尿病视网膜病变严重程度量表（AAO，2002年10月）对病变的严重程度进行分类，从而更准确地做出判断。研究人员使用了包括上海糖尿病预防计划和中国国家糖尿病并发症研究在内的14个标准眼底图像数据集，以及包括中国便携式筛查糖尿病视网膜病变-东部、中部、西部和阿尔及利亚糖尿病视网膜病变研究在内的7个便携式眼底图像数据集，对深度学习模型进行了训练。

实验过程与结果

为了尽量提高医疗辅助系统的能力，研究员们设计了四组实验以帮助两个模型更全面的学习如何帮助医生有效并迅速地诊断和治疗糖尿病：

实验2a：LLM模块性能评估 研究员们设计了一组对比实验。对研究员调试过的大语言模型；未经微调的LLaMA；初级保健医生和内分泌学住院医生在糖尿病治疗建议方面的表现进行了对比。再研究了包括100个随机选择的病例后，分别用英语和中文生成管理建议，并由专家评估。

• 结果：英语评估：大预言模型生成的的建议中，71%没有不适当内容，高于未调试的LLaMA模型（51%），与初级保健医生（71%）相当；36%的建议没有缺失内容，高于初级保健医生（27%）；57%的建议被评为达标，与初级保健医生的55%相当。中文评估：大语言模型给出的建议中，77%没有不适当内容，高于LLaMA（66%）和初级保健医生（54%）；63%的建议没有缺失内容，高于初级保健医生（46%）；88%的建议被评为达标，高于初级保健医生的60% 。
• 解读：大语言模型系统在生成糖尿病管理建议方面表现优异，特别是在内容完整性和安全性方面。相较于未经微调的LLaMA，大语言模型在两种语言环境下的表现均显著提升，并与初级保健医生和内分泌学住院医生的建议质量相当。这表明大语言模型在支持初级保健医生管理糖尿病患者方面具有很高的应用价值。

实验2b：深度学习模型模块验证 方法：在14个标准眼底图像数据集和7个便携式眼底图像数据集中，测试了研究员们调试过的深度学习模型模块的性能。

• 结果：标准眼底图像：深度学习模型在识别可转诊DR方面表现出色，AUC值在0.892到0.933之间。便携式眼底图像：模型在检测可转诊DR方面的AUC值在0.896到0.920之间 。
• 解读：深度学习模型模块在不同类型的眼底图像上均表现出色，证明其在多种环境下的适应性和准确性。特别是便携式眼底图像的优异表现，表明该模型在资源有限的环境中也能有效工作。这对于在低资源环境中推广DR筛查具有重要意义。

实验2c：深度学习模型作为辅助工具的效果 方法：评估深度学习模型作为辅助工具在初级保健医生和专业分级员（非医生）中的应用效果，包括准确性和分辨速度。

• 结果：标准眼底图像：未辅助的初级保健医生敏感性范围为37.2%-81.6%，使用深度学习模型辅助后提升至78.4%-99.6%；特异性从69.6%-92.8%提升至82.0%-97.6%；评估时间从每只眼7.39秒（IQR 6.69-8.42）减少到6.13秒（IQR 5.82-6.73）（P<0.001）。便携式眼底图像：类似趋势，准确性和时间效率均有显著提升。

• 解读：深度学习模型作为辅助工具显著提高了初级保健医生和专业分级员的敏感性和特异性，同时减少了评估所需时间。这不仅提高了筛查的准确性，还提升了工作效率，使得在临床实际应用中更加可行。

实验2d：真实世界前瞻性研究 方法：在华东疗养院进行为期12周的前瞻性研究，比较未使用大语言模型系统的初级保健医生组和使用大语言模型系统辅助的初级保健医生组对患者自我管理行为的影响。

• 结果：未使用大语言模型的初级保健医生组：253名参与者，初级保健医生根据检查结果独立给出管理建议。使用大语言模型的初级保健医生组：234名参与者，大语言模型系统辅助生成并发症诊断结果，并结合患者信息自动生成管理建议，初级保健医生据此调整并给出最终建议。结果显示，使用大预言模型系统辅助的初级保健医生组在患者自我管理行为和并发症转诊遵从性方面表现更好。
• 解读：使用大语言模型系统辅助的初级保健医生组患者在自我管理和遵从性方面表现显著提升。这表明，大语言模型系统不仅能够提供高质量的管理建议，还能够积极影响患者的健康行为，提高疾病管理的效果。这对于提高糖尿病患者的整体健康水平具有重要意义。

III. 总结

研究员们研发的辅助治疗系统通过集成图像深度学习模型和大语言模型，为初级糖尿病护理提供了全面的解决方案，特别适用于资源有限但需求量大的环境。该系统能够提供个性化、高质量且富有同理心的糖尿病管理建议，并实现并发症的自动化筛查，显著提升了糖尿病患者的自我管理行为和并发症筛查的效率。未来的研究应关注该系统在更广泛人群中的适用性和长期效果。

IV. 拓展

在拓展部份里，我想粗略的为大家介绍一下文中使用的大语言模型和深度学习模型：

LLaMA

LLaMA (Large Language Model Meta AI) 是由 Meta AI（前身为 Facebook AI）开发的一系列基础语言模型。这些模型旨在基于大量数据理解和生成类人文本。以下是关于 LLaMA 的一些关键点：

关键特点：

• 架构：LLaMA 模型采用了类似于 GPT-3 和 BERT 的 Transformer 架构。Transformer 架构因其处理序列数据和生成连贯、上下文适当的文本的能力而广受欢迎。

• 可扩展性：LLaMA 模型有多种规模，例如 LLaMA-7B、LLaMA-13B 等，数字表示参数的数量（以十亿计）。较大的模型通常提供更准确和细致的文本生成能力，但需要更多的计算资源。

• 训练数据：LLaMA 模型在多样化的数据集上进行训练，包括来自互联网、书籍、研究论文等的广泛文本。这种广泛的训练使得模型能够在各种主题和风格下生成文本。

• 应用领域：LLaMA 模型可用于多种自然语言处理（NLP）任务，包括文本生成、翻译、摘要、问答等。它们特别适用于需要理解和生成类人文本的应用。

• 定制化：LLaMA 模型的一个重要优势是能够针对特定任务或领域进行微调。研究人员和开发者可以通过在更专业的数据集上进一步训练模型，使其更好地满足特定需求。

• 开放研究：Meta AI 开发 LLaMA 是其推进 AI 研究的更广泛承诺的一部分。通过发布这些模型，Meta AI 旨在促进研究界的合作，并鼓励新的创新应用的发展。

使用示例：

• 医疗：提供个性化的医疗建议并辅助诊断程序。
• 客户服务：提升自动化客户支持系统的准确性和上下文感知能力。
• 教育：开发智能辅导系统，为学生提供个性化的学习体验。技术规格：
• LLaMA-7B：该版本有 70 亿参数，能够处理复杂的文本生成任务，同时在计算资源使用方面比更大的模型更高效。
• 训练方法：训练过程涉及在多样化和全面的文本数据上进行无监督学习，帮助学习广泛的语言模式和事实。

总之，LLaMA 代表了自然语言处理领域的重要进展，提供了强大的文本理解和生成能力。与所有 AI 技术一样，继续研究其伦理影响并制定策略以减轻潜在的偏见和其他风险是非常重要的

Transformers

Transformer 是一种用于自然语言处理 (NLP) 的深度学习模型架构，由 Vaswani 等人于 2017 年提出。它通过引入自注意力机制（Self-Attention Mechanism）显著提高了模型在处理序列数据时的效率和效果。以下是 Transformer 的一些关键特点和工作原理：

关键特点

• 自注意力机制：Transformer 中的自注意力机制允许模型在处理序列数据时同时关注序列中的所有位置。这意味着模型可以直接获取全局上下文信息，而不需要逐步传递信息，显著提高了训练和推理的速度和效果。

• 并行处理：由于不依赖于序列顺序，Transformer 可以并行处理输入数据。这与传统的循环神经网络 (RNN) 形成对比，后者需要逐步处理序列数据，从而加快了训练速度。

• 层级结构：Transformer 由多个编码器和解码器层级组成，每个层级都包含自注意力机制和前馈神经网络。编码器将输入序列转化为一组隐向量表示，解码器则根据这些隐向量和目标序列生成输出。

工作原理

• 输入嵌入：输入序列首先被转化为嵌入向量，并添加位置信息（Position Embeddings），以保留序列顺序的信息。

• 编码器：编码器包含多个相同的层，每层包括一个多头自注意力机制（Multi-Head Self-Attention）和一个前馈神经网络（Feed-Forward Neural Network）。自注意力机制计算输入序列中每个词与其他词的相关性，然后前馈神经网络进一步处理这些信息。

• 解码器：解码器的结构类似于编码器，但它还包括一个额外的自注意力层，用于处理输入序列和已生成的输出序列之间的关系。

• 输出生成：解码器最终生成目标序列的每个元素，逐步构建输出。

应用领域

• 机器翻译：Transformer 被广泛用于机器翻译任务，如 Google Translate。
• 文本生成：GPT 系列（如 GPT-3）基于 Transformer 架构，能够生成高质量的文本。
• 文本摘要：Transformer 模型可用于自动生成文本摘要。
• 情感分析：用于分析文本的情感倾向。主要优势
• 处理长距离依赖：Transformer 能够有效处理序列中的长距离依赖关系，而不受序列长度的限制。
• 高效训练：由于可以并行处理数据，Transformer 的训练效率大大提高。