"怀长期主义，聊医工科技"
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
| 本期内容超哥为大家介绍一种用于深度学习图像处理的开源框架：NiftyNet - 一个针对医学影像的深度学习平台。NiftyNet旨在通过提供专为医学影像分析和计算机辅助干预任务定制的模块化深度学习管道，简化和加速解决方案的开发和研究成果的普及。这个开源平台支持多种医学影像应用，包括分割、回归、图像生成和表征学习。平台利用模块化设计，使研究人员能够专注于其特定的创新，同时利用其他人的工作来处理其余的流程。NiftyNet包括数据加载、数据增强、网络架构、损失函数和评估指标等组件，这些组件都针对医学影像分析的特殊需求进行了优化。它建立在TensorFlow框架之上，支持2D和3D图像的TensorBoard可视化。 |
关注公众号并回复：“NiftyNet”获取相关使用资料
NiftyNet是什么？
NiftyNet 是一个开源的深度学习平台，专门为医学影像分析和计算机辅助干预设计。这个平台利用模块化的方法，提供了一个全面的深度学习流水线，包括数据加载、数据增强、网络架构设计、损失函数和评估指标等。NiftyNet 的目标是简化医学影像分析领域内深度学习解决方案的开发，并加速研究成果的应用和普及。
NiftyNet的优势是什么？
NiftyNet 的核心优势在于其针对医学影像分析的特殊需求进行了优化，例如支持3D图像处理和特定的数据增强方法。它基于 TensorFlow 构建，使得开发者可以利用 TensorFlow 的强大功能，如自动微分和高效的数值计算。此外，NiftyNet 支持多种医学影像应用，包括图像分割、回归分析、图像生成和特征学习，为研究人员提供了灵活的工具来解决各种具体问题。通过其模块化和扩展性，NiftyNet 为医学影像分析社区的合作和创新提供了平台。
NiftyNet可以做什么？
训练专属DL网络：快速使用内置工具建立您想要的预先训练的网络；
AI临床应用：使现有网络应用于您的成像数据，做分割，手术规划，配准，穿刺引导等；
构建临床解决方案：快速为自己的图像分析问题构建新的解决方案，多模态融合，手术规划等。
核心技术与方法
模块化设计： NiftyNet提供了一个模块化的深度学习流水线，适用于多种医学影像应用，包括分割、回归、图像生成和表征学习等。
NiftyNet 组件的简要概述
定制化组件： 平台包括数据加载、数据增强、网络架构、损失函数和评估指标等组件，这些都经过特别优化，以适应医学影像分析的特殊需求。
基于TensorFlow： NiftyNet基于TensorFlow框架构建，支持2D和3D图像及计算图的TensorBoard可视化 。
典型深度学习项目中实现的数据流：方框代表要开发的软件基础设施，箭头代表数据流
主要功能
图像分割和回归： 支持从CT图中分割多个腹部器官，以及从大脑MRI预测CT衰减图等应用。
图像生成： 利用生成对抗网络（GAN）生成指定解剖姿势的模拟超声图像，为无成本的软件模拟提供了可能。
高扩展性： 平台设计考虑到未来可能支持的新应用类型，如图像分类、注册和增强等 。
NiftyNet 生成对抗网络的 TensorBoard 可视化。10个 sorBoard 以交互方式显示概念块（圆角矩形）的组成及其互连（灰线），并对相似块进行颜色编码。上面，生成器和鉴别器块以及鉴别器的残差块之一被扩展。字体和块大小经过编辑以提高可读性
应用实例
NiftyNet支持的三个示例应用分别展示了使用平台进行医学图像分析的潜力：
多器官分割： 利用计算机断层扫描图像进行腹部多器官分割。
Dice 分数最接近中位数的受试者的参考标准（左）和 NiftyNet（右）多器官腹部 CT 分割。 每个分割都显示有来自后方向的表面渲染视图以及覆盖在横向 CT 切片上的器官标签。
图像回归： 从脑部MRI预测CT衰减图，
超声图像模拟： 使用条件GAN生成超声图像，支持放射学或图像引导的介入任务的训练 。
基于线性插值模型参数从生成模型空间插值图像。顶行显示不同数量的超声阴影伪影之间的平滑变化。底行显示了急剧的转变，表明生成模型中存在模式崩溃。
未来发展方向
模型库扩展： 未来将扩充模型库，包括更多公共挑战的最新模型和大数据集上训练的模型，以加速研究。
实验设计： 支持更复杂的实验设计，如内置支持交叉验证和标准化超参数调优，减轻用户实施负担 。
使用NiftyNet做前列腺超声图像的分割工作
总结：
NiftyNet通过其开源的、模块化的深度学习平台，显著简化了医学影像分析和计算机辅助干预的研究和开发过程。其丰富的定制化功能和广泛的应用支持，使其成为推动医学影像的动力。
参考文献：
Gibson, Eli, Wenqi Li, Carole Sudre, Lucas Fidon, Dzhoshkun I. Shakir, Guotai Wang, Zach Eaton-Rosen et al. "NiftyNet: a deep-learning platform for medical imaging." Computer methods and programs in biomedicine 158 (2018): 113-122.
