Nat Med| nnU-Net:一种自配置的深度学习方法,用于生物医学图像分割

科技   科学   2024-11-07 08:02   重庆  

                                                                             


德国海德堡癌症研究中心医学图像计算部、海德堡大学生物科学学院、DeepMind公司2021年在nature methods  (JCR Q1, IF: 36.1) 杂志上发表了nnU-Net:一种自配置的深度学习方法,用于生物医学图像分割

nnU-Net:一种自配置的深度学习方法,用于生物医学图像分割


摘要:生物医学成像是科学发现的驱动力和医疗保健的核心组成部分,并且正在受到深度学习领域的刺激。虽然语义分割算法在许多应用中实现了图像分析和量化,但相应专用解决方案的设计是非平凡的,并且高度依赖于数据集属性和硬件条件。开发了nnU-Net,这是一种基于深度学习的分割方法,它可以自动配置自己,包括预处理、网络架构、训练和后处理,以适应任何新任务。在这个过程中的关键设计选择被建模为一组固定参数、相互依赖的规则和经验决策。无需手动干预,nnU-Net就超越了大多数现有方法,包括在国际生物医学分割竞赛中使用的23个公共数据集上的高度专业化解决方案。公开提供nnU-Net作为一个即插即用的工具,通过要求不超过标准网络训练的专家知识或计算资源,使最先进的分割技术能够被广泛的人群所使用。

图1 | nnU-Net处理广泛的数据集和目标图像属性。所有示例均来自nnU-Net应用的不同国际分割挑战的测试集。每个数据集的目标结构在2D中显示为原始数据的投影(左)以及与原始数据的体积渲染一起的3D(右)。所有可视化均使用MITK工作台创建。a, CT图像中的心脏(绿色)、主动脉(红色)、气管(蓝色)和食管(黄色)(数据集(D)18)。b, FM中的A549肺癌细胞(紫色)(D22)。c, CT图像中的肺结节(黄色)(D6)。d, T1相位MRI中的肝脏(黄色)、脾脏(橙色)、左右肾脏(分别为蓝色和绿色)(D16)。e, EM扫描中的突触裂隙(绿色)(D19)(https://cremi.org/)。f, MRI中的水肿(黄色)、增强肿瘤(紫色)、坏死(绿色)(T1、T1对比剂、T2、FLAIR)(D1)。g, CT图像中的肾脏(黄色)和肾肿瘤(绿色)(D17)。h, CT图像中的十三个腹部器官(D11)。i, CT中的肝血管(黄色)和肝肿瘤(绿色)(D8)。j, MRI中的左心室(黄色)(D2)。k, 电影MRI中的右心室(黄色)、左心室腔(蓝色)和左心室心肌(绿色)(D13)。l, FM中的HL60细胞核(实例分割,每个实例一种颜色)(D21)。

语义分割将原始的生物医学图像数据转化为有意义的、空间结构化的信息,因此在科学发现中扮演着重要角色。同时,语义分割在众多临床应用中也是必不可少的,包括在诊断支持系统、治疗计划支持、手术中协助和肿瘤生长监测等领域中人工智能的应用。自动分割方法的兴趣体现在生物医学图像分析竞赛中的活跃研究领域,占据了70%的比例。

尽管基于深度学习的分割方法最近取得了成功,但它们对特定图像分析问题的适用性常常受到限制。任务特定的方法设计和配置需要高水平的专业知识和经验,小错误可能导致性能大幅下降。特别是在三维(3D)生物医学成像中,数据集属性如成像方式、图像大小、(各向异性)体素间距和类别比例差异巨大,这个过程可能变得繁琐,一个数据集的成功配置很少能转移到另一个数据集。在适应和训练神经网络中涉及的众多专家决策范围从确切的网络架构到训练计划和数据增强或后处理方法。每个相互依赖的子组件都由基本参数如学习率、批量大小或类别采样策略控制。整体设置中额外的复杂性是由训练和推理的硬件可用性引起的。像之前在自动机器学习(AutoML)领域提出的那样,纯粹基于经验的优化这些相互依赖的设计选择在高维空间中,放大了所需的训练案例数量和计算资源的数量级,并且通常只涵盖了分割管道的一小部分(例如架构或数据增强),留下了相当一部分配置给实验者。此外,将AutoML应用于新数据集时,还需要一系列专家选择,例如在考虑构建一个合理的特定问题搜索空间时。正如我们对国际生物医学分割挑战中当前形势的分析所示,这些实际限制通常让用户在方法设计过程中手动进行迭代试错过程,这个过程大多由个人经验驱动,记录很少,通常导致次优的分割管道。

在这项工作中,概述了一种新的方法,介于目前主要是专家驱动的生物医学分割方法配置和主要是数据驱动的AutoML方法之间。具体来说,定义了一个食谱,它在任务不可知的层面上系统化配置过程,并在给定新任务时大幅减少了实证设计选择的经验搜索空间。

  1. 收集不需要在数据集之间适应的设计决策,并确定一个稳健的通用配置(“固定参数”)。

  2. 尽可能多地为剩余决策制定明确的依赖关系,以特定数据集属性(“数据集指纹”)和设计选择(“管道指纹”)的形式,以启发式规则的形式,允许在应用时几乎即时适应(“基于规则的参数”)。

  3. 从数据中经验性地学习剩余的决策(“经验参数”)。

这个诀窍的实现已经在医学分割十项全能提供的十个数据集上开发和验证。由此产生的分割方法,我们称之为nnU-Net,能够为任意新数据集执行自动配置。与现有研究方法相比,nnU-Net是整体的,即其自动配置涵盖了整个分割管道(包括网络架构的基本拓扑参数),无需任何手动决策。此外,nnU-Net中的自动配置快速,包括简单执行规则和只需做出少数经验选择,因此几乎不需要超出标准模型训练的计算资源。最后,nnU-Net是数据高效的;基于大型和多样化数据池编码的设计选择作为强大的归纳偏置,用于应用于训练数据有限的数据集。

nnU-Net的自动配置的普遍适用性在另外13个数据集上得到证明。总的来说,在53个分割任务上报告了结果,覆盖了目标结构、图像类型和图像属性的前所未有的多样性。作为一个开源工具,nnU-Net可以简单地训练出来,生成最先进的分割。

图2 | 提出的自动化方法配置用于基于深度学习的生物医学图像分割。给定一个新的分割任务,以“数据集指纹”(粉红色)的形式提取数据集属性。一组启发式规则模拟参数相互依赖性(显示为细箭头),并在此指纹上操作以推断数据依赖的“基于规则的参数”(绿色)。这些参数由预定义的“固定参数”(蓝色)补充,不需要适应。在五折交叉验证中训练多达三个配置。最后,nnU-Net自动执行这些模型的最优集成选择,并确定是否需要后处理(“经验参数”,黄色)。底部的表格显示了所有配置参数的显式值以及规则制定的总结。Res.,分辨率。

图3 | nnU-Net超越大多数专门的深度学习管道。nnU-Net在所有国际挑战中取得的定量结果。对于每个分割任务,nnU-Net取得的结果以红色突出显示;竞争团队以蓝色显示。对于每个分割任务,显示了nnU-Net的排名以及竞争算法的总数。

方法

数据集特征  作为第一步处理,nnU-Net将提供的培训案例裁剪到它们的非零区域。虽然这在大多数数据集中对我们的实验没有影响,但它显著减少了如D1(脑肿瘤)和D15(多发性硬化病变(MSLes))等脑部数据集的图像大小,从而提高了计算效率。基于裁剪的训练数据,nnU-Net创建了一个数据集指纹,捕获所有相关参数和属性:图像大小(即每个空间维度的体素数)在裁剪前后,图像间距(即体素的物理大小),模态(从元数据中读取)以及所有图像的类别数量,以及所有训练案例的总数。此外,指纹包括前景区域(即属于任何类别标签的体素)的强度值的均值和标准差,以及0.5和99.5百分位数,这些是所有训练案例中计算的。

管道特征  nnU-Net通过生成所谓的管道指纹,自动化设计深度学习方法,用于生物医学图像分割,其中包含所有相关信息。重要的是,nnU-Net将设计选择减少到最基本的,并使用一组启发式规则自动推断这些选择。这些规则将领域知识压缩,并在上述数据指纹和项目特定的硬件限制上操作。这些基于规则的参数由固定参数补充,它们是数据独立的,以及在训练期间优化的经验参数。

固定参数  架构模板。由nnU-Net配置的所有U-Net架构都源自同一模板。这个模板紧密跟随原始的U-Net及其3D对应物。根据我们的假设,一个配置良好的纯U-Net仍然很难被超越,U-Net配置没有使用最近提出的架构变化,如残差连接、密集连接、注意力机制、挤压和激励网络或扩张卷积。与原始架构相比,我们做了一些小的改动。为了能够使用大的补丁大小,nnU-Net中的网络批量大小很小。实际上,大多数3D U-Net配置仅用两个批量大小进行训练。批量归一化通常用于加速或稳定训练,但在小批量大小下表现不佳。因此,我们为所有U-Net模型使用了实例归一化。此外,我们用泄漏的ReLU(负斜率,0.01)替换了ReLU。网络使用深度监督进行训练;在解码器中除了两个最低分辨率外,所有分辨率都添加了额外的辅助损失,允许梯度更深入地注入网络,促进网络中所有层的训练。所有U-Net在每个分辨率步骤中都使用两个块,在编码器和解码器中,每个块由卷积、随后的实例归一化和泄漏ReLU非线性组成。下采样实现为步幅卷积(由代表性瓶颈驱动),上采样实现为转置卷积。作为性能和内存消耗之间的权衡,初始特征图数量设置为32,并在每次下采样(上采样)操作中加倍(减半)。为了限制最终模型的大小,3D和2D U-Net的特征图数量分别限制在320和512。

训练计划  基于经验和作为运行时间和回报之间的权衡,所有网络都训练1000个周期,一个周期被定义为对250个迷你批量的迭代。使用具有Nesterov动量的随机梯度下降(μ=0.99)和初始学习率0.01来学习网络权重。学习率在整个培训过程中根据“poly”学习率政策衰减,(1 - epoch/epochmax)0.9。损失函数是交叉熵和Dice损失的总和。对于每个深度监督输出,使用相应的降采样真实分割掩模进行损失计算。训练目标是所有分辨率的损失(L)的总和,L=w1×L1 + w2×L2 + …。在这里,权重(w)随着分辨率的降低而减半,结果是w2 = ½×w1,w3 = ¼×w1等,并归一化以总和为1。迷你批量的样本是从随机训练案例中选择的。为了确保对类别不平衡的稳健处理,66.7%的样本来自选定训练案例中的随机位置,而33.3%的补丁保证包含选定训练样本中存在的前景类别之一(随机选择)。前景补丁的数量四舍五入到一个强制的最小值1(结果是一批大小为两个的情况下有一个随机和一个前景补丁)。在训练过程中实时应用了各种数据增强技术:旋转、缩放、高斯噪声、高斯模糊、亮度、对比度、低分辨率模拟、伽马校正和镜像。

推理  图像是用滑动窗口方法预测的,其中窗口大小等于训练期间使用的补丁大小。相邻预测的重叠是补丁大小的一半。分割的准确性会随着窗口边界的接近而降低。为了抑制拼接伪影并减少靠近边界位置的影响,应用了高斯重要性加权,增加了softmax聚合中心体素的权重。在所有轴上应用镜像的测试时增强。

基于规则的参数  强度归一化。nnU-Net支持两种不同的图像强度归一化方案。除CT图像外,所有模态的默认设置是z得分。对于此选项,在训练和推理期间,每个图像都独立归一化,首先减去其均值,然后除以其标准差。如果裁剪导致平均大小减少25%或更多,则创建一个中央非零体素的掩模,并且仅在此掩模内进行归一化,忽略周围的零体素。对于CT图像,nnU-Net使用不同的方案,因为强度值是定量的,反映了组织的物理属性。因此,通过使用全局归一化方案保留这些信息是有益的,该方案适用于所有图像。为此,nnU-Net使用前景体素的0.5和99.5百分位数进行剪辑,以及全局前景均值和标准差来归一化所有图像。

重采样  在一些数据集中,特别是在医学领域,体素间距(体素所代表的物理空间)是异质的。卷积神经网络在体素网格上操作并忽略这些信息。为了应对这种异质性,nnU-Net使用三阶样条、线性或最近邻插值将所有图像重新采样到相同的目标间距(见下文)。图像数据的默认设置是三阶样条插值。对于各向异性图像(最大轴间距÷最小轴间距>3),平面内重采样使用三阶样条插值,而层间插值使用最近邻插值。在各向异性情况下,不同地处理层间轴可以抑制重采样伪影,因为层间切片之间的大轮廓变化更为常见。分割图通过将其转换为one-hot编码进行重采样。然后每个通道使用线性插值,并通过argmax操作检索分割掩模。同样,在低分辨率轴上使用“最近邻”进行各向异性情况的插值。

目标间距  选择的目标间距是一个关键参数。较大的间距会导致图像变小,从而丢失细节,而较小的间距会导致图像变大,防止网络积累足够的上下文信息,因为补丁大小受到给定图形处理单元(GPU)内存预算的限制。尽管这种权衡部分由3D U-Net级联(见下文)解决,但仍需要为低分辨率和全分辨率选择一个合理的目标间距。对于3D全分辨率U-Net,nnU-Net使用训练案例中发现的间距的中值作为默认目标间距,每个轴独立计算。对于各向异性数据集,这个默认值可能导致严重的插值伪影或由于训练数据中分辨率的大差异而丢失大量信息。因此,如果体素和间距各向异性(即最低间距轴与最高间距轴的比率大于三),最低分辨率轴的目标间距被选为训练案例中发现的间距的第十百分位数。对于2D U-Net,nnU-Net通常在两个最高分辨率的轴上操作。如果所有三个轴都是各向同性的,那么两个尾随轴被用于切片提取。目标间距是训练案例的中值间距(每个轴独立计算)。对于基于切片的处理,不需要沿层间轴重新采样。

适应网络拓扑、补丁大小和批量大小  找到一个合适的U-Net架构配置对于良好的分割性能至关重要。nnU-Net优先考虑大的补丁大小,同时保持在预定的GPU内存预算内。大的补丁大小允许聚合更多的上下文信息,通常可以提高分割性能。然而,这会减少批量大小,导致反向传播中梯度噪声更大。为了提高训练的稳定性,我们要求最小的批量大小为两个,并为网络训练选择一个较大的动量项(固定参数)。图像间距也考虑在适应过程中:下采样操作可以配置为仅在特定轴上操作,以及3D U-Net中的卷积核可能配置为仅在某些图像平面上操作(伪2D)。所有U-Net配置的网络拓扑是基于重采样后的中值图像大小以及图像被重采样的目标间距选择的。适应过程的流程图见补充说明5中的图SN5.1。下面详细描述的架构模板适应在计算上是不贵的。因为基于特征图大小的GPU内存消耗估计,不需要GPU来运行适应过程。

初始化  补丁大小被初始化为重采样后的中值图像形状。如果补丁大小不能被2nd整除每个轴,其中nd是下采样操作的次数,它相应地进行填充。

架构拓扑  架构通过确定每个轴上的下采样操作次数来配置,这取决于补丁大小和体素间距。下采样进行到进一步下采样会将特征图大小减少到小于四个体素,或者特征图间距变得各向异性。下采样策略由体素间距决定;高分辨率轴分别下采样,直到它们的分辨率在较低分辨率轴的两倍以内。然后,所有轴同时下采样。对于每个轴,一旦触发相应的特征图约束,就终止下采样。3D U-Net和2D U-Net的默认卷积核大小分别为3×3×3和3×3。如果轴之间存在初始分辨率差异(定义为间距比大于二),直到分辨率在两倍以内,层间轴的卷积核大小设置为一。请注意,然后所有轴的卷积核大小保持为三。

适应GPU内存预算  配置中的最大补丁大小受到GPU内存的限制。因为补丁大小被初始化为重采样后的中值图像形状,所以对于大多数数据集来说,它最初太大而无法适应GPU。nnU-Net根据网络中的特征图大小估计给定架构的内存消耗,并将其与已知内存消耗的参考值进行比较。然后,通过迭代过程减少补丁大小,同时在每一步中相应更新架构配置,直到达到所需的预算(见补充说明5中的图SN5.1)。补丁大小的减少总是应用于数据的中值图像形状相对于最大的轴。一步中的减少量为2nd体素,其中nd是下采样操作的次数。

批量大小  作为最后一步,配置批量大小。如果进行了补丁大小的减少,批量大小设置为两个。否则,剩余的GPU内存空间被用来增加批量大小,直到GPU完全使用。为了防止过拟合,批量大小被限制,使得迷你批量中的体素总数不超过所有训练案例的体素总数的5%。生成的U-Net架构示例请参见补充说明3的第1和第2节。

配置3D U-Net级联  在降采样数据上运行分割模型增加了补丁相对于图像的大小,从而使网络能够积累更多的上下文信息。这以减少生成的分割的细节为代价,如果分割目标非常小或以其纹理为特征,也可能导致错误。在GPU内存无限的假设场景中,通常更倾向于以覆盖整个图像的补丁大小训练模型。3D U-Net级联通过首先在降采样图像上运行3D U-Net,然后训练第二个全分辨率3D U-Net来细化前者的分割图,近似这种方法。通过这种方式,“全局”低分辨率网络使用最大的上下文信息生成其分割输出,然后作为额外的输入通道引导第二个“局部”U-Net。级联仅在3D全分辨率U-Net的补丁大小覆盖中值图像形状的不到12.5%的数据集中触发。如果这种情况发生,降采样数据的目标间距和相关的3D低分辨率U-Net的架构被配置为一个迭代过程。目标间距被初始化为目标间距的全分辨率数据。为了使补丁大小覆盖大部分输入图像,目标间距逐步增加1%,同时在每一步中相应更新架构配置,直到得到的网络拓扑的补丁大小超过当前中值图像形状的25%。如果当前间距是各向异性的(最低和最高分辨率轴之间的差异是两倍),只增加较高分辨率轴的间距。第二级3D U-Net的配置与独立的3D U-Net相同,其配置过程如上所述(除了第一U-Net的上采样分割图被连接到其输入)。补充说明5中的图SN5.1b提供了这个过程的概述。

经验参数  集成和选择U-Net配置。nnU-Net自动确定用于推理的(集成的)配置,基于通过交叉验证在训练数据上计算出的平均前景Dice系数。选定的模型可以是单个U-Net(2D、3D全分辨率、3D低分辨率或级联的全分辨率U-Net),也可以是这些配置中的任何两个的集成。模型通过平均softmax概率进行集成。

后处理  基于连通分量的后处理通常用于医学图像分割。特别是在器官图像分割中,它有助于通过移除所有非最大的连通分量来消除误报的检测。nnU-Net遵循这一假设,并自动基准测试抑制较小分量对交叉验证结果的影响。首先,所有前景类别被视为一个组件。如果抑制所有非最大区域提高了平均前景Dice系数,并且没有降低任何类别的Dice系数,则选择此过程作为第一个后处理步骤。最后,nnU-Net基于这一步骤的结果,决定是否对各个类别执行相同的程序。

实现细节  nnU-Net使用Python 3.8.5和PyTorch框架1.6.0实现。Batchgenerators 0.21用于数据增强。还使用了包括tqdm 4.48.2、dicom2nifti 2.2.10、scikit-image 0.17.2、MedPy 0.4.0、SciPy 1.5.2、batchgenerators 0.21、NumPy 1.19.1、scikit-learn 0.23.2、SimpleITK 1.2.4和pandas 1.1.1在内的Python库。作为框架使用,nnU-Net的源代码可在GitHub上找到(https://github.com/MIC-DKFZ/nnUNet)。希望使用nnU-Net作为标准化基准或使用我们的预训练模型进行推理的用户可以通过PyPI安装nnU-Net。有关如何使用nnU-Net的完整描述,以及最新版本和依赖项,请参考GitHub页面上的在线文档。

数据可用性  本研究中使用的23个数据集都是公开的,可以通过各自的挑战网站访问。D1-D10医学分割十项全能,http://medicaldecathlon.com/;D11颅外(BCV)-腹部,https://www.synapse.org/#!Synapse:syn3193805/wiki/;D12承诺12,https://promise12.grand-challenge.org/;D13 ACDC,https://acdc.creatis.insa-lyon.fr/;D14 LiTS,https://competitions.codalab.org/competitions/17094;D15 MSLes,https://smart-stats-tools.org/lesion-challenge;D16混沌,https://chaos.grand-challenge.org/;D17 KiTS,https://kits19.grand-challenge.org/;D18 SegTHOR,https://competitions.codalab.org/competitions/21145;D19 CREMI,https://cremi.org/;D20-D23细胞跟踪挑战,http://celltrackingchallenge.net/。

代码可用性  nnU-Net存储库作为补充软件提供。更新版本可在https://github.com/mic-dkfz/nnunet找到。本研究中使用的所有数据集的预训练模型可在https://zenodo.org/record/3734294下载。

图5 | 不同挑战数据集的指纹。数据指纹显示了nnU-Net实验中使用的23个数据集的关键属性(在所有数据集上进行z分数归一化,以平均值的一个标准差范围内显示)。

介绍了nnU-Net,这是一种基于深度学习的分割方法,它自动配置自己,包括预处理、网络架构、训练和后处理,以适应生物医学领域的任何新任务。nnU-Net在大多数评估任务上树立了新的最高标准,超越了所有相应的专业处理流程。nnU-Net的出色性能并非通过新的网络架构、损失函数或训练方案实现(因此命名为nnU-Net,意为“没有新网络”),而是通过系统化手动方法配置的复杂过程,以前这个过程要么是通过繁琐的手动调整,要么是通过具有实际限制的纯粹经验方法来解决的。我们假设nnU-Net之所以能够达到最先进的性能,是因为它从大量数据集中提取知识,将其转化为一组强大的设计选择,这些选择在应用于新数据集时转化为强大的归纳偏置,使其具有超越单一数据集配置模型的泛化能力。此外,通过将领域知识浓缩为一组固定、基于规则和经验的参数,我们为自动化方法配置描绘了一条新的路径,这条路径在计算上是可行的,同时覆盖了整个分割管道,包括网络架构的基本拓扑参数。nnU-Net是一种新的分割工具,可以即插即用地应用于广泛的生物医学成像数据集,非常适合那些需要访问语义分割方法但不具备适应现有解决方案所需的专业知识、时间、数据或计算资源的用户。

对KiTS排行榜的分析揭示了生物医学图像分割中方法配置的手动和不够系统的现状,并突出了该领域当前研究的几个含义。例如,我们观察到使用相同类型的网络的贡献在排行榜上的表现遍布各个位置(见图4)。这一观察结果与Litjens等人的综述一致,他们在综述中发现“许多研究人员使用完全相同的架构”“但结果却大相径庭”。对于为什么文献中提出的基于架构扩展的性能改进可能不会转化为所有数据集,有几种可能的原因。首先,生物医学领域的数据集多样性要求专门的方法是配置。因此,对新数据集的方法配置的质量可能会掩盖评估的架构修改的效果。这一解释与Litjens等人的结论一致,他们得出结论“确切的架构并不是获得良好解决方案的最重要因素”,并得到nnU-Net基于强大的方法配置结合简单的U-Net架构所取得的最先进的结果的支持。其次,在当前的研究实践中,评估很少在超过两个数据集上进行,即使这样,这些数据集在属性上也有很大的重叠(例如,都是腹部CT扫描)。正如我们在多数据集研究中所展示的(见图6),这样的评估不适合得出一般的方法论结论。我们将缺乏足够广泛的评估与手动适应所提议方法的配置以及现有管道(即基线)到各个数据集所需的巨大努力联系起来。至关重要的是,这个繁琐的过程也可能导致基线配置不当,从而在文献中造成潜在的偏见。nnU-Net能够缓解这些研究瓶颈。一方面,nnU-Net代表了一种不需要手动任务特定调整的新方法,因此可以作为任何新分割任务的强有力和标准化的基线。另一方面,nnU-Net可以通过作为可扩展的实验框架,帮助增加领域中用于评估的数据集数量,研究人员可以轻松地在其中实现方法论修改。

虽然nnU-Net被证明能够在新数据集上稳健地找到高质量的配置,但任务特定的经验优化可能会进一步提高分割性能的潜力。然而,正如引言中所详述的,目前经验AutoML方法的实际限制阻碍了它们在生物医学图像分割中的应用。另一个限制是与数据驱动优化(“黑箱算法”)相比,缺乏透明度,而nnU-Net由于其背后的指导原则,每个设计决策都可以追溯到某些数据属性或有限的经验实验。展望未来,我们认为我们的工作与经验AutoML研究相辅相成;nnU-Net可以作为整体自动化的基础,通过经验优化选定的设计决策,如数据增强或网络架构来增强。

尽管nnU-Net在53个不同任务上表现出色,但可能存在一些分割任务,nnU-Net的自动适应并不理想。例如,nnU-Net的开发重点是Dice系数作为性能指标。然而,一些任务可能需要高度特定于领域的目标指标进行评估,这可能会影响方法设计。此外,可能还存在尚未考虑的数据集属性,这可能导致分割性能不佳。例如,CREMI挑战中的突触裂隙分割任务(https://cremi.org)。虽然nnU-Net的性能非常有竞争力(排名第6的39),但可能需要手动调整损失函数和EM特定的预处理才能超越最先进的性能。原则上,有两种方法可以处理nnU-Net尚未充分覆盖的案例。对于可能反复出现的案例,可以相应地扩展nnU-Net的启发式方法;对于高度特定领域的案例,nnU-Net应该被视为进行必要修改的良好起点。

总之,nnU-Net在各种语义分割挑战中树立了新的最高标准,并显示出强大的泛化特性,不需要专家知识或超出标准网络训练的计算资源。正如Litjens等人所指出的,并在这里定量确认的,生物医学成像中的方法配置以前被认为是一个“高度经验性的练习”,对于这种练习“无法给出明确的食谱”。基于本文提出的食谱,nnU-Net能够自动化这个经常不够系统化和繁琐的过程,从而可能帮助减轻这个负担。我们建议利用nnU-Net作为一个即插即用的最先进的分割工具,作为一个标准化的和与数据集无关的基线进行比较,以及作为一个无需手动努力即可进行大规模评估新想法的框架。


NATURE  METHODS| www.nature.com/naturemethods



如您觉得内容不错,对您有帮助,希望能够赞、在看、分享、打赏!感谢您的支持。


组学杂谈
组学、影像技术、文献解读,统计分析,深度学习、临床研究等