点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达
前言 BT-Unet采用Barlow twin方法对U-Net模型的编码器进行无监督的预训练减少冗余信息，以学习数据表示。之后，对完整网络进行微调以执行实际的分割。BT-Unet由 Indian Institute of Information Technology Allahabad开发，发布在2022年的JML上
BT-Unet
BT-Unet架构图：a、预训练U-Net编码器网络，b、用预训练的编码器权值初始化的微调U-Net模型
BT-Unet框架分为两个阶段:1)预训练阶段和2)微调阶段。
预训练
预训练的目的是使用无注释的数据样本，学习复杂的特征表示。U-Net模型的编码器使用Barlow Twins (BT)策略进行预先训练，然后进行微调以执行实际的分割:
BT-Unet框架可应用于各种先进的U-Net模型:经典U-Net、注意力U-Net (A-Unet)、inception U-Net (I-Unet)和residual cross-spatial attention guided inception U-Net (RCA-IUnet)。
微调
U-Net 模型中编码器网络的权重使用预训练权重（来自第一阶段）进行初始化，而网络的其余部分使用默认权重进行初始化。
使用有限的注释样本对 U-Net 模型进行微调，用于生物医学图像分割。
U-Net 模型使用分段损失函数进行微调，L 定义为二元交叉熵损失、LBC 和dice coefficient损失的平均值，LDC：
其中，y为像素的真值标签，p(y)为像素的预测标签，N为像素的总数量。
结果表现
论文使用下面的数据集进行评测对比：
基于相同样本数量的小训练集的性能分析
KDSB18：BTU-Net 模型的性能优于没有使用 BT方法 的模型。
BUSIS：U-Net 和 A-Unet 模型无法学习和提取有关肿瘤区域的特征图（精度、DC 和 mIoU 为 0），但是通过预训练，这些模型取得了显着的改进。在 I-Unet 和 RCAIUnet 模型的情况下，通过预训练可以得到相当大的改进。
ISIC18：I-Unet 和 RCAIUnet 模型是影响最大的网络，精度分别提高了 5.1% 和 2.2%。然而，在使用 BT 预训练时，经典的U-Net 和 A-Unet 的性能略有下降。
BraTS18：I-Unet 和 RCA-IUnet 模型在使用 BT-Unet 框架时在分割性能上取得了显着提升，而普通 U-Net 和 A-Unet 模型则没有观察到相同的行为。
在不同规模小型训练集的性能研究
对于所有训练数据比例小于50%的数据集，在模型之间观察到类似的性能变化。
定性结果
带有BT的RCA-IUNet具有很好的分割效果。
论文地址：
[2022 JML] [BT-Unet] BT-Unet: A self-supervised learning framework for biomedical image segmentation using barlow twins with U-net models
https://link.springer.com/article/10.1007/s10994-022-06219-3
作者：Sik-Ho Tsang
下载1：OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2：Python视觉实战项目52讲 在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。 下载3：OpenCV实战项目20讲 在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
