本文介绍了来自NeurIPS 2024的最新科研成果 ———一种完全自监督的湍流分析新范式。其性能远远超越同类有监督方法，且所需的训练样本（无标注）仅为以往方法的1%。该方法受湍流领域所特有的物理规律启发，引入了一种全新的零散度损失。同时，该方法自然支持测试时优化，利用动态测速增强器（DVE）模块，实现了强大的跨领域鲁棒性：仅在物理合成数据上训练，即可泛化到真实世界数据上。
论文题目：
Dual-frame Fluid Motion Estimation with Test-time Optimization and Zero-divergence Loss
论文链接：
https://arxiv.org/abs/2410.11934
代码链接：
https://github.com/Forrest-110/FluidMotionNet
一、动机
测量和理解湍流是一个至关重要的问题，无论是在自然界，还是在工程社会中，湍流在生活的各个方面无处不在。三维粒子跟踪测速（PTV）是分析湍流的关键技术，也是本世纪最具挑战性的计算问题之一。三维粒子跟踪测速仪的核心是双帧流体运动估计算法，该算法在两个连续帧中跟踪粒子。最近，基于深度学习的方法如 DeepPTV[1]和 GotFlow3D[2]在双帧流体运动估计方面取得了令人印象深刻的优越性能；然而，这些方法利用的是全监督方案，严重依赖于大量有标记数据。这种数据依赖对AI4Science领域提出了巨大挑战，尤其是在PTV领域: 由于需要精确选择示踪粒子、定制照明和相机设置，因此收集合适的数据非常复杂。此外，某些场景（如疾病背景下的细胞质流）非常罕见，因此几乎不可能获得大量的数据。
为了解决上述难题，研究团队引入了一种新型的纯自监督框架，专门用于三维 PTV 过程中的双帧流体运动估计。针对数据收集的固有困难，该方法可在有限的数据集规模下工作，仅需要现有的全监督方法通常使用的数据集规模的1%，就可获得相比拟的性能。此外，流体粒子具有特殊的物理特性，为此，研究团队利用不可压缩流体速度场固有的零散度原理，设计了一种专为流体定制的新型零散度自监督损失算法。由于该方法是自监督式的，自然支持测试时优化。因此，研究团队还引入了一个称为动态测速增强器（DVE）的模块，该模块可在测试过程中根据特定输入数据即时优化初始预测，能够在各种测试场景中提高准确度，具有较好的跨域鲁棒性。
通过全面的实验，该纯自监督框架明显优于完全监督框架，即使在数据受限的条件下也是如此。此外，研究团队进行了跨领域鲁棒性分析，展示了该框架具有将其推广到未见领域的内在能力，甚至包括真实世界的物理/生物领域，突出体现了该方法在真实世界三维 PTV 应用的可能。
二、方法
方法概述：训练阶段，该方法使用输入点云构建图表示，然后通过可训练的特征提取器，并使用自监督损失项（包括重建损失 g 、平滑损失 f 和零散度损失 e ）求解最优传输问题，以进行初始流估计。测试阶段，有了初始流估计值 F_init，该方法再利用另一个重建损失函数 g* 优化残差 R，以生成最终流 F。
2.1 问题形式化
2.2 训练阶段
2.2.1 图特征提取器
基于点云的提取器常用于激光雷达场景流估算。虽然这些提取器能有效辨别更广泛的空间结构，但它们把握错综复杂的局部关系（这对分析流体动力学至关重要）的能力可能不足。相比之下，基于图的特征提取器通过考虑近似节点（在本文的语境中为流体粒子）之间的关系，在捕捉局部模式方面表现出色。因此，受到 GotFlow3D [2] 的启发，研究团队选择了基于图的特征提取器：首先从输入点云中构建一个静态近邻图。然后通过 GeoSetConv 层对该图进行处理，形成高维几何局部特征。为了进一步丰富特征，该方法根据高维特征使用 EdgeConv 构建动态图，形成一个能输出静态-动态特征的 GNN。
2.2.3 求解最优传输问题
2.2.4 自监督损失
1. 重建损失：
2. 平滑损失：
鉴于速度场具有无限可微的特性，流速场应显示出一定级别的连续和平滑过渡（在粗略尺度上）。基于这一理论基础，该方法引入了一个平滑正则化损失来强化和维持速度场中的这种连续行为，定义如下，
3. 零散度损失：
平滑损失对于流体粒子并不足够。考虑到速度场的内在属性，不可压缩流体具有零散度性质。此外，在低马赫数等条件下，可压缩流体也可以近似为不可压缩，这在许多工程环境中是近似成立的。因此，研究团队引入了零散度正则化损失，补偿了平滑损失的缺陷。
基于Splat的实现。
Splat 最初用于高维高斯滤波，将输入值嵌入高维空间。该方法实现了基于splat的零散度损失：计算散度需要场的偏导数，而3D中粒子的不规则排列使这一过程复杂化。因此，作者提出将非结构化的流动估计“splat”到一个统一的3D网格上，然后在这些网格点上应用零散度正则化。
形式上，密集网格由 表示，其中 表示网格点的3D索引。参数 对应于网格的间距。给定网格点 ，使用逆平方距离作为插值权重来近似该点的流动，
最终，零散度正则化可以表述为，
其中 J、K 和 L 分别代表各个维度上的网格点数。
2.3 测试阶段
三、实验
作者在多个数据集上对提出的框架进行了全面评估。首先，作者将提出的方法与 SOTA 全监督方法进行了比较。接着，针对特定领域数据有限的现实情况，考察了该方法在训练数据规模受限的情况下的性能。然后，作者评估了该框架在不同领域下的性能，突出了其跨领域鲁棒性。此外，作者还对框架的各个组件进行了全面的消融研究，以验证其效果。
这里展示主要结果，更多结果请参考论文。
3.1 与最先进方法的比较
不同流体类型之间的比较。最佳结果用粗体标出，次优结果用下划线标出。右侧的子图直观显示了这三种流体。颜色越深表示流速越高。所有模型都是在完整数据基础上训练的，除了Ours (1%)。
3.2 有限数据训练表现
有限训练数据下EPE指标的比较。
3.3 跨领域鲁棒性表现
3.3.1 在同一合成流体数据集上进行测试
六折交叉验证。以最先进的流体运动学习方法 GotFlow3D 作为基准，EPE 指标结果。
3.3.2 Sim2Real实验
从合成流体数据到实际流体数据的测试
(a) DeformationFlow 数据可视化。(b) 提出的方法进行的初始估算。(c) SerialTrack和 Ours+ST的耗时比较。“PerIt "表示 PTV 每次迭代的时间。
从合成物理流体到生物数据的测试
AVIC 图像数据集。C2E, C2N, E2N 代表三种设置：Cyto-D 处理与 Endo-1 处理对比，Cyto-D 处理与正常处理对比，Endo-1 处理与正常处理对比。MNDS 代表平均邻域距离得分。
四、总结与展望
参考文献
[1] Jiaming Liang, Shengze Cai, Chao Xu, Tehuan Chen, and Jian Chu. Deepptv: particle tracking velocimetry for complex flow motion via deep neural networks. IEEE Transactions on Instrumentation and Measurement, 71:1–16, 2021.
[2] Jiaming Liang, Chao Xu, and Shengze Cai. Gotflow3d: recurrent graph optimal transport for learning 3d flow motion in particle tracking. arXiv preprint arXiv:2210.17012, 2022.
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
