NeurIPS 2024｜自监督湍流分析，减少99%标注数据需求

本文介绍了来自NeurIPS 2024的最新科研成果 ———一种完全自监督的湍流分析新范式。其性能远远超越同类有监督方法，且所需的训练样本（无标注）仅为以往方法的1%。该方法受湍流领域所特有的物理规律启发，引入了一种全新的零散度损失。同时，该方法自然支持测试时优化，利用动态测速增强器（DVE）模块，实现了强大的跨领域鲁棒性：仅在物理合成数据上训练，即可泛化到真实世界数据上。

论文链接：

https://arxiv.org/abs/2410.11934

代码链接：

https://github.com/Forrest-110/FluidMotionNet

一、动机

测量和理解湍流是一个至关重要的问题，无论是在自然界，还是在工程社会中，湍流在生活的各个方面无处不在。三维粒子跟踪测速（PTV）是分析湍流的关键技术，也是本世纪最具挑战性的计算问题之一。三维粒子跟踪测速仪的核心是双帧流体运动估计算法，该算法在两个连续帧中跟踪粒子。最近，基于深度学习的方法如 DeepPTV**[1]和 GotFlow3D[2]在双帧流体运动估计方面取得了令人印象深刻的优越性能；然而，这些方法利用的是全监督方案，严重依赖于大量有标记数据**。这种数据依赖对AI4Science领域提出了巨大挑战，尤其是在PTV领域: 由于需要精确选择示踪粒子、定制照明和相机设置，因此收集合适的数据非常复杂。此外，某些场景（如疾病背景下的细胞质流）非常罕见，因此几乎不可能获得大量的数据。

为了解决上述难题，研究团队引入了一种新型的纯自监督框架，专门用于三维 PTV 过程中的双帧流体运动估计。针对数据收集的固有困难，该方法可在有限的数据集规模下工作，仅需要现有的全监督方法通常使用的数据集规模的1%，就可获得相比拟的性能。此外，流体粒子具有特殊的物理特性，为此，研究团队利用不可压缩流体速度场固有的零散度原理，设计了一种专为流体定制的新型零散度自监督损失算法。由于该方法是自监督式的，自然支持测试时优化。因此，研究团队还引入了一个称为动态测速增强器（DVE）的模块，该模块可在测试过程中根据特定输入数据即时优化初始预测，能够在各种测试场景中提高准确度，具有较好的跨域鲁棒性。

通过全面的实验，该纯自监督框架明显优于完全监督框架，即使在数据受限的条件下也是如此。此外，研究团队进行了跨领域鲁棒性分析，展示了该框架具有将其推广到未见领域的内在能力，甚至包括真实世界的物理/生物领域，突出体现了该方法在真实世界三维 PTV 应用的可能。

二、方法

2.1 问题形式化

为了阐明提出的双帧流体运动估计方法, 研究团队首先将问题形式化：算法输入为两个连续的、非结构化的3D粒子集， 和 ，这些粒子集分别在时间 t 和 被记录。该方法输出预测的流动运动 , 将 中的每个粒子 映射到一个向量 , 该向量表示两帧之间的移动，捕捉湍流3D环境中的流动动态。

2.2 训练阶段

2.2.1 图特征提取器

基于点云的提取器常用于激光雷达场景流估算。虽然这些提取器能有效辨别更广泛的空间结构，但它们把握错综复杂的局部关系（这对分析流体动力学至关重要）的能力可能不足。相比之下，基于图的特征提取器通过考虑近似节点（在本文的语境中为流体粒子）之间的关系，在捕捉局部模式方面表现出色。因此，受到 GotFlow3D [2] 的启发，研究团队选择了基于图的特征提取器：首先从输入点云中构建一个静态近邻图。然后通过 GeoSetConv 层对该图进行处理，形成高维几何局部特征。为了进一步丰富特征，该方法根据高维特征使用 EdgeConv 构建动态图，形成一个能输出静态-动态特征的 GNN。

2.2.3 求解最优传输问题

利用特征提取器得到的静态-动态特征，可通过最优传输（optimal transport） 框架来求解对应链接问题，其中两点之间的传输成本越高，表明提取特征空间内的相似度越低。最优传输方案可以得到 和 之间的软对应权重, 该权重可用于求解初始流估计值 。

2.2.4 自监督损失

1. 重建损失：

自监督流体学习的一个核心原则是 与 应该相似。Chamfer distance （CD）是测量点云补全中点云形状相似度的标准度量。因此，该方法采用CD作为重构损失，并添加了一个正则化项以防止退化：

这里, 代表由 形成的估计点云, 是由 形成的目标点云。 表示最优传输中的匹配置信度, 它是运输成本的加权和。 项用于避免 的平凡解。

2. 平滑损失：

鉴于速度场具有无限可微的特性，流速场应显示出一定级别的连续和平滑过渡（在粗略尺度上）。基于这一理论基础，该方法引入了一个平滑正则化损失来强化和维持速度场中的这种连续行为，定义如下，

这里, 代表由 形成的点云。 表示与 最近的 个点的索引集。 和 分别表示点 和 处估计的流动向量。

3. 零散度损失：

平滑损失对于流体粒子并不足够。考虑到速度场的内在属性，不可压缩流体具有零散度性质。此外，在低马赫数等条件下，可压缩流体也可以近似为不可压缩，这在许多工程环境中是近似成立的。因此，研究团队引入了零散度正则化损失，补偿了平滑损失的缺陷。

• 基于Splat的实现。Splat 最初用于高维高斯滤波，将输入值嵌入高维空间。该方法实现了基于splat的零散度损失：计算散度需要场的偏导数，而3D中粒子的不规则排列使这一过程复杂化。因此，作者提出将非结构化的流动估计“splat”到一个统一的3D网格上，然后在这些网格点上应用零散度正则化。

  形式上, 密集网格由 表示, 其中 表示网格点的3D索引。参数 对应于网格的间距。给定网格点 , 使用逆平方距离作为插值权重来近似该点的流动,

其中 是点 处估计的流动值。 表示 的点集中网格点 的邻域。参数 引入是为了保持数值稳定性。使用splatting，将变量粒子距离转换为固定网格间距，从而实现高效计算零散度损失。

一旦采用了 Splat, 由 指定的某点的散度可以定义为:

其中, 是在第 项为 1 的单位向量。

最终，零散度正则化可以表述为，

其中 J、K 和 L 分别代表各个维度上的网格点数。

总而言之，该方法训练阶段最终的自监督训练损失为

2.3 测试阶段

从训练网络得到初始流估计后, 该方法在测试阶段引入了一个新颖的动态流速增强器（DVE）模块进行测试时优化。这提供了额外的灵活性, 以适应未见情况并解决由于有限的训练数据而引起的潜在不准确性。形式上, DVE寻求一个残差流向量 , 使得 ，可以优化以纠正不准确性。DVE本质上是一个使用 目标函数的优化过程, 公式如下:

该损失函数类似于 , 但没有正则化 。该优化问题使用Adam优化器求解, 只涉及来自 矩阵的参数。考虑到现有的测试时优化模块运行缓慢, DVE相比之下非常高效。

三、实验

作者在多个数据集上对提出的框架进行了全面评估。首先，作者将提出的方法与 SOTA 全监督方法进行了比较。接着，针对特定领域数据有限的现实情况，考察了该方法在训练数据规模受限的情况下的性能。然后，作者评估了该框架在不同领域下的性能，突出了其跨领域鲁棒性。此外，作者还对框架的各个组件进行了全面的消融研究，以验证其效果。

这里展示主要结果，更多结果请参考论文。

3.1 与最先进方法的比较

3.2 有限数据训练表现

3.3 跨领域鲁棒性表现

3.3.1 在同一合成流体数据集上进行测试

3.3.2 Sim2Real实验

1. 从合成流体数据到实际流体数据的测试

2. 从合成物理流体到生物数据的测试

四、总结与展望

此研究提出了一种测试时自监督框架，用于从双帧非结构化粒子集学习三维流体运动。该方法解决了数据效率依赖和跨域鲁棒性的难题，这对实际应用至关重要。研究团队通过两个真实世界的研究证明了所提出的方法的可行性，期待此类研究结果可以为进一步研究广泛的真实世界应用、探索特定场景的约束条件以及开发新型模型架构以增强适应性提供参考。

参考文献

[1] Jiaming Liang, Shengze Cai, Chao Xu, Tehuan Chen, and Jian Chu. Deepptv: particle tracking velocimetry for complex flow motion via deep neural networks. IEEE Transactions on Instrumentation and Measurement, 71:1–16, 2021.

[2] Jiaming Liang, Chao Xu, and Shengze Cai. Gotflow3d: recurrent graph optimal transport for learning 3d flow motion in particle tracking. arXiv preprint arXiv:2210.17012, 2022.

公众号后台回复“数据集”获取100+深度学习各方向资源整理