IEEE'24 | 从黑箱到透明！解锁大脑秘密：3D-PIUNet在神经科学中的三维重建！

0.这篇文章干了啥？

这篇文章提出了一种名为3D-PIUNet的混合方法，用于解决源定位等逆问题。该方法结合了物理建模和深度学习的优势，通过未学习的物理伪逆和直接在源空间操作的3D卷积网络相结合，显著提高了重建精度和噪声鲁棒性。实验结果表明，3D-PIUNet在各种噪声条件、源大小和数量下表现优于当前的最先进方法，且能够有效预测稀疏和扩展的源。尽管存在对数据质量的依赖和时间动态的忽视等限制，研究者认为此方法有助于深入理解大脑功能，并在神经疾病诊断等临床应用中具有潜在价值。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Enhancing Brain Source Reconstruction through Physics-Informed 3D Neural Networks

作者：Marco Morik, Ali Hashemi等

作者机构：The Berlin Institute for the Foundations of Learning and Data等

论文链接：https://arxiv.org/pdf/2411.00143

2. 摘要

脑源重建是神经科学中的一个基础性挑战，对理解脑功能及其障碍具有重要意义。脑电图（EEG）信号具有较高的时间分辨率，但由于问题的病态结构，难以准确确定这些信号的脑源空间位置。传统方法主要依赖人工设计的先验知识，缺乏数据驱动学习的灵活性；而最近的深度学习方法则专注于端到端学习，通常仅在生成训练数据时使用前向模型的物理信息。我们提出了一种新的混合方法3D-PIUNet用于EEG源定位，有效地整合了传统方法和深度学习技术的优点。3D-PIUNet从基于伪逆的物理引导初始估计开始，将测量数据映射到源空间。其次，通过将大脑视为三维体积，我们使用三维卷积U-Net捕捉空间依赖关系，并根据学习到的数据先验优化解。在模拟的伪真实脑源数据上训练模型，涵盖不同的源分布。通过该数据训练后，我们的模型显著提升了空间精度，表现优于传统方法和端到端数据驱动方法。此外，我们通过视觉任务的真实EEG数据验证了我们的结果，3D-PIUNet成功识别了视觉皮层并重建了预期的时间行为，从而展示了其实用性。

3. 效果展示

我们创造了不同的大脑激活环境。从左到右，我们有1。具有最小宽度（10mm）的单个有源源，2.4个有源源，具有最小宽度，3.单个中等尺寸（20mm）有源源，4.单个大有源源（80mm），以及5.具有4个不同大小的活动源的多样化样本，其中两个源部分重叠。

来自3D-PIUNet、全连接网络和eLORETA的地面实况激活和重建，用于SNR为0 dB的顶部单个有源源和SNR为40 dB的底部3个有源源。3D-PIUNet将事先学习的数据合并，并细化活动区域的形状以匹配地面实况。当多个信号源处于活跃状态时，它会集中在最强的信号源上，而忽略大脑其他部分的弱激活。

4. 主要贡献

• 提出了混合方法3D-PIUNet，将前向模型的物理信息通过其伪逆解引入深度学习框架；
• 展示了在源空间中利用三维卷积学习空间模式的优势；
• 在多种情境下对我们的方法进行了广泛的基准测试，展示了其在不同的信噪比、源数量和源大小条件下相较于经典方法和端到端方法的优越性。

5. 基本原理是啥？

3D-PIUNet 的基本原理结合了物理建模和深度学习：

1. 混合方法：3D-PIUNet 采用了一种混合模型，结合了未学习的基于物理的伪逆方法和经过学习的3D卷积神经网络（CNN）。伪逆方法利用物理模型的知识来进行初步计算，而 CNN 则用于精细化这些计算结果，从而提高预测精度。推荐课程：基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]

2. 源定位：该模型的核心任务是源定位，旨在从脑电图（EEG）等信号中重建脑活动源的位置。通过使用深度学习网络，3D-PIUNet 可以在源空间中直接处理信号，捕捉更复杂的空间模式和非线性关系。

3. 噪声鲁棒性：3D-PIUNet 展示了对不同噪声水平的鲁棒性，能够在高噪声环境中依然进行有效的源定位。这一特性使得该方法在实际应用中更加可靠。

4. 空间和时间特性：尽管当前版本主要关注空间特性，但其设计理念是可以扩展的，未来可以考虑将时间域信息纳入模型，以提高对动态神经活动的捕捉能力。

5. 性能提升：通过将物理知识与数据驱动的方法结合，3D-PIUNet 能够在不需要针对不同类型源进行特定训练的情况下，有效预测稀疏和扩展源，提高了重建的准确性。

6. 实验结果

A. 视觉结果

• 在单一活跃源的情况下，通过比较eLORETA和3D-PIUNet的预测，3D-PIUNet的重建显示了对eLORETA解的明显改进，能够更准确地捕捉到真实源的空间范围和峰值激活。

B. 信噪比的影响

• 实验系统地改变信噪比（SNR），从高噪声设置（0dB）到几乎无噪声的观察（40dB）。在所有评估的指标（如地球移动者距离（EMD）、均方误差（MSE）和加权余弦相似度）中，3D-PIUNet在高于10dB的SNR水平上显示出优于全连接网络（FCN）的性能，表明U-Net架构能够更好地利用高SNR数据中的附加信息。

C. 源的大小

• 3D-PIUNet在不同大小的活跃源上表现出色，尤其是在10mm的小型源上，低EMD表明其预测接近正确源。尽管高归一化MSE显示出没有任何方法在体素级别完美匹配源，但3D-PIUNet对于源大小的变化表现出鲁棒性，能够有效处理稀疏和分散源。

D. 源的数量

• 在20dB的中等噪声设置下，3D-PIUNet在源数量增加时仍然优于FCN，但随着源数量的增加，性能有所下降，特别是在归一化EMD方面。相较之下，eLORETA的表现保持相对稳定，因为其将估计的源活动平滑分布在整个源空间中。

E. 对真实数据的可转移性

• 使用预训练模型在真实数据（如THING-EEG2数据集）上验证3D-PIUNet。通过对多个相同图像呈现的EEG信号进行集成平均，3D-PIUNet在激活预测方面表现出色，能够清晰地捕捉到视觉皮层的主要激活。

F. 计算效率

• 尽管3D-PIUNet提供了更好的重建准确性，但其训练时间为5小时，推理速度虽然比FCN慢，但仍在1秒内完成推理，表现出卷积网络的参数效率。

7. 总结 & 未来工作

逆问题，如源定位，由于其病态特性而 notoriously 难以解决。尽管端到端学习模型（如神经网络）对该领域的近期进展有所贡献，但我们提出了一种混合方法——3D-PIUNet，结合了基于物理的建模和深度学习的优势。3D-PIUNet将未学习的基于物理的伪逆与直接在源空间中操作的学习型3D卷积网络相结合。这种协同作用实现了显著的性能提升，即使使用标准头模型。我们的结果表明，与当前的最先进方法相比，重建准确性和噪声鲁棒性得到了增强，能够有效预测稀疏和扩展源，而无需针对不同类型进行特定训练。这一进展可能为深入了解大脑功能提供更深的洞察，并为临床应用的改进铺平道路，例如诊断神经系统疾病。

数据先验的质量高度依赖于用于训练模型的仿真。尽管我们使用了多样的仿真设置，变化的源大小和数量，但我们对源形状施加了高斯先验，未来的工作中可以用更现实的假设替代，以细化先验。此外，结合源之间已知的相关结构可能进一步改善学习到的先验。此外，我们关注源定位的空间方面，忽视了时间动态。由于单次测量所包含的信息有限，纳入时间域可能会进一步提高准确性，特别是在区分多个活动源时。然而，所提的混合方法是通用的，结合伪逆和深度学习的核心思想也可以适应包含时间域，这是我们计划在未来工作中探索的方向。像许多先进的学习方法一样，所提出的3D-PIUNet在可解释性方面也存在挑战。神经网络虽然效果显著，但有时被视为“黑箱”。在未来的研究中，我们旨在整合最近在神经网络可解释性方面的进展，以增强基于神经网络的源定位方法的透明度和可靠性。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~