智能电池专辑 | 美国加州大学戴维斯分校：基于卷积闪存注意力融合深度神经网络的动力电池容量估计

准确估计电池容量对于优化电池寿命和监测健康状态至关重要。深度学习在解决人工智能领域长期存在的问题上取得了显著进展。然而，AI大模型通常面临高计算资源消耗、长训练时间以及高部署成本等挑战。

为应对这些问题，本文提出了一种高效的端到端混合融合神经网络模型。该模型结合了FlashAttention-2和卷积神经网络（CNN），在局部特征提取的同时显著降低了内存使用和计算资源需求，且能够保持高精度和高效的电池健康估计。模型仅使用电压和电荷等基本参数，并采用部分充电数据（从80% SOC至上限电压）作为输入特征，无需复杂的特征工程。在三个数据集上的实验评估显示，该模型表现出优异的性能，包括77个磷酸铁锂（LFP）电池、16个镍钴铝（NCA）电池和50个镍钴锰（NCM）氧化物电池。在LFP电池健康估计任务中，模型实现了均方根误差（RMSE）为0.109%、决定系数（R²）为0.99，以及平均绝对百分比误差（MAPE）为0.096%。此外，该卷积与FlashAttention融合网络在全电池生命周期（约1898个循环）健康诊断的平均推理时间仅为57毫秒，资源高效人工智能（REAI）模型的浮点运算数（FLOPs）为13.6亿次，GPU功耗为17W，内存使用量为403MB，显著优于基于标准注意力机制的Transformer大模型。在迁移学习的实验中，所提出的多融合模型在NCA和NCM电池的容量预测中表现出强大的适应能力。结果表明，该模型在降低计算复杂性、能耗和内存使用的同时，仍能保持高预测精度和出色的泛化性能。

以上成果在国际交通电动化杂志eTransportation发表。

为了有效解决电池健康状态估计中的计算复杂性和资源消耗问题，本研究提出了一种创新的端到端混合融合神经网络架构（如图1所示）。该网络结合了FlashAttention-2和CNN的优势，能够高效提取电池充电过程中的局部特征，并准确估计电池的健康状态。FlashAttention-2 是一种计算高效的注意力机制，它通过优化计算复杂度和内存使用，显著降低了传统自注意力机制的内存开销，特别适合在计算资源有限的设备上进行实时推理。另一方面，CNN能够从数据中学习到有用的电池行为模式，而不依赖复杂的手工特征设计。通过结合这两种技术，所提模型不仅大幅降低了内存和计算需求，还保持了高精度的电池健康状态估计，为实时电池管理系统提供了高效且精准的解决方案。该研究提出的模型具备以下优势：

1. 高效计算与资源节约：提出的模型在GPU功耗为17W、内存使用仅为403MB的条件下，能够实现每秒1.36亿次浮动点运算（FLOPs），相比传统的Transformer模型大幅降低了计算复杂度和能耗。

2. 精确健康诊断：该模型通过只使用基本电池参数（如电压和电荷）和部分充电数据（从80% SOC到上限电压），无需复杂的特征工程，即可实现高精度的电池健康估计。在磷酸铁锂（LFP）电池的健康估计中，模型达到了0.109%的均方根误差、0.99的决定系数以及0.096%的平均绝对百分比误差。

3. 高效推理：融合卷积和FlashAttention技术，模型的健康诊断推理时间仅为57毫秒，支持全生命周期（约1898个循环）内的快速评估。

图2展示了所提模型对数据集1中不同电池样本的预测容量衰减结果。尽管每组电池的容量衰减曲线存在一定差异，但总体趋势与实际容量衰减一致，预测的容量与每个测试电池样本的实际容量轨迹非常契合。另一方面，不同测试样本的退化速率各异。图2中的子图（a）和（e）中的一些样本（如图中的3-1和7-8）表现出较快的容量衰减，而其他样本（如图中的2-5和9-6）则呈现相对平缓的衰减曲线。这表明模型能够很好地适应不同退化速率的电池样本，无论是快速衰减还是缓慢衰减，模型都能跟踪这些趋势。此外，从误差分布图（图2（c）、（d）、（g）和（h））中可以看出，尽管某些样本在特定的循环范围内存在一些误差，但这些误差通常是分散的，没有显著的系统性偏差。大部分相对误差集中在[-2mAh, 2mAh]的非常狭窄范围内。这表明，模型在不同电池样本中的稳定性良好，并且能够在广泛的范围内提供平衡的预测性能。

图3展示了所提模型在电池SOH估计任务中的性能。具体而言，该模型在不同样本的电池健康状态估计中表现出色，整体RMSE、R²和MAPE分别为0.109%、0.998和0.096%。在使用迁移学习后，模型在大多数样本中的MAPE显著下降，表明在新数据场景下，模型有效地提高了容量衰减估计的准确性。RMSE在大多数样本中也显著下降，尤其是在更复杂的样本中，估计误差大幅减少，进一步证明了模型的鲁棒性及其在不同电池样本中的表现。此外，所提模型在所有测试电池样本中达到了0.99的R²值。这表明，模型不仅能够准确预测容量衰减趋势，而且对这些数据点具有极强的解释能力，充分展示了其卓越的性能。

图4进一步比较了FlashAttention-2模型和其他基线模型在多个维度上的计算资源使用情况。具体来说，FlashAttention-2在GPU功耗和训练时间方面具有显著优势。特别是与Transformer和CNN + Transformer等使用普通注意力机制的模型相比，FlashAttention-2具有明显更低的GPU功耗和显着降低的FLOPs。这意味着FlashAttention-2可以减少复杂任务的计算负荷，降低硬件压力。

该研究开发了一种资源高效的多模型融合方法用于电池健康诊断，在计算效率和预测准确性之间实现了平衡。该模型将FlashAttention-2机制与卷积神经网络（CNN）相结合，并采用了精心设计的微调训练策略。模型中使用的特征是基于电池领域的通用知识选择的，不依赖于特定的化学成分或老化过程。此外，由于优化了计算架构，所提模型在多个指标上表现出色。具体而言，与使用标准注意力机制的方法相比，所提模型在平衡计算效率、资源消耗和估计准确性方面具有优势。实验结果表明，在处理批量大小为768的数据时，所提模型的GPU内存使用和功耗分别仅为403 MB和17W，同时计算效率和推理时间分别为每个周期0.537秒和0.057秒。这在需要实时性能的应用场景中尤为重要。此外，该模型在估计精度上也表现良好，RMSE仅为0.109%，R2高达0.99，MAPE仅为0.096%，优于Transformer、CNN和LSTM等基准模型。这表明提出的模型在计算资源和准确性之间实现了有效的平衡，使其适合于需要高效和准确估计的情况下的部署。电池智能健康诊断的未来将取决于高效、资源节约的大规模人工智能模型的发展。增强注意力机制以应对可伸缩性、计算效率和准确性的挑战是一个关键方向。长短期注意、稀疏注意、Linformer、Performer和局部注意等技术提供了有前途的方法来提高处理大量序列的模型性能，同时最大限度地减少内存和计算需求。

美国加州大学戴维斯分校UC-Davis交通研究院研究员（独立PI）

专注于基于机器学习和大数据的能源、经济、环境（3E）研究与分析。研究方向涵盖交通和工业领域可再生能源与绿色应用的潜力，致力于推动能源转型和可持续发展。

主要研究内容包括：

动力电池及超级电容储能系统的安全、寿命和性能诊断；

新能源汽车市场的技术驱动及经济性分析；

人工智能大模型在能源与交通领域的创新应用。

通过技术与实践的深度融合，旨在为能源转型与可持续发展提供智能、高效和可持续的解决方案。

国际交通电动化杂志

eTransportation

文章类型