【LSTM 与 CNN 】的结合是一个值得推荐的高质量论文方向。LSTM 能精准捕捉序列数据中的长期依赖关系，而 CNN 则能有效提取图像数据的局部特征，两者优势结合，能让模型同时兼顾数据的时序和空间信息，减少参数并降低过拟合风险，实现更精准的预测、更优异的性能和更高的训练效率。LSTM 结合 CNN 也是深度学习的热门研究领域，在学术界和工业界都有着广泛的应用，比如在股票预测中，这类结合模型不仅能把握股票市场数据的复杂性，还能增强预测模型面对市场波动时的稳健性。
本文梳理了 23 篇关于 【LSTM 结合 CNN 】的相关论文，其中涵盖了引入注意力机制的策略，且简要提炼了可供参考的方法和创新要点，期望能为各位的论文写作提供助力。
需要的同学扫码添加我
回复“LSTM+CNN20”即可全部领取
一、Exploiting Individual Graph Structures to Enhance Ecological Momentary Assessment (EMA) Forecasting
1.方法
这篇论文主要研究了如何利用图神经网络（GNNs）来分析和预测生态瞬时评估（EMA）数据。EMA是一种实时监测工具，用于捕捉个体在日常生活中的情绪、行为和生理状态的动态变化。这些数据通常被组织成多变量时间序列（MTS），包含了丰富的时序和个体间互动信息。论文中采用了以下方法：
1.1数据预处理
对EMA数据进行清洗，包括去除低响应率的个体和低方差的变量，确保数据质量。
1.2问题定义
将问题定义为使用过去的EMA数据预测未来的心理变量值，即1-lag未来值预测。
1.3 GNN模型
研究了多种GNN模型，包括A3TGCN、ASTGCN和MTGNN，这些模型能够处理时间序列数据的空间和时间依赖性。
1.4图结构构建
探讨了不同的图构建策略，包括基于相似性的图结构（如欧几里得距离、k-最近邻、动态时间弯曲和皮尔逊相关系数）。
1.5图学习
评估了在训练过程中动态细化的GNN学习图，这些图在学习过程中被不断更新以反映变量间的关系。
2.创新点
2.1GNN在EMA数据上的应用
这是首次将GNN应用于EMA数据，以提高与心理病理状况相关的变量预测的准确性。
2.2图结构对GNN性能的影响
研究了不同图结构对GNN性能的影响，探索了图的特性如何影响模型结果。
2.3图学习技术
除了使用预定义的图，论文还探索了图学习方法，即在训练过程中动态更新图结构，这为理解EMA数据中的复杂模式提供了新的视角。
2.4多变量时间序列预测
通过GNN模型，实现了对多变量时间序列数据的预测，这在心理病理学领域是一个相对较新的研究方向。
2.5个性化预测模型
通过考虑个体特定的图结构，提高了预测模型的个性化程度，这有助于更好地理解和预测个体的心理病理趋势。
2.6实验设计
通过一系列精心设计的实验，比较了不同GNN模型、图结构和图稀疏性对预测性能的影响，为GNN在时间序列预测中的应用提供了实证研究基础。
论文链接：https://arxiv.org/pdf/2403.19442v1
二、AD-NEV++: The Multi-Architecture Neuroevolution-Based Multivariate Anomaly Detection Framework
1.方法
这篇论文提出了一个基于神经进化（Neuroevolution）的多变量异常检测框架，名为AD-NEV++。该框架包含三个阶段：子空间进化（Subspace Evolution）、模型进化（Model Evolution）和微调（Fine-tuning）。AD-NEV++通过以下方法实现异常检测：
1.1子空间进化
在这个阶段，框架通过选择最有信息量的特征子集来优化特征空间。
1.2模型进化
框架在这个阶段进化神经网络架构。它支持多种类型的层，包括注意力（Attention）、密集（Dense）和图卷积（Graph Convolutional）层。此外，框架还支持图神经网络自动编码器（Graph Neural Network Auto-Encoders）作为新的神经模型架构。
1.3微调
在模型进化过程后，使用基于遗传算法的微调技术来优化模型权重，以提高模型性能。
2.创新点
AD-NEV++框架的创新之处在于：
2.1支持多种神经网络层
框架不仅支持传统的卷积（CNN）和长短期记忆（LSTM）层，还支持注意力、跳过连接（Skip Connection）、密集连接（Dense Connection）和图卷积层。
2.2图神经网络自动编码器
引入了图神经网络自动编码器作为神经进化过程中的一种新型神经架构，这在以往的神经进化框架中不常见。
2.3多架构支持
框架能够同时进化模型和子空间，支持多种模型架构，提高了模型的泛化能力。
2.4非梯度微调
框架采用了非梯度的微调方法，通过遗传算法操作来优化预训练模型的权重，这可能在某些情况下比基于梯度的微调更有效。
2.5优化变异操作
在神经进化过程中优化了变异操作，使得模型能够更有效地探索解空间。
论文链接：https://arxiv.org/pdf/2404.07968
需要的同学扫码添加我
回复“LSTM+CNN20”即可全部领取
三、Deep Learning Calabi-Yau four folds with hybrid and recurrent neural network architectures
1.方法
这篇论文探讨了如何应用深度学习，特别是基于混合卷积递归（CNN-RNN）和纯递归神经网络（RNN）架构，来学习近一百万完整的相交Calabi-Yau四fold（CICY4）数据集的四个Hodge数（h1,1, h2,1, h3,1, h2,2）。研究中尝试了十二种不同的神经网络模型，其中九种是CNN-RNN混合模型，使用的RNN单元是GRU（Gated Recurrent Unit）或LSTM（Long Short Term Memory）。其余四种模型是基于LSTM的纯递归神经网络。这些模型在72%的训练比率下进行了评估，并通过形成模型集成来提高预测准确性。
2.创新点
2.1混合CNN-RNN架构
论文提出了将卷积神经网络与递归神经网络结合的混合模型，这种混合模型能够同时处理空间和时间依赖性，这在以往的研究中较少见。
2.2纯RNN模型
除了混合模型，论文还探索了仅使用LSTM单元构建的纯递归神经网络，这在Calabi-Yau四fold的机器学习研究中是新颖的。
2.3模型集成
通过将表现最好的单个模型进行集成，进一步提高了预测的准确性。这种集成学习方法在提高复杂数据集预测性能方面显示出潜力。
2.4广泛的神经网络层支持
论文中的方法支持广泛的神经网络层，包括注意力层、密集层和图卷积层，这增加了模型的灵活性和表达能力。
2.5优化的变异操作
在神经进化过程中优化了变异操作，以支持添加跳跃连接和密集连接，这有助于模型更好地学习和优化。
2.6图神经网络自动编码器
引入了图神经网络自动编码器作为神经进化过程中的一种新型神经架构，这在以往的神经进化框架中不常见。
2.7非梯度微调
论文提出了一种非梯度的微调方法，通过遗传算法操作来优化预训练模型的权重，这可能在某些情况下比基于梯度的微调更有效。
论文链接：https://arxiv.org/pdf/2405.17406
需要的同学扫码添加我
回复“LSTM+CNN20”即可全部领取
