【视频专栏】数据驱动的间歇低氧训练贝叶斯优化决策方法

文摘科技 2024-02-01 17:00 北京

点击上方蓝字关注我们

陈婧, 史大威, 蔡德恒, 王军政, 朱玲玲. 数据驱动的间歇低氧训练贝叶斯优化决策方法. 自动化学报, 2023, 49(8): 1667−1678

摘要

青藏地区快速的经济发展使得进入高原的群体数量日益增加, 随之而来的高原健康问题也愈发突出. 间歇性低氧训练(Intermittent hypoxic training, IHT)是急进高原前常使用的预习服方法, 一般针对不同个体均设置固定的开环策略, 存在方案制定无标准、系统化的理论指导缺乏、效果不明显等问题. 针对以上情况, 设计了一种小样本数据驱动的IHT策略贝叶斯闭环学习优化框架, 建立自回归结构的高斯过程血氧饱和度(Peripheral oxygen saturation, SpO2)预测模型, 并考虑高低风险事件对训练的影响, 设计与氧浓度变化方向和速率相关的风险不对称代价函数, 提出具有安全约束的贝叶斯优化方法, 实现IHT最优供氧浓度的优化决策. 考虑到现有仿真器无法反映个体动态变化过程, 依据“最优速率理论”设计了合理的模型自适应变化律. 所提出闭环干预方法通过该仿真器进行了可行性和有效性验证. 说明该学习框架能够指导个体提升高原适应能力, 减轻其在预习服阶段的非适应性不良反应, 为个性化IHT提供精准调控手段.

引言

随着高原地区经济的快速发展, 因军事救援、旅游观光、徒步登山等需求进藏或援藏的群体正不断增加, 高原健康问题也日益凸显[1-2]. 高原病是一种长期居住在平原的个体进入高海拔地区时因对低氧环境适应能力不全或失调而导致的综合症, 包括急性高原病、高原肺水肿等, 其引发的头晕、恶心、呕吐等不适症状严重影响人们的正常生活, 极度不适应者甚至会存在呼吸困难和死亡的危险[3-5].

为提升高原环境下的机体适应能力, 进行高原预习服至关重要. 目前, 阶梯习服和预训练被公认为是最有效的降低高原病易感性的两种预习服方法[6]. 特别的, 间歇性低氧训练 (Intermittent hypoxic training, IHT)通过模拟高原环境实现低氧适应能力的提升, 是一种广泛应用的预习服方法[7-9]. 在训练期间, 个体被要求吸入周期性变化的低氧和常氧(高氧), 保证在模拟高海拔环境以提高个体抗缺氧能力的同时, 降低机体长期暴露于低氧环境中的有害影响. 在合适的训练协议设置下, 该方法有助于机体建立适应性增强的生理机制, 加速习服过程, 降低患病风险. 在现有研究中, 策略一般在训练前预先固定设置, 受训者一般被要求暴露在氧浓度为10% ~ 15% 的常压或低压环境中, 持续3 ~ 8分钟, 周期性穿插浓度为21%的常氧或30% ~ 40%的高氧, 为期2 ~ 5分钟. 每1天或2天进行一次训练, 总时长从几十分钟到几小时不等. 具体的, 连续7天的1小时低氧通气被证明能有效地降低再次暴露于高原环境时急性高原病的发生率[10]; 文献[11]尝试将个体暴露在12%的氧浓度中, 每天持续4小时, 通过减少缺氧诱导的炎症和血脂紊乱来促进适应; 间歇性递增式的常压低氧暴露方案在文献[12]中被应用. 可以从上述研究分析发现, 虽然有关IHT对高原低氧适应能力改善效果的研究从训练时长、供氧浓度选择等方面做了许多的探索, 但在整个训练过程中, 现有IHT策略是单一且固定不变的, 无法根据当前适应状态完成自主调节与优化, 并在短时间内达到显著效果, 急进高原需求难以保障. 因此, 本工作旨在设计具有反馈式结构的闭环控制算法, 提供个体化最优训练策略, 实现精准高效的适应性能力增强.

合理准确的预测算法是设计个体化动态训练策略的关键. 在疾病诊断与治疗中, 常采用基于知识、基于机理模型和基于数据的三种方法实现预测和随后的决策. 基于知识的预测一般结合临床经验, 通过创建医疗数据库, 采用统计分析方法设计疾病预测和诊断的定量规则[13]. 然而, 考虑到经验方法依赖专家临床诊断的长期记录结果, 且可迁移应用于不同患者的能力差, 许多研究转而采用基于模型的预测方法, 通过第一性原理对系统动力学建模以揭示疾病作用机制, 并根据预测结果实现诊断与治疗控制[14]. 虽然机理建模提升了预测决策效果, 但过程复杂耗时, 参数众多, 调试存在困难. 随着物联网以及先进测量技术的快速发展, 过程数据能够被连续监控、存储和处理, 因而基于数据的预测算法受到了各领域学者的青睐[15-17]. 回归预测算法可大致分为传统时间序列预测以及机器学习预测两大类. 前者利用统计分析方法推测时序变量的变化方向与趋势[18], 动力学描述能力存在局限, 后者所包括的长短期记忆网络等方法对数据量要求高, 小样本问题难以适用[19-20]. 特别的, 高斯过程是一种具备坚实理论支撑的非参数学习方法, 能够对未知的非线性结构进行建模, 不仅对于小样本具有优异的回归预测性能, 还能够衡量模型的不确定度, 保证模型的可靠性. 许多研究在其基础之上考虑了一系列的变体形式, 并给出了相应的理论证明, 例如: 文献[21]针对计算复杂度大的问题, 推导了一种变分近似的稀疏高斯过程; 文献[22]提出了一种近似的高斯过程动态模型, 并分析了其控制性能. 此外, 高斯过程在各领域也以不同形式得到了广泛的应用. 文献[23]针对术后功能预测问题考虑目标变量取值范围限制, 设计了基于截断正态分布的高斯过程模型, 预测结果显著提升; 文献[24]提出了一种稀疏非平稳的高斯过程回归, 用于预测柴油机氮氧化物.

良好的预测效果可极大提升数据驱动闭环控制的性能. 文献[25]针对血糖控制问题利用餐后预测序列设计了数据驱动的餐前胰岛素优化决策方法,并通过FDA认证的UVA/Podava仿真器进行了验证; 文献[26]基于高斯过程回归与深度强化学习设计了分层人机协控制方法; 文献[27]总结了自治系统的数据驱动预测控制方法与有效应用等. 虽然数据驱动的预测控制在多个问题中得到了有效应用, 但有关高原预习服闭环决策的学习优化方法尚未得到充分研究, 目前的IHT策略固定单一, 缺乏个体化动态调整的有效机制. 针对这一问题, 本文设计了一种数据驱动的IHT策略贝叶斯学习优化框架, 主要贡献如下:

1) 构建了适用于小样本数据的自回归结构高斯过程模型, 实现IHT低氧段血氧饱和度(Peripheral oxygen saturation, SpO2)的滑动时窗式预测. 在此基础上, 考虑到高训练强度下机体非适应性恶化的高风险事件以及低训练强度下见效周期慢的低代价事件, 依据供氧浓度速率及其方向设计了风险不对称代价函数, 提出了具有安全约束的贝叶斯优化算法以实现IHT供低氧浓度的优化决策.

2) 由于现有仿真器无法模拟个体IHT前后的低氧应激系统动态变化过程, 结合“最优速率理论”对其进行了改进[28], 设计模型自适应变化律以建立仿真器模型[29]动力学特征与供氧浓度变化之间的关联关系, 使得虚拟训练者的SpO2水平能在合理范围内波动并体现随不同训练速率的变化效果.

3) 采用改进的仿真器对优化决策算法进行仿真验证. 实验结果表明, 在闭环调控算法的作用下, 受试者的动态血氧指标(Dynamic SpO2 index, DSI)[30]以及SpO2均值较开环调控而言均有显著增加, 且标准差有所下降, 指示数据向高值集中, 说明所设计的闭环贝叶斯优化决策算法能有效提升高原低氧适应性能力, 可为个体化IHT提供精准有效的调控手段. $L_{v}$ $L_{v}$

正文框架

1. 基于高斯过程的IHT策略优化设计

1.1 高斯过程

1.2 低氧段的SpO2预测

1.3 代价函数与优化问题设计

1.4 迭代可行性与稳定性

2. IHT供氧浓度贝叶斯优化决策及高原适应性评估

2.1 贝叶斯优化

2.2 低氧适应能力评估

3. 结果

3.1 高原适应能力评估的仿真器改进

3.2 仿真验证

4. 结论

部分文献

[1] Andrew M L, Peter H H. Medical conditions and high-altitude travel. New England Journal of Medicine, 2022, 386(4): 364-373 doi: 10.1056/NEJMra2104829

[2] Joshua C T, Philip N A. Global and country-level estimates of human population at high altitude. Proceedings of the National Sciences, 2021, 118(18): e2102463118 doi: 10.1073/pnas.2102463118

[3] Cobb A B, Levett D Z H, Mitchell K, Aveling W, Hurlbut D, Gilbert-Kawai E, et.al. Physiological responses during ascent to high altitude and the incidence of acute mountain sickness. Physiological reports, 2021, 9(7): e14809

[4] Gudbjartsson T, Sigurdsson E, Gottfredsson M, Bjornsson O M, Gudmundsson G. High altitude illness and related diseases - A review. Laeknabladid, 2019, 105(11): 499-507

[5] Victor S, Jan C P, and Katarína K. Manifestation of intracranial lesions at high altitude: Case report and review of the literature. High Altitude Medicine & Biology, 2021, 22(1): 87-89

[6] Fulco C S, Beidleman B A, Muza S R. Effectiveness of preacclimatization strategies for highaltitude exposure. Exercise and Sport Sciences Reviews, 2013, 41(1): 55-63 doi: 10.1097/JES.0b013e31825eaa33

[7] Ambroży T, Maciejczyk M, Klimek A T, Wiecha S, Stanula A, Snopkowski P, et.al. The effects of intermittent hypoxic training on anaerobic and aerobic power in boxers. International Journal of Environmental Research and Public Health, 2020, 17(24): 9361 doi: 10.3390/ijerph17249361

[8] Wille M, Gatterer H, Mairer K, Philippe M, Schwarzenbacher H, Faulhaber M, et.al. Short-term intermittent hypoxia reduces the severity of acute mountain sickness. Medicine & Science in Sports, 2012, 22(5): e79-e85

[9] 刘园园. 高原健康理论框架下的渐进型间歇性低氧预习服训练研究 [博士学位论文], 山东大学, 中国, 2014

Liu Yuan-Yuan. Short-Term Intermittent Hypoxia Reduces the Severity of Acute Mountain Sickness [Ph.D. dissertation], Shandong University, China, 2014

[10] Treml B, Kleinsasser A, Hell T, Knotzer H, Wille M, Burtscher M. Carry-over quality of pre-acclimatization to altitude elicited by intermittent hypoxia: A participant-blinded, randomized controlled trial on antedated acclimatization to altitude. Frontiers in Physiology, DOI: 10.3389/fphys.2020.00531

[11] Gangwar A, Pooja, Sharma M, Singh K, Patyal A, Bhaumik G, et.al. Intermittent normobaric hypoxia facilitates high altitude acclimatization by curtailing hypoxia-induced infammation and dyslipidemia. Pflugers Archiv, 2019, 471(7):949-959 doi: 10.1007/s00424-019-02273-4

[12] 杨军, 俞梦孙, 曹征涛, 吴峰, 张宏金, 王海涛, 等.间歇性递增式常压低氧暴露训练对高原习服效果的研究. 中华航空航天医学杂志, 2012, 3: 161-164

Yang Jun, Yu Meng-Sun, Cao Zheng-Tao, Wu Feng, Zhang Hong-Jin, Wang Hai-Tao, et.al. Study on the effect of increasing intermittent hypoxia exposure on altitude acclimatization. Chinese Journal of Aerospace Medicine, 2012, 3: 161-164

[13] Kwiatkowska M, Atkins M S, Ayas N T, Ryan C F. Knowledge-based data analysis: First step toward the creation of clinical prediction rules using a new typicality measure. IEEE Transactions on Information Technology in Biomedicine, 2007, 11(6):651-660 doi: 10.1109/TITB.2006.889693

[14] Sakellarios A I, Räber L, Bourantas C V, Exarchos T P, Athanasiou L S, Pelosi G, et.al. Prediction of atherosclerotic plaque development in an In Vivo coronary arterial segment based on a multilevel modeling approach. IEEE Transactions on Biomedical Engineering, 2017, 64(8):1721-1730 doi: 10.1109/TBME.2016.2619489

[15] 喻勇, 司小胜, 胡昌华, 崔忠马, 李洪鹏. 数据驱动的可靠性评估与寿命预测研究进展:基于协变量的方法. 自动化学报, 2018, 44(2): 216-227

Yu Yong, Si Xiao-Sheng, Hu Chang-Hua, Cui Zhong-Ma, Li Hong-Peng. Data driven reliability assessment and life-time prognostics: A review on covariate models. Acta Automatica Sinica, 2018, 44(2): 216-227

[16] 李天梅, 司小胜, 刘翔, 裴洪. 大数据下数模联动的随机退化设备剩余寿命预测技术. 自动化学报, 2022, 48(9): 2119-2141 doi: 10.16383/j.aas.c201068

Li Tian-Mei, Si Xiao-Sheng, Liu Xiang, Pei Hong. Data-model interactive remaining useful life prediction technologies for stochastic degrading devices with big data. Acta Automatica Sinica, 2022, 48(9): 2119-2141 doi: 10.16383/j.aas.c201068

[17] 蒋珂, 蒋朝辉, 谢永芳, 潘冬, 桂卫华. 基于动态注意力深度迁移网络的高炉铁水硅含量在线预测方法. 自动化学报, DOI: 10.16383/j.aas.c210524"> 10.16383/j.aas.c210524

Jiang Ke, Jiang Zhao-Hui, Xie Yong-Fang, Pan Dong, Gui Wei-Hua. Online prediction method for silicon content of molten iron in blast furnace based on dynamic attention deep transfer network. Acta Automatica Sinica, DOI: 10.16383/j.aas.c210524"> 10.16383/j.aas.c210524

[18] Box G E, Jenkins G M, Reinsel G C, Ljung G M. Time Series Analysis: Forecasting and Control. Hoboken: John Wiley & Sons, 2015.

[19] Xie J, Wang Q. Benchmarking machine learning algorithms on blood glucose prediction for type I diabetes in comparison with classical time-series models. IEEE Transactions on Biomedical Engineering, 2020, 67(11): 3101-3124 doi: 10.1109/TBME.2020.2975959

[20] Moniri A, Terracina D, Rodriguez-Manzano J, Strutton P H, Georgiou P. Real-time forecasting of sEMG features for trunk muscle fatigue using machine learning. IEEE Transactions on Biomedical Engineering, 2021, 68(2): 718-727 doi: 10.1109/TBME.2020.3012783

[21] Michalis K T. Variational learning of inducing variables in sparse Gaussian processes. In: Proceedings of the 12th International Conference on Artificial Intelligence and Statistics. Florida, USA: PMLR, 2009. 567−574

[22] Beckers T, Hirche S. Prediction with approximated gaussian process dynamical models. IEEE Transactions on Automatic Control, 2022, 68: 6460-6473

[23] Lee S I, Mortazavi B, Hoffman H A, Lu D S, Li C, Paak B H, et.al. A prediction model for functional outcomes in spinal cord disorder patients using gaussian process regression. IEEE Transactions on Biomedical Engineering, 2016, 20(1): 91-99

[24] Huang H, Song Y, Peng X, Ding S X, Zhong W, Du W, et.al. A sparse nonstationary trigonometric gaussian process regression and its application on nitrogen oxide prediction of the diesel engine. IEEE Transactions on Industrial Informatics, 2021, 17(12): 8367-8377 doi: 10.1109/TII.2021.3068288

[25] 史大威, 蔡德恒, 刘蔚, 王军政, 纪立农. 面向智能血糖管理的餐前胰岛素剂量贝叶斯学习优化方法. 自动化学报, DOI: 10.16383/j.aas.c210067

Shi Da-Wei, Cai De-Heng, Liu Wei, Wang Jun-Zheng, Ji Li-Nong. Bayesian learning based optimization of meal bolus dosage for intelligent glucose management. Acta Automatica Sinica, DOI: 10.16383/j.aas.c210067

[26] 金哲豪, 刘安东, 俞立. 基于GPR和深度强化学习的分层人机协作控制. 自动化学报, 2022, 48(9): 1-11

Jin Zhe-Hao, Liu An-Dong, Yu Li. Hierarchical human-robot cooperative control based on GPR and DRL. Acta Automatica Sinica, 2022, 48(9): 1-11

[27] Rosolia U, Zhang X, Borrelli F. Data-driven predictive control for autonomous systems. Annual Review of Control, Robotics, and Autonomous Systems, 2018, 1(1): 259-286 doi: 10.1146/annurev-control-060117-105215

[28] Yu M. Human-performance engineering at high altitude. Science Supp, 2014: 7−8

[29] Chen J, Xiao R, Wang L, Zhu L, Shi D. Unveiling interpretable key performance indicators in hypoxic response: a system identification approach. IEEE Transactions on Industrial Electronics, 2022, 69(12): 13676-13685 doi: 10.1109/TIE.2021.3137618

[30] Chen J, Tian Y, Zhang G, Cao Z, Zhu L, Shi D. IoT-enabled intelligent dynamic risk assessment of acute mountain sickness: The role of event-triggered signal processing. IEEE Transactions on Industrial Informatics, 2023, 19(1): 730−738

作者简介

陈婧，北京理工大学自动化学院博士研究生. 主要研究方向为医学信号处理和性能评估.

史大威，北京理工大学自动化学院教授. 主要研究方向为复杂采样控制系统分析与设计及在生物医学、机器人及运动系统中的应用. 本文通信作者.

蔡德恒，北京理工大学自动化学院博士研究生. 主要研究方向为事件触发的采样控制、估计与学习以及闭环给药系统控制算法设计与实现.

王军政，北京理工大学自动化学院教授. 主要研究方向为运动驱动与控制, 电液伺服/比例控制, 试验测试与负载模拟, 机器人控制.

朱玲玲，北京理工大学自动化学院教授. 主要研究方向为运动驱动与控制, 电液伺服/比例控制, 试验测试与负载模拟, 机器人控制.