01
Large Language Models for Wearable Sensor-Based Human Activity Recognition, Health Monitoring, and Behavioral Modeling: A Survey of Early Trends, Datasets, and Challenges
◎ 标题：可穿戴传感器基于人体活动识别、健康监测和行为建模的大型语言模型：早期趋势、数据集和挑战的调查
◎ 摘要：可穿戴技术的普及使得大量传感器数据得以生成,为健康监测、活动识别和个性化医疗提供了重大机遇。然而,这些数据的复杂性和数量给数据建模和分析带来了巨大挑战,这些挑战已经通过时间序列建模到深度学习技术的方法得到了解决。这个领域的最新前沿是采用 GPT-4 和 LLaMA 等大型语言模型(LLM)进行数据分析、建模、理解和通过可穿戴传感器数据生成人类行为。本次调查探讨了将 LLM 应用于基于传感器的人类活动识别和行为建模的当前趋势和挑战。我们讨论了可穿戴传感器数据的性质,LLM 建模它们的能力和局限性,以及它们与传统机器学习技术的集成。我们还确定了关键挑战,包括数据质量、计算要求、可解释性和隐私问题。通过研究案例研究和成功应用,我们突出了 LLM 在增强可穿戴传感器数据分析和解释方面的潜力。最后,我们提出了未来的研究方向,强调需要改进预处理技术、更高效和可扩展的模型,以及跨学科合作。本次调查旨在全面概述可穿戴传感器数据与 LLM 的交叉领域,为这个新兴领域的现状和未来前景提供见解。
Table: Common Applications of Wearable Sensors
02
Empowering Patients with AI-Driven Personalized Care: The Transformative Power of Generative AI and Healthcare Data Integration
◎ 标题：通过生成式人工智能和医疗数据整合赋能患者：个性化护理的变革力量
◎ 摘要：在前所未有的技术进步时代,生成式人工智能(AI)正准备彻底改革医疗保健,特别是在个性化患者护理领域。本文探讨了如何将生成式 AI 与全面的医疗保健数据相结合,从而赋能患者,定制治疗方案,提高决策能力,改善整体健康状况。通过利用生成式 AI 的力量,医疗服务提供者可以分析大量患者数据,包括病史、基因信息、生活方式因素和实时健康指标。这种整体方法可以生成个性化的治疗计划、风险评估和预防干预措施,最终达到更有效、更有针对性的护理。此外,生成式 AI 还可以促进患者和医疗服务提供者之间的无缝沟通,增强患者的参与度和理解。通过自然语言处理和对话式 AI,患者可以获取个性化的健康信息,接受定制的教育,参与虚拟咨询,从而实现以患者为中心的医疗保健方式。本文将深入探讨生成式 AI 在数据融合中的变革潜力,展示实际应用案例,并突出其实施过程中的伦理考量。通过拥抱这一技术范式转型,医疗保健系统可以赋能患者,提高护理质量,开启更加个性化和以患者为中心的医疗未来。
Figure: The image depicts a comprehensive framework for healthcare data integration and services, highlighting the role of Generative AI and Learning Modules.
03
PhysioLLM: Supporting Personalized Health Insights with Wearables and Large Language Models
◎ 标题：PhysioLLM：利用可穿戴设备和大型语言模型支持个性化健康洞察
◎ 摘要：我们提出了 PhysioLLM,这是一个交互式系统,利用大型语言模型(LLMs)与可穿戴设备的生理数据和上下文信息相结合,为用户提供个性化的健康理解和探索。与商业健康应用程序不同,我们的系统提供了全面的统计分析组件,可以发现用户数据中的相关性和趋势,让用户可以用自然语言提出问题并获得个性化洞见,并引导他们制定可实施的目标。作为一个案例研究,我们关注于改善睡眠质量,因为睡眠质量可以通过生理数据进行测量,并且对整体健康至关重要。通过对 24 名 Fitbit 手表用户的用户研究,我们证明 PhysioLLM 在促进对健康数据的更深入、个性化理解以及支持实现个人健康目标的行动步骤方面,都优于单独使用 Fitbit 应用程序和通用聊天机器人。
◎ 作者：Cathy Mengying Fang, Valdemar Danry, et al.
◎ 发表日期：2024-06-27
◎ 发表期刊：arXiv preprint
Figure：Overview of the PhysioLLM system with an example conversation.
04
LLaSA: Large Multimodal Agent for Human Activity Analysis Through Wearable Sensors
◎ 标题：LLaSA：通过可穿戴传感器进行人体活动分析的大型多模态代理
◎ 摘要：通过将惯性测量单元 (IMU) 与大型语言模型 (LLMs) 相集成,可以增强多模态人工智能,提高对人类活动的理解。我们引入了 SensorCaps 数据集,包含 26,288 个基于 IMU 的活动叙述,以及 OpenSQA 数据集,包含 257,562 个问题-答案对。结合 LIMU-BERT 和 Llama,我们开发了 LLaSA,这是一个能够解释和响应活动和运动分析查询的大型多模态代理。我们的评估表明 LLaSA 在活动分类和问答方面的有效性,突出了其在医疗保健、运动科学和人机交互领域的潜力。这些贡献推进了感知语言模型的研究,并开辟了新的研究方向。
◎ 作者：Nicola Luigi Bragazzi，Sergio Garbarino
◎ 发表日期：2024-06-20
◎ 发表期刊：arXiv preprint
◎ 原文链接：https://arxiv.org/abs/2406.14498
Figure：Architecture of the Large Language and Sensor Assistant (LLaSA) model
05
HARGPT: Are LLMs Zero-Shot Human Activity Recognizers?
◎ 标题：HARGPT：大型语言模型是否为零样本人体活动识别器?
◎ 摘要：大型语言模型(LLM)作为基础模型与网络物理系统(CPS)无缝集成的潜力存在持续辩论。在本文中,我们进行了一个案例研究来回答以下问题:LLM 是否能够进行零样本人类活动识别(HAR)。我们的研究 HARGPT 给出了肯定的答复,证明 LLM 可以理解原始 IMU 数据,并通过适当的提示以零样本方式执行 HAR 任务。HARGPT 将原始 IMU 数据输入 LLM,并利用角色扮演和逐步思考的策略进行提示。我们使用两个具有不同类间相似性的公共数据集在 GPT4 上对 HARGPT 进行基准测试,并与基于传统机器学习和最先进深度分类模型的各种基线进行比较。值得注意的是,LLM 成功地从原始 IMU 数据中识别人类活动,并在两个数据集上一致优于所有基线。我们的研究结果表明,通过有效的提示,LLM 可以基于其知识库解释原始 IMU 数据,具有有望有效分析物理世界原始传感器数据的潜力。
◎ 作者：Sijie Ji, Xinzhe Zheng, et al
◎ 发表日期：2024-03-05
◎ 发表期刊：arXiv preprint
Figure: Detailed step-by-step inference generated by GPT4 with a walking example.
