在
大语言模型(LLM)掀起人工智能革命浪潮之后,具身智能(Embodied Artificial Intelligence)正逐渐成为人工智能发展的新前沿。不同于传统人工智能系统,具身智能通过物理实体(如机器人、机械臂等)直接与现实世界进行交互,这种范式转变既带来了巨大机遇,也伴随着前所未有的安全挑战。具身智能系统的复杂性——包括其硬件设施、软件、算法模型和数据系统,都可能成为潜在安全风险来源。恶意攻击者可能利用各类算法、硬件、软件、协议的脆弱性对具身智能系统发起攻击,不仅危及用户隐私安全,更可能在物理世界造成实质性危害,例如人身伤害、系统破坏等。因此,建立健全的安全防护体系,从技术、法律和伦理多维度构筑具身智能的安全屏障,形成具身智能安全治理手段,已成为学术界和产业界的当务之急。
具身智能系统集感知、理解、推理与物理控制于一体,能够主动与现实环境进行互动。与传统的离身智能(如人工智能)相比,具身智能的安全威胁不仅继承了人工智能安全中的对抗样本、数据毒化和逆向工程攻击,还由于同时存在物理域和信息域两个形态,包括了各类物理域因素,例如传感器漏洞利用、跨域信号干扰,甚至是电源供电攻击等各类“硬件肉身”安全威胁,如图1所示。具身智能系统一旦遭受攻击,其影响将直接延伸至物理世界,对具身智能体及其周边设备设施、人员等造成物理破坏,甚至可能演化为影响社会稳定和国家安全的重大风险。
本文聚焦于具身智能安全这一新兴安全领域,系统性地探讨在具身智能体与物理世界交互过程中的各类安全攻防和治理问题。具体安全问题包括但不限于模型算法安全、传感器及执行器等硬件器部件安全、具身智能人机物交互安全,甚至是通用软件及网络安全等。为应对这些挑战,本文将从三个维度展开分析,分别是具身智能模型算法安全(“灵魂”)、具身智能感控交互安全、具身智能安全防护及治理。通过多角度的探讨,我们旨在为具身智能的安全发展提供前瞻性的思考和可行的解决方案。
具身智能模型算法安全
随着大语言模型、视觉语言模型(VLM)、多模态大模型(MLM)、视觉语言动作大模型(VLA)等基础模型的快速发展,具身智能大脑的推理和决策能力得到了有效的增强。目前,有两种方法来实现具身智能的算法架构:一种是模块化架构,另一种是端到端架构。模块化架构将具身智能要执行的任务细分为多个模块,其中每一个模块都有其独特的功能。端到端架构则通过单一的神经网络,将输入任务直接映射为控制信号,形成从输入到输出的无缝连接。这种方法可以通过海量数据驱动,希望实现机器人自主学习与决策。无论是模块化架构还是端到端架构,其中核心的部分都是基础模型。
然而,大模型面临着训练数据安全风险、算法模型安全风险、系统平台安全风险、业务应用安全风险。同样,将大模型作为核心算法的具身智能体也面临着相应的安全风险,下面将分点阐述此安全风险。
(1)训练数据安全风险:具身智能大模型的训练数据包括自然语言数据、模拟和仿真环境数据、真实采集的感知数据等。如果受害者使用了中毒数据训练或者微调具身大模型,可能会在其中植入后门,最终如果后门被触发,可能造成车辆加速冲向障碍物、机器人在床上放置刀具等危险情况发生。不仅如此,对于具身智能大模型来说,除了要确保模型的输出符合人类规则和道德准则,降低大模型产生不真实、有偏见、不道德结果等风险,更重要的是要与物理世界和物理世界客观规律对齐。这意味着具身智能大模型需要具备物理风险感知能力,以此来规避物理世界中的潜在危险,并且具身智能大模型的输出也要符合现实中客观的物理学规律或限制。
(2)大模型算法安全:对于具身智能大模型本身来说,重要的是保证流程的透明以及结果的可信度和可解释性。虽然可以借助模块化设计,分步定位问题模块,或者采用思维链的方式进一步细化推理过程,从而提升具身智能算法的可解释性,但是大模型仍然存在“幻觉”和“偏见”等问题。当在面对小概率异常场景、提示注入攻击场景以及恶意添加扰动的对抗样本输入时,具身智能体可能会输出错误乃至危险的决策。已经有研究表明,在具身大模型的上下文中注入后门,可以使得具身大模型产生有害决策或记录隐私数据,最后造成具身智能体速度失控和用户的隐私泄露;在用户的人机交互指令中添加对抗性后缀,可以绕过具身智能大模型的安全对齐,让其输出错误或者恶意的动作;当图像等模态的感知信息受到干扰时,可能会造成具身智能大模型的判断失误等。
(3)系统平台安全风险:具身智能大模型百花齐放,研究者和开发者通常从开源平台下载模型、适配器、插件等,恶意的攻击者可能渗透代码的供应链并在其中植入后门,从而获得非必要的权限甚至执行任意的代码。此外,传统的软件漏洞,如缓冲区溢出、空指针引用等,可能导致系统崩溃;网络协议中的安全漏洞,如未加密的传输协议等,可能导致数据在传输过程中被窃取或篡改。若缺乏相应的保护措施,这些都极有可能造成严重的安全隐患以及隐私泄露事件。
(4)业务应用安全风险:具身智能大模型应该对输入输出进行风险检测,例如对敏感的用户指令进行过滤,以及对输出执行结果进行安全检查和校正。如果具身智能大模型对于恶意的用户指令没有防御措施,会使得具身智能系统在实际应用中出现不可控的情况,危害环境以及其他人类。
具身智能感控交互安全
具身智能感知指的是具身智能系统通过嵌入的多种传感器(麦克风、相机、雷达等)来获取环境信息,这些信息经过感知模型的处理后传递给具身智能的决策模型来辅助决策。然而,传感器受到的环境干扰以及恶意攻击(如传感器欺骗)会影响感知的准确性。因此,确保传感器信息的真实性和准确性,增强抗干扰能力,对安全决策至关重要。已经有研究表明:针对防抖云台摄像头,可以通过声波信号攻击图像防抖模块中的惯性传感器,使得摄像头成像画面出现抖动模糊(对抗加噪),最终造成目标检测和识别模型出错(见图2);针对激光雷达,通过构造恶意的激光回波注入激光雷达来替换原来的点云,可造成点云消失、点云篡改和点云构造;针对麦克风,通过人耳听不到的超声波可以隐蔽地注入恶意语音指令。这些攻击使用的物理信号隐蔽且多样,难以被传统网络安全措施发现和防御。为抵御感知安全风险,必须考虑包括声学、光学、电磁等多物理场信号在内的多种策略。在未来,需要开发新的具身智能安全感知安全检测方案,探索具身智能感知安全边界并且结合其他专业内容提高具身智能系统的感知安全防御能力。
具身智能执行指的是具身智能系统通过多种执行器(电机、扬声器等)改变自身或物理环境的状态。执行器是具身智能和环境交互的最后一环,保证执行器安全是确保具身智能安全的关键。但是执行器也面临着电磁干扰攻击、电源攻击等安全威胁。已经有研究表明,针对电源模块,可以利用其内部线路的天线效应和非对称性,设计供电干扰信号影响执行器的行为,如篡改扬声器的输出声音;此外,利用电磁干扰信号可以注入错误的电机控制信号,操控电机转速或转角。具身智能执行器安全是保证具身智能体能够在复杂环境中安全可靠运行的关键,对于服务机器人、协作机器人、医疗机器人、自动驾驶和工业自动化等领域至关重要。
具身智能安全防护与治理
在软件算法层面上,关注具身大模型在训练数据、算法模型、系统平台以及业务应用的安全防护。首先,要加强具身大模型训练数据来源的登记备案以及数据集安全检测,包括利用时空一致性来检测具身智能体训练数据是否被攻击者篡改,以及检测数据集中是否含有违法不良数据或毒化数据。其次,针对算法模型,需进行模型鲁棒性评测、模型“幻觉”评测和模型偏见性评测,例如通过自动化红队测试来评估模型风险和发现潜在漏洞。同时,要采用价值对齐技术,确保具身智能体的行为符合人类价值观和社会公共利益,遵循物理客观规律和限制,防止其伤害人类。并且要采取一系列可解释性方法,提升具身智能体行为、策略的可解释性,打造可信具身智能。再次,系统平台的安全防护要加强供应链安全管控,包括具身大模型学习框架、系统开发工具链等,检测这些开发工具代码中可能存在的漏洞或后门。此外,也要对大模型适配器和插件的进行安全评测,防止恶意适配器或插件“以小博大”地干扰、挟持具身智能体决策和行动。最后,针对业务应用的安全防护,应站在系统的角度,综合考虑上下游环节的安全,对具身大模型的输入输出进行过滤检查或重写。也可以设置一系列控制障碍,避免具身智能体进入不安全区域。
在硬件层面上,关注具身智能传感器、执行器、电源以及芯片等关键硬件安全防护。特别要重视具身智能硬件设备供应链安全,提防因硬件后门和漏洞造成具身智能系统失控或瘫痪等恶意攻击事件,推动具身智能关键硬件国产化、自主化,打造自主可控的产业链供应链,保障具身智能产业安全。同时,加强传感器、执行器等硬件设备的脆弱性分析,包括带内脆弱性以及带外脆弱性挖掘,并加快设计研发更智能、安全的智能传感器设备。此外,需要特别关注具身智能跨域安全,对具身智能硬件与软件算法采取联合评测,降低多物理场恶意信号导致的具身智能决策或致幻风险。
此外,我们还需要关注具身智能的社会治理问题。毫无疑问,具身智能技术将给人类社会带来新的变革,也必将出现如具身智能安全责任归属、具身智能安全伦理等新的社会治理问题。因此,需要采取软硬兼施的治理政策:一方面,形成以“软法”为引领的社会规范体系,根据以人为本、可控可信等治理价值目标,制定具身智能伦理准则、政策性文件和行业标准等,促进具身智能良性发展;另一方面,建立以“硬法”为底线的风险防控体系,根据安全分级,建立完善的法律和技术约束,确保能够及时按下遏制具身智能失控的“暂停键”。
致谢:感谢国家自然科学基金项目(61925109,62222114,62071428,62201503)和中国工程院战略研究与咨询项目(2023-JB-13)的支持。
END
更多精彩文章请点击下面“蓝字”标题查看:
《物理与工程》期刊是专注于物理教育教学研究的学术期刊,是中国科技核心期刊,1981年创刊,欢迎踊跃投稿,期刊投审稿采编平台:
http://gkwl.cbpt.cnki.net
欢迎关注
《物理与工程》微信公众号