AI助手借助读屏或截屏功能，可能轻易获取用户手机屏幕上的各类信息
文｜《财经》研究员 樊朔
编辑｜朱弢
2024年，全球手机市场迎来反弹。市场调研机构Counterpoint的最新报告，2024年全球智能手机销量同比增长4%。国际数据公司（IDC）预测，2025年中国智能手机市场出货量将达到2.89亿，同比增长1.6%。市场复苏之际，AI被手机厂商视为前往下一个时代的船票，纷纷在各自最新的产品中部署大模型，竞逐AI赛道。因此这一年也被认为是AI手机元年。2024年10月24日，OPPO发布搭载ColorOS 15操作系统的旗舰手机Find X8系列，实现了“AI一键问屏”功能。在综合分析用户指令和屏幕信息后，AI助手可以实现回答、修图、办公处理等场景。随后的10月28日，苹果公司上线了全新的AI功能“Apple Intelligence”。10月29日，小米操作系统澎湃OS2带来了“AI重塑系统应用”，包括AI写作、识音、字幕等功能，同时小米智能语音助手“小爱同学”升级为“超级小爱”，成为全生态AI助手，具备记事、精准搜索、跨设备操作等功能。10月30日，荣耀发布Magic7系列手机，其中内嵌的AI智能体YOYO能够学习和认知用户的行为习惯，通过分析理解用户意图，自动执行相关操作，如“一句话取消自动扣款”“一句话点2000杯咖啡外卖”。11月，华为发布了Mate 70 Pro+，其中搭载盘古大模型，可实现AI动态照片、AI互动主题、AI隔空传送、AI降噪通话等功能。不只是手机厂商，大模型企业也在展示其操作手机的AI能力。11月29日，在智谱Open Day活动中，该公司CEO（首席执行官）张鹏向公众展示了其手机助手产品AutoGLM。他仅用一句话指令“帮我在智谱开放日的群聊里发个2万元的红包，数量定为100个，红包名字就叫‘AI给你发的第一个红包’”，AutoGLM便能自动打开微信，精准选择红包数量、设置总金额、修改红包名称，最后输入支付密码完成发送。在人工智能的创新浪潮中，手机助手智能化是重要的应用场景与发展方向，正在为人们创造全新的使用体验，但其间的用户隐私与数据安全等风险也亟待在发展中得以规范。
![]()
2024年关于AI手机一个极具传播度的热词是“2000杯咖啡”。“帮我点2000杯喝的。”2024年10月30日晚，在荣耀手机新品发布会的现场，时任荣耀CEO赵明使用AI智能体YOYO下单了2000杯瑞幸。一时间，周边的瑞幸咖啡门店陷入手忙脚乱的忙碌状态，“自动化”的AI和令瑞幸咖啡门店应接不暇的订单成为网友关注、调侃的对象。这一功能被荣耀称为手机进入“自动驾驶”时代。根据荣耀的介绍，在MagicOS 9.0的支持下，Magic7系列手机不再局限于简单的指令执行，而是实现了对用户需求的深度理解和自主决策。在北京的多家荣耀线下门店，自动点餐功能作为YOYO的亮点之一，被销售人员反复提及、展示。我们在门店试用了荣耀Magic7，并对YOYO下达指令“帮我点四杯咖啡”，之后YOYO根据用户习惯提出了多个产品及规格的选择，并提示用户需要点击“开始点单”按钮后才能够主动下单。在用户点击“开始点单”后，YOYO自动打开外卖软件搜索瑞幸咖啡，并选择了搜索结果第一位的门店，下单四杯美式咖啡。在完成自动点单的流程后，屏幕上提示需要用户手动点击提交订单。记者在多个手机品牌门店试用了其AI手机助手，并给出了相同的指令——“帮我点四杯咖啡”。以苹果手机为例，iPhone手机助手在收到指令后在地图搜索相关门店，并表示可以查询路线或打电话给门店。而小米、华为、vivo、OPPO等多个品牌的手机在收到指令后仅仅只能打开外卖软件页面，其中部分AI手机助手会在外卖软件搜索关键词“咖啡”后再停止。
![]()
网络安全机构“知道创宇404实验室”总监隋刚解释，端侧大模型在手机应用时需要RAG（Retrieval-augmented Generation，检索增强生成）、微调（Fine-tuning）、智能体（Agent）以及工作流（Workflow）配合私有领域数据实现落地。“RAG和微调是让智能体对当前环境的有感知，比如一些规章制度、财务知识等私有领域的知识，主要目的就是越精准越好。智能体相当于是一个代理人。Workflow则是告诉AI助手整体的操作流程。”隋刚说。隋刚表示，结合上述逻辑对点咖啡进行拆解，会发现这一动作包含几个业务系统：支付系统；咖啡店的业务接口，主要信息有订单量、送货地址，联系电话等；此外还需要手机的语音识别功能。隋刚告诉我们，在这一场景下，端侧大模型所做的就是：通过大模型将人类的语音、文字等模糊指令变成计算机能理解的精确指令。某手机厂商的一位端侧大模型工程师告诉我们，在这样的总体运行框架下，AI助手操作手机主要有两种方式。第一种是使用手机系统内置的标准API接口调用App，这种方式需经过第三方App许可，较为稳健和安全，也有利于多方获益。目前，苹果和华为都在推出其意图框架，即标准接口合作方案。这些方案旨在设计统一的合作模式，并在开发者文档中提供详细的接入指引。App开发者可以根据自己的需求，自主选择是否接入这些框架，以及如何接入。开发者还可以决定开放哪些应用场景和接口，以便更好地利用这些平台提供的功能和服务。一位手机行业人士表示，尽管一些国产安卓手机厂商也推出了各自的意图框架，但一方面由于生态号召力不足，需要与App开发者一对一谈合作，另一方面因为当前手机端侧部署的大模型能力依然有限，不能很好地实现用户所期待的真正的AI功能，而且速度较慢，因此目前接入的App数量仍相对较少。因此，它们选择另一种能短期见效，但对用户而言存在风险的方式——调用手机系统的无障碍功能。据谷歌开发者官网介绍，无障碍服务（AccessibilityService）是一种系统级别的API，旨在辅助残障人士更便捷地使用安卓设备及应用。它能够代表应用与用户进行交互，比如将文本内容转换成语音朗读，或者在用户将鼠标指针悬停于屏幕上的关键区域时，给予用户触觉反馈。安卓官方文档中对无障碍服务的使用有着明确规范，强调无障碍权限的用途仅限于协助残障用户更好地操作安卓设备和应用。此外，该权限的启用需由用户在设备的设置选项中主动开启，以确保用户对权限的使用有清晰认知和明确授权。智能助手使用的识屏、模拟点击，均为无障碍权限范畴。据安卓帮助官方文档介绍，无障碍服务的主要功能有：使用屏幕阅读器，即通过轻触和语音反馈功能与设备进行互动；更改显示设置，例如使用屏幕放大功能、开启深色主题或颜色反转功能等；互动控件，例如开关控制、自动点击等；音频和字幕，例如放大周围说话声和设备上音频的声音，更改字幕格式等。
![]()
无障碍功能的初衷是为了让残障人士得以与健全人一样使用智能手机，但有时却被滥用在用户使用的其他软件中。由于无障碍功能强大，一些人借此开发出了自动关闭弹窗广告、抢红包、抢票等软件，成为被灰黑产利用的主要技术漏洞之一，违背了无障碍功能的初心。福建省龙岩市中级人民法院2019年的一份判决书显示，多位被告开发的“超级雷神”应用程序，在未经授权的情况下，利用无障碍功能增加了“自动抢红包”等功能，构成侵入计算机信息系统程序罪，其中三名被告获刑三年。2021年，百豪公司利用无障碍权限及监听消息通知等功能，开发出的自动抢红包外挂“红包猎手”“多多抢红包”。这一行为被杭州铁路运输法院认定为构成不正当竞争，一审判处赔偿腾讯公司70万元，二审、终审均维持原判。谷歌曾多次限制App使用无障碍功能。早在2017年时，谷歌就曾要求开发者在使用无障碍功能时，必须严格限制权限；同时必须明确描述使用无障碍功能的目的，否则将拒绝开发者的使用请求。在2022年的安卓13中，谷歌再次缩窄使用范围，拒绝侧载的App使用无障碍功能。当用户要开启授权时，安卓系统会提示“为了您的安全，此设置当前不可用”。2024年，谷歌又在新版本的安卓系统中新增了“增强确认模式”，使侧载App更难以使用无障碍权限。但值得注意的是，谷歌的限制囿于App层面，由于手机厂商可以充分个性化定制操作系统，谷歌无法监管手机厂商如何使用无障碍权限。无障碍权限近乎于手机系统级别的最高权限，开启后，手机厂商或App能够监控整个系统的运行，甚至完全控制手机。过往曾有多起恶意程序借由无障碍权限盗取资金的案例。2021年，一款安卓木马应用SharkBot将自己隐藏在“RecoverFiles”的文件恢复工具中，一旦安装，就会以改进功能的幌子，要求开启无障碍访问权限。随后它通过自动填充网银App中的字段、绕过App设置的身份验证机制，实现了资金窃取。2024年3月，360手机卫士发现，一批色情App通过诱导用户安装“xx加速器”“xx高速下载助手”等，实则是远程操控的木马应用。这类应用被下载后，会引导用户开启无障碍权限，随后监控顶层页面和键盘，窃取支付密码、设备解锁密码，并将信息上传到远程操控的后台。在监听到用户半小时未使用手机后，木马应用会偷偷点开转账网页，输入转账密码，甚至完成后清理浏览器的痕迹，再自动卸载。一位不愿具名的网络安全人士表示，在没有AI大模型的年代，对单个App开启无障碍权限的风险已经很高，而如果有大模型加持，手机系统一旦默认开启了无障碍权限，将会带来极大的风险。通过读屏（截屏）方式，用户手机页面上所有信息一览无余，甚至包括通过金融App安全键盘输入的银行支付密码。大模型还可以通过进一步分析，获得用户的身份、定位等敏感信息。这位人士担心，一旦黑客控制了手机端侧AI，例如使用了Prompt（提示词）注入攻击，便可通过诱导智能助手访问恶意网站，并下载精心构造的恶意程序，导致用户终端被远程控制，获取个人隐私，甚至资金被盗。隋刚表示，目前来看，借用无障碍权限“走捷径”的一些AI手机蕴含着巨大的安全风险。AI可以通过数学函数公式对人类的声音进行克隆。而在人类与大模型的交互过程中，基本没有鉴权等安全措施，唯一的鉴权点是输入手机屏幕解锁密码以及支付密码时。“实际上，输入支付密码也可以委托给智能体。”隋刚说。
![]()
随着AI技术飞速发展，手机智能助手作为其中重要的应用场景，也暴露出了一些新型监管盲区问题。虽然目前相关部门尚未出台专门针对手机智能助手的监管政策，但根据已有的政策法规，可以大致梳理出相关的监管要点。首先，智能助手本身属于App应用，与其他第三方App一样，都要受到现有App监管规范约束。2021年，国家网信办、工信部、公安部、市场监管总局四部门制订《常见类型移动互联网应用程序必要个人信息范围规定》中明确，App包括移动智能终端预置、下载安装的应用软件。就此而言，手机出厂自带的手机智能助手也是App，与第三方App一样需要遵循App监管规则。然而，通过实测发现，尽管目前市面上大部分手机智能助手需要用户授权后才可以辅助接管手机，也提供了关闭授权的按钮，如华为、小米、vivo等，但也有一些手机厂商未严格遵守个人信息收集的相关规定。比如，荣耀MagicOS 9.0上的YOYO智能助手，开启无障碍权限，并不需要用户授权，也有没有提供关闭选项。在荣耀2024年9月30日更新的《关于YOYO助理与隐私的声明》中，“设备权限调用”部分未标明YOYO助理使用了读屏、模拟点击等无障碍权限。同时，设置中也没有提供管理YOYO助理权限的选项，但并不妨碍该App使用读屏和模拟点击等无障碍功能。即使是荣耀端侧AI相关的“荣耀AI·基础服务”“情景感知”两项功能，用户均可以选择开启或关闭无障碍权限，但YOYO助理却无法选择。此外，综合对比荣耀YOYO、荣耀信息及其他手机智能助手的权限开启按钮后，可以发现，荣耀YOYO向用户开放的权限选择有限。也就是说，YOYO助理实际上获得了超越一般App的系统级特权。《网络安全法》《数据安全法》《个人信息保护法》均强调，网络产品、服务具有收集用户信息功能的，其提供者应当向用户明确告知并取得同意。而根据2019年11月上述四部门印发的《App违法违规收集使用个人信息行为认定方法》，以下行为被认定为“未经用户同意收集使用个人信息”：征得用户同意前就开始收集个人信息或打开可收集个人信息的权限；用户明确表示不同意后，仍收集个人信息或打开可收集个人信息的权限，或频繁征求用户同意、干扰用户正常使用。其次，手机智能助手的重大更新，也已涉及新的涉诈风险或数据安全风险问题。在App层面，此类安全风险评估早已启动。多位App开发企业相关负责人表示，自2024年4月1日起，App等电信和互联网业务若涉及重大业务功能更新，如业务提供的功能模块、使用方式、信息传播方式或渠道等发生较大变化时，应当启动涉诈风险安全评估，并上报工信部。2024年10月1日，中国通信标准化协会还颁布了《电信领域数据安全风险评估规范》，指出评估团队应综合分析数据处理活动存在的安全风险。数据一旦遭到篡改、破坏、泄露或者非法获取、非法利用，可能对国家安全、公共利益产生的影响及影响程度。而一些手机智能助手的AI功能更新后，因开启了无障碍权限，数据泄漏、财产转移等诈骗风险将大大提升。不仅如此，个人数据、App数据的规模化泄漏亦有可能造成重大网络安全事故。但是，这些手机智能助手App在上架前是否通过涉诈安全风险及数据安全风险评估，尚不可知。再次，智能助手对于第三方APP的数据侵入引发的数据安全风险需引起重点关注。根据《网络数据安全管理条例》第十二条规定，两个以上的网络数据处理者共同决定个人信息和重要数据的处理目的和处理方式的，应当约定各自的权利和义务。第十八条规定，网络数据处理者使用自动化工具访问、收集网络数据，应当评估对网络服务带来的影响，不得非法侵入他人网络，不得干扰网络服务正常运行。如果智能助手通过调用无障碍权限获取数据，模拟点击方案未经第三方App许可，则违反了上述数据收集处理规范，相关数据安全责任也难以被清晰界定。例如，通过手机智能助手点外卖、充会员，若出现售后纠纷，是手机厂商负责还是外卖平台负责？更严重的情况，若通过手机助手转账汇款，出现差错，是手机厂商负责还是金融类App负责？再有，开启无障碍权限后的网络安全风险极高，如果用户手机被黑客劫持，盗取钱财或个人隐私、商业机密，应该由手机厂商还是App负责？事实上，早在2017年，中国互联网协会就发布了《移动智能终端应用软件分发服务自律公约》（下称《自律公约》），首批签署者包括华为、小米、OPPO、vivo、腾讯、阿里、百度、360等16家成员单位。为了防止未来可能发生的不正当竞争手段，在《自律公约》的公平竞争规则中明确了不得滥用无障碍功能，就是防止对这一为残障人士特别设计的特殊权限，被用作干扰、破坏或者侵入他人产品的渠道。在大模型时代，端侧AI及其智能助手是不容忽视的应用创新场景，但为实现AI功能，有的手机厂商选择了无障碍这种“技术捷径”，可能给用户隐私带来风险，并可能侵犯第三方App合法权益。因此，有业内人士建议，手机智能助手调用第三方App应该严格合规、采用标准接口合作模式。同时，明确手机智能助手与第三方App的平等地位，严格参照App相关监管要求，规范其对个人信息的收集和处理，并对其进行数据安全监管。“手机智能助手实现‘智能驾驶’的今天，安全仍是底线，要把选择权真正交给用户。”上述业内人士表示。
![]()
责编 | 王 宁
![]()
![]()
![]()
