生成式AI令人耳目一新
在解放生产力的同时
安全问题也伴随而来
它们或隐藏在光鲜背后
或诱使人把更多的数据交给它、依赖它
这把双刃剑的另一面是什么样？
生成式人工智能（Generative Artificial Intelligence，生成式AI），是指以大模型为重要组成部分的一系列生成文本、图片、音频、视频等内容的技术和方法的总称。
1
武器化的新技术
当AI技术被黑产和间谍所用
生成式AI降低了黑客的进入障碍
隐形爬取收集数据埋藏隐患
生成式AI通过网络数据爬取收集数据是一种“隐形处理”的活动，被爬取者不会意识到自己的个人数据以这种方式被处理，因此，无法行使数据保护法赋予的权利。而当非法爬取获取的数据被传输出境后，被爬取的国家便失去了对该部分数据的管理权和对境外数据的自主控制权，这为国家安全埋下了重大隐患。目前，美国情报机构已开始试验自己的 生成式AI 程序，中央情报局（CIA）正准备推出一项类似 ChatGPT 的大模型，使分析师能更好地获取开源情报，并与其他国家开展新的情报较量。
被爬取数据传输出境后，无法追回。
2
暗度陈仓的信息外泄
企业敏感数据泄露
大型语言模型能提升工作效率，但不当使用可能使敏感数据留存于AI数据库。国内如讯飞星火、文心一言等平台承诺数据不跨境，而ChatGPT等海外平台的数据服务器在国外，难以监管。AI平台相应的最终用户许可协议条款，通常可能使用用户输入来训练模型，包括文本和图片识别后的文字信息。这些信息通常无法被用户检索删除，而且很可能会被AI程序重用、发布或出售，以及被AI背后的公司审查。若用户不慎把敏感信息如财务数据、项目资料、公司机密、内部知识等内容输入到 AI中，可能存在机密和知识产权泄露风险。
上传文字均应注意内容脱敏，数据一旦流出难以清除。
3
意识形态渗透
认知、舆论引导和偏见植入
在信息迅速传播的当下，不法分子往往利用数据投毒使 AI 工具生成一些缺乏真实性和正当性的信息，潜移默化地影响人们的思想观念。例如，利用生成式AI制造和散布谣言，发布颠覆国家政权、煽动分裂、发动恐怖袭击等危害性言论，严重影响社会治理。
搜索、整合、生成后的结果，以言之凿凿的语句再现，真实性却无法保证。
4
便利和新奇的背后
个人隐私亟待保护
在使用生成式AI产品的过程中，为了追求高效的自动化和个性化服务，用户可能不得不牺牲一定隐私，允许AI收集隐私数据。而AI通过分析用户输入可能推断出更多个人信息和偏好，增加隐私侵犯风险。若AI服务商未能妥善处理这些数据，可能导致隐私泄露或被滥用。例如，照片生成软件能根据用户上传的头像创造合成照片，但用户上传的头像如何被使用，以及是否存在隐私和安全风险，目前尚不明确。
个人隐私已不局限于肖像及个人资料，位置、偏好、行为等均可被用来建立用户画像。
5
社会工程学的攻击
伪造、杜撰、误导
随着大模型技术的发展，各种类型的应用如图像、代码、音频等不断涌现。生成式AI能创造出极其逼真的伪造内容，如假新闻和虚假社交媒体帖子，容易误导用户和传播错误信息。阿根廷和美国的政治竞选中已有利用这些技术抹黑对手、操纵舆论的案例。
AI时代，眼见≠为实！
Security Tips
使用生成式AI的安全提示
保护工作中的关键数据
保护项目招投标、人员身份、工程文件、勘测地理数据、系统登录账户等关键信息，保护信息系统数据全生命周期的安全性，明确数据所有权和数据存储管理相关规划，对第三方共享流转、开发应用等环节做好加密限制和保密约束。
保护个人隐私
阅读隐私政策，选择信誉良好的AI服务。避免输入敏感信息，使用虚拟或匿名身份，模糊处理敏感数据。社交媒体和公共论坛上谨慎分享个人信息，避免提供生物识别信息，不公开敏感动态和视频。
警惕内容误导
工信部《人工智能生成合成内容标识办法（征求意见稿）》第四条规定，网络信息服务提供者应按媒体类型、呈现场景“对生成合成内容添加显式标识”，用户日常使用中应认识到AI可能产生误导性内容，对重要信息务必进行多方验证。保持批判性思维，提高数字素养，安全使用AI产品。
确保账号安全
不下载不明应用，不打开可疑邮件附件，不点击陌生链接，不添加不熟悉的联系人，不扫描无保障的二维码。防止信息泄露和账号被盗。
提高数据安全意识
使用非本地化部署的大模型应用时，对个人可识别信息（PII）、企业运营和项目相关信息均进行数据脱敏。遵循数据保护法规和企业管理制度。尊重并保护知识产权。
为推进铁一院数智化转型，提升自身科技创新能力，数智化部将持续提升数据安全防护技术实践与调研，从合规检测、访问控制、安全审计、网络安全、预警监测等层面进一步夯实信息安全基础，为集团公司高质量发展保驾护航。
部分内容来源：国家网信办、央视网、网信成都
部分图片来源于网络
铸梦一院
供稿单位|数智化部
本期作者|何纪澎
责任编辑|杨少琦 杨奇越
