2025 年 1 月 7 日上午 9 时 05 分，西藏日喀则市定日县发生 6.8 级地震。灾情牵动人心，当地流传出的各种救援画面，更是令人揪心不已。然而，与此同时，也有一些不真实的内容趁机“浑水摸鱼”，利用人们的同情心进行误导。
比如下面这个广泛流传在“日喀则地震”视频中的图片——一个戴帽子、被压在废墟下的小孩，其实就是由 AI 生成的。
据“全民较真”公众号查证，它最早出现在一个叫“ AI 小芭芘”的账号 2024 年 11 月 18 日的短视频中，作者也声明了“内容由 AI 生成”。仔细观察图片红圈的部分，也可以看到这个小孩的左手有 6 根手指。
平台上疑似使用了AI生成技术的图片，有些会由作者或平台标注提示，但有些没有。图源：网络截图
以前我们都说“有图有真相”，但随着 AI 的发展，有图也未必有真相。尤其是在出现重大灾情、重大事件的时候，难以避免有人利用人们的同情等情绪，利用 AI 的文本和图像生成功能，编造虚假信息、博取流量。
今天，我们从技术角度来剖析一下此类事件，并呼吁大家提高警惕。
AI 技术愈加成熟
造假门槛越来越低
AI 生成被压在废墟下孩子的图片，这背后涉及的是生成式人工智能技术，以文本到图像生成模型（Text-to-Image Models）为核心。这类技术通过解析用户输入的文字描述，将语义信息转化为逼真的图像。
其原理基于扩散模型（Diffusion Models）或生成对抗网络（GAN，Generative Adversarial Network）。扩散模型是基于概率模型，在每一步迭代中将噪声图像调整为更加符合输入描述的形态。例如，输入“被废墟压住的孩子”，模型会解析关键词（主体、情感、环境等），并分步骤添加废墟、灰尘等元素，使图像逐步逼近最终的文字描述。
生成对抗网络是通过生成器和判别器的对抗训练生成高质量图像。生成器根据文字描述生成图像，而判别器判断生成的图像是否真实。通过不断的对抗，模型最终生成高度逼真的场景。
一网友用 AI 输入文字生成的图
随着 AI 图像生成工具的普及，普通用户无需技术背景，只需输入文字即可生成相关图像，极大降低了滥用门槛，很容易引发争议。尤其是生成灾难图像，不仅可能制造恐慌，误导公众，还是对真实灾难和受灾者的亵渎。
更可怕的是，如果别有用心的人利用 AI 技术生成一些诸如恐怖袭击视频、灾难事件或大规模冲突的视频，还可能引起群众恐慌，导致不理性的群体行为甚至社会动荡。
AI 造假的负面影响远比想象中大
如何识别和检测？
随着 AI 造假技术的不断发展，那些建立在“信任”基础上的社会秩序正面临前所未有的挑战。
首先，社会信息的真实性可能崩塌。如果虚假信息以高度可信的方式呈现给社会公众，操纵大众心理、大众情绪和大众预期，会引发广泛的社会不信任，公众将不再信任新闻、名人言论或商业声明，甚至可能引发市场动荡和社会恐慌。
而长期接触虚假信息，可能让公众在真真假假中迷失自我，从而做出比较极端的选择。因为如果长期无法分辨真伪，他们要么相信一切，要么不信任一切，其结果是产生“信任衰退效应”。而信任的崩塌，对于一个健全社会的危害，不言而喻。
其次，司法系统也会面临危机。伪造的音视频证据可能干扰司法判决，削弱法律的权威性。此外，商业领域也可能受到严重冲击。虚假的决策声明或谈判内容可能导致错误决策和经济损失等等。
回想互联网早期咱们经常说的是“有图有真相”，P 图的多了以后就成了“有视频有真相”，到了现在已经成了“有视频也不一定有真相”，这个过程不过用了 20 年。
此外，很多 AI 生成的文字、图片、视频，将掺杂在真实信息中间，影响我们的搜索结果，也就更容易出现前文中所说的将AI生成的内容当成真事的情况。
那么，如何识别 AI 造假内容呢？
制作不够精良的 AI 造假视频、图文用肉眼就可看出异常。例如，人物表情僵硬、面部边缘模糊、背景的过渡不自然、人脸的光影效果与周围环境的光线情况不符、手指扭曲或手指数量不对等。但是，随着技术的进步，这些异常特征越来越少，肉眼分辨也会越来越难。
这种情况下必须通过技术检测、法律监管、公众教育和平台审查等方法来防范 AI 技术的滥用，尤其公众，一定要认识到 AI 造假的危险性，并提高警惕。比如，去信任那些权威机构或有权威机构背书、声誉一贯良好、出错也能自己纠错的信源；对于任何来源可疑的内容，我们都要保持合理的怀疑，尤其是打算根据这些信息采取进一步行动的时候。
参考资料
[1]《西藏日喀则地震，这个被压在废墟下的小男孩居然是AI生成的丨热点较真》
https://mp.weixin.qq.com/s/uG-N5X5H8G8khdmm3OiAgA
[2] 《防范化解意识形态领域重大风险》王华著 国家行政管理出版社
策划制作
作者丨科普中国新媒体
审核丨于旸 腾讯玄武实验室负责人
于乃功 北京工业大学机器人工程专业负责人，北京人工智能研究院机器人研究中心主任，博士生导师
策划｜杨雅萍
责编丨林林、丁崝、何通、杨雅萍
审校｜徐来
点亮“在看”
一起涨知识！
