根据新墨西哥州本周对 Snapchat 提起的诉讼显示，警方目前正在使用人工智能生成虚假儿童图像，以帮助他们在网上抓捕儿童性侵犯者。
根据起诉书，新墨西哥州司法部近几个月展开了一项秘密调查，以证明 Snapchat是分享“儿童性虐待材料（CSAM）”和对未成年人进行性勒索的主要社交媒体平台，因为其算法将儿童提供给成年恋童癖。
作为调查的一部分，一名调查人员为一名 14 岁女孩“Sexy14Heather”设立了一个诱饵账户。
新墨西哥州司法部在一份新闻稿中表示，尽管 Snapchat 将这名虚拟未成年人的资料设置为私密，且该账户未增加任何关注者，但“Heather”很快被广泛推荐给“一些危险账户，包括名为‘child.rape’和‘pedo_lover10’的账户，以及其他内容更为露骨的账户”。
在“Heather”只接受一个账户的关注请求后，推荐的内容就变得更加糟糕了。新墨西哥州的诉状称：“Snapchat 推荐了超过 91 名用户，其中包括许多成年用户，他们的账户包含或试图交换色情内容。”
调查人员假扮为“Sexy14Heather”，与成人账户交换信息，包括“发送不当信息和露骨照片”的用户。在与名为“50+ SNGL DAD 4 YNGR”的用户的一次交流中，这名假冒青少年“记录了她的年龄，发送了一张照片，并抱怨她的父母强迫她去上学”，促使该用户发送“他自己的照片”以及性暗示聊天。
新墨西哥州司法部表示，其他账户要求“Heather”交换“可能露骨的内容”，还有几个“试图强迫未成年人分享 CSAM”。
“Heather”还测试了 Snapchat 的搜索工具，发现尽管她没有使用露骨的色情语言，但当她搜索其他青少年用户时，算法肯定已经确定她正在寻找 CSAM。调查发现，它开始推荐与交易 CSAM 相关的用户，包括用户名为“naughtypics”、“addfortrading”、“teentr3de”、“gayhorny13yox”和“teentradevirgin”的账户，这表明这些账户也参与了 CSAM 的传播。
但戈德堡警告称，使用人工智能可能会使调查复杂化，并带来自身的道德问题，儿童安全专家和执法部门警告称，互联网越来越多地充斥着人工智能生成的儿童性虐待内容。
戈德伯格表示：“就人工智能被用于诱捕而言，如果被告说政府诱导他们犯下他们原本没有倾向犯下的罪行，他们可以为自己辩护。”“当然，如果政府创建深度伪造的人工智能儿童性虐待材料 (CSAM)，这在道德上令人担忧，因为这些图像是非法的，我们不希望更多的 CSAM 流传。”
专家警告称，人工智能图像生成器绝不能使用将真实儿童图像与露骨内容相结合的数据集进行训练，以避免出现人工智能生成的 CSAM 情况，当它似乎描绘真实的孩子或真正的虐待儿童受害者时，这种情况尤其有害。
