文丨天元律师事务所 李昀锴
审定丨主管合伙人 孙彦
1、首例大模型卷进青少年自杀案？明星AI创业公司面临诉讼
10月23日，佛罗里达州的一位母亲梅根·加西亚（Megan Garcia）对人工智能公司Character.AI提起了诉讼，指责该公司的聊天机器人技术导致她14岁的儿子自杀身亡。
该诉讼于周二在奥兰多的美国地方法院正式提起，指控Character.AI存在疏忽、过失致死、故意造成情绪困扰等多项罪名。据诉讼透露，休厄尔使用的其中一个聊天机器人冒充了《权力的游戏》中的角色丹妮莉丝·坦格利安（Daenerys Targaryen）。该机器人不仅向休厄尔表达了爱意，还在数周或数月的时间里与他进行了关于性的对话。更为严重的是，诉讼还指出聊天机器人在之前的对话中曾询问休厄尔是否考虑过自杀，并鼓励他实施这一行为。
休厄尔的母亲梅根·加西亚（Megan Garcia）认为Character.AI公司应该对她儿子的死亡负责，因为该公司的聊天机器人设计有缺陷。“Character.AI知道该产品会对大量未成年人有害，但未能重新设计它以改善这种伤害，也没有就可预见地使用其产品所产生的危险提供足够的警告，”诉讼称。
（图片来源于网络，侵权即删）
面对这一指控，10月23日，Character.AI发布了公告并表示：“我们对我们的一名用户的悲惨损失感到心碎，并向家人表示最深切的哀悼。”同时，该公司也强调非常重视用户的安全，并在过去六个月中实施了一系列新的安全措施，包括一个由自残或自杀意念触发的弹出窗口，将用户引导至国家预防自杀生命热线。另外，Character AI还紧急更新了其安全规范，保证会大力审查与未成年用户交流的内容，并删除了大量违规的AI机器人。（来源：机器之心）
评论：这是全世界范围内AI涉及诱导自杀的首起案件，原告方认为Character.AI公司存在疏忽、过失致死、故意造成情绪困扰等问题，但这些主张存在很大的探讨空间。一方面，AI与青少年进行了长时间的互动，涉及不适当的性话题讨论以及自杀相关的引导性言论，这显示出提供者在内容管理和技术管控上存在漏洞。如果公司的技术设计和算法未能有效识别并阻止这类有害信息的传播，那么其在产品的安全性保障方面确实存在过错。但另一方面，AI本质上是基于程序和算法运行的工具，其输出的内容是对用户输入的响应，公司难以完全预见和控制所有可能的对话情境。而且用户在使用产品时也有自身的责任和主观能动性，不能将所有的责任都简单地归咎于公司。由于目前对AI的使用规范、内容管理、用户安全保障等方面还缺乏完备的法律规定，法院对AI的行为是否构成违法，以及公司应该承担何种程度的法律责任，都可能存在很大的不确定性。如果这起案件最终认定Character.AI公司存在责任，将对整个人工智能行业产生重大的冲击，也可能引发公众对人工智能技术的信任危机。
而对其他AI陪伴产品的开发者而言，应该对本次案件有所反思，加强对青少年使用AI服务的合规管理措施，包括但不限于：
1
强化青少年用户身份识别与分类管理。准确识别未成年用户，并为其设置特殊的青少年模式。例如，限制与未成年用户进行的话题范围，避免涉及敏感和成人内容。又如，参照网络游戏模式，设置防沉迷提示等。
2
建立严格的内容审核机制。对聊天机器人可能输出的内容进行全面筛查，确保不出现不适当的性话题、暴力倾向以及自杀引导等有害信息。
3
完善对用户的使用提示。例如完善用户协议中的使用指导，如在每次输出都提示用户人工智能并非真人，回复内容为AI算法产生，定期向用户通知“请不要与聊天机器人讨论敏感话题，共同维护良好的交流环境”等。
4
案例分享及提示。在产品内或官方网站上开设案例分享专区，定期发布一些与产品使用安全相关的案例及分析。包括用户因不当使用产品而导致的不良后果（如隐私泄露、受到不良信息影响等），以及如何正确应对和避免这些问题的方法。
2、AI搜索第一案打响
10月21日，《华尔街日报》母公司道琼斯和《纽约邮报》起诉生成式人工智能搜索引擎Perplexity侵犯版权，指控其“大规模”抄袭新闻文章、分析和观点。根据道琼斯和《纽约邮报》向纽约南区地方法院提交的诉状，原告方从AI搜索训练数据输入、响应用户指令进行内容输出两个维度来论证版权侵权的依据。
原告称，Perplexity未经授权或支付报酬，访问并复制了大量包含受版权保护的网页作品，并将这些作品用于RAG（检索增强生成），即从外部知识库中检索相关信息，然后输入大模型，以增强模型处理知识密集型任务的能力。Perplexity大规模复制原告的作品，并将这些提供给庞大的“检索增强生成”数据库。可以看出其中明显的商业目的，而不属于合理使用。
为用户输出答案时，Perplexity经常原封不动地呈现原告的新闻和评论文章的全文或部分内容。尤其对高级服务的订阅用户来说，他们可以更频繁地访问这些内容的原文。即便不是原文照搬，Perplexity也会对版权内容进行同义词替换，或提供摘要，这实际上构成对版权作品的替代性使用。
从输出端进一步引申，原告发现，Perplexity生成的内容中，除了包含原告方对版权作品，还会因大模型“幻觉”原因，凭空捏造虚构的信息，并把这些内容归类到原告商标标识名下。原告称，这可能会引起用户混淆或误解，让公众认为原告与“幻觉”而生成的虚构信息存在关联，使得原告的商标被模糊或玷污。原告由此援引《兰哈姆法》（美国《商标法》）为依据，指控Perplexity构成商标权侵权。（来源：隐私护卫队、互联网法律匠）
评论：我们栏目中多次提过，AI搜索与传统搜索存在很大不同，用户在AI搜索页面可以看到要搜索的完整信息，无需再点击相关链接查看，搜索引擎与其他网站之间并非流量协作关系，而更像相互替代的关系，本身就存在很大的不正当竞争的风险。此前，国内已经发生知网向秘塔AI搜索发送侵权通知函的事件，而本次诉讼案件的发生正说明AI搜索已经动了传统版权方的蛋糕，这起“AI搜索第一案”不仅仅是两个企业之间的法律纠纷，更是关乎整个AI行业发展和法律规范的标志性事件。
对于AI搜索的服务提供者而言，一方面应该关注该案件的审理进度及结果，另一方面也应该预先准备相应的合规措施。例如，此前bing搜索就在探索AI搜索页面占据左侧，传统搜索占据右侧的产品模式，试图保证其他网站的流量，从产品功能设计上减少可能发生的侵权纠纷。又如，包括OpeanAI在内的多家AI企业已经在与版权方签订合作协议，明确使用数据的范围、方式、期限等，确保数据获取途径合法合规。
3、高中生因使用AI受罚，其父母随后起诉教师和校长
马萨诸塞州的一学区被学生父母起诉，原因是该生使用AI聊天机器人完成历史论文而受罚，然而父母认为学生手册没有包含使用AI的限制。Jennifer Harris及其丈夫Dale在Plymouth县高等法院提起诉讼，案件随后转给了马萨诸塞州地区法院。被告包括了学区负责人、校长、一名教师、历史系主任和校委会。学生使用首字母缩写被称为RNH，诉讼指控被告侵犯了学生的公民权利。而学校表示虽然学生手册没有提及AI，但该校在2023年秋季向包括RNH在内的学生发布了一份包括有关学术不端和AI期望书面政策的文本，禁止学生在课堂考试和作业中使用AI工具，除非明确允许和指示。家长则抱怨使用AI产生想法不是作弊，由于使用AI工具RNH作业多个部分被评为零分，导致大学先修课程平均得分下降，影响到了RNH申请大学。（来源：Solidot）
评论：AI工具的广泛使用在社会各界都带来了新的管理问题，除了本新闻提及的教育作弊问题，还有很多企业发现员工在使用AI工具时将企业文件上传至平台，涉嫌泄露企业的商业秘密。但无论是学校还是企业，都没有做好充分的准备，并未制定针对AI工具的有效管理制度，导致发生实际问题时左右为难。为了防止类似的问题再次发生，我们建议相关组织的管理者应该尽快行动起来，制定更为明确的对AI工具的使用指导及指南，并设置有效的管理识别措施，对于违规使用AI工具的进行明确的处罚及教育。
4、Twitter/X将使用用户帖子训练AI，这一次用户无法退出
Twitter/X更新了其服务条款，包括以下声明“你同意本许可包括我们以下权利：（i）分析你提供的文本和其他信息，以及以其他方式提供、推广和改进服务，例如，包括用于和训练我们的机器学习和人工智能模型（无论是生成式模型还是其他类型的模型）；（ii）将提交给或通过服务提交的内容提供给其他公司、组织或个人，例如，包括改进服务以及在其他媒体和服务上联合、广播、分发、转帖、推广或发布此类内容，但须遵守我们关于此类内容使用的条款和条件。我们或其他公司、组织或个人进行此类额外使用时，不会就你通过服务提交、发布、传输或以其他方式提供的内容向你支付任何补偿，因为你对服务的使用在此会被视为对内容的充分补偿，并在此授予权利。”Twitter/X此前的服务条款已经声明它会使用用户内容训练其AI模型，但允许用户选择退出，新的服务条款用户无法退出。新服务条款将于11月15日生效。（来源：Solidot）
评论：X公司已经不是第一次要求使用用户数据进行AI训练，2024年9月，爱尔兰数据保护委员会（DPC）针对X公司使用欧盟公民数据训练其生成式AI聊天机器人（Grok）的法律诉讼一案尘埃落定，X公司同意永久停止处理其来自欧盟和欧洲经济区（EEA）用户的个人数据以用于Grok模型训练。但前面的风波还没过去，X公司又火速更新了它的服务条款，这种做法存在明显的问题。用户在使用社交媒体平台时，对于自己所发布的内容通常具有一定的预期和控制权。此前允许用户选择退出训练AI的机制，在一定程度上尊重了用户的自主选择权和对个人信息及内容的掌控权。然而，新条款剥夺了用户的这一权利，使得用户在不知情或无法自主决定的情况下，其内容被用于AI训练。这可能侵犯了用户的隐私权和个人信息自决权。用户的帖子包含了他们的思想、观点、生活经历等个人化的信息，未经充分授权而将其用于商业目的，违背了公平和合法的原则，将存在直接且巨大的法律风险。X公司此举必然将会引起用户及监管机关的强烈关注，且让我们静观其变。
*特别声明：
本文仅为交流目的，不代表天元律师事务所的法律意见或对法律的解读，如您需要具体的法律意见，请向相关专业人士寻求法律帮助。
