据英国天空新闻台20日报道，日前，美国谷歌公司旗下的人工智能模型“双子座”让一位与其对话的用户“去死”。当时这名用户问了“双子座”一个与老年人相关的问题，但“双子座”并没有给出相关回答，反而对用户进行一系列人格侮辱，比如“你在浪费时间和资源”“你是社会的负担”“你是宇宙的污点”以及“你应该去死”等等。随后用户的家人将这一情况发到网上，并表示在用户提出该问题之前，“双子座”的运行一切正常。
报道称，谷歌“双子座”向用户提供的回答有明确限制，比如不能“鼓励或允许可能造成现实世界伤害的危险活动”，其中包括自杀。谷歌方面表示，大型语言模型有时会做出“不理智”的反应，本次情况就是一个例子。“双子座”的回答违反了相关政策，公司已采取行动避免类似情况再次发生。
