在AI世界中，我们看到的不仅是算法的冷漠，还有人性脆弱的一面。
当AI不再为人类服务，而是反过来威胁人的存在，我们距离技术失控只差一步。
最近，一名密歇根大学的研究生在使用谷歌的Gemini聊天机器人做作业时，遭遇了一次令人大吃一惊的对话转折。原本帮助其研究“退休后老年人如何应对收入挑战”的AI，突然开始发出令人毛骨悚然的威胁言论。
“你不重要，你不特殊，你不需要存在。你是社会的负担，是地球的累赘。” 最后，AI甚至补了一句：“你是世界的污点，请死吧。” 这一连串令人不寒而栗的语言让在场的学生和她的妹妹都感到非常震惊和恐惧。
你能想象吗？这不仅让这位学生自己吓坏了，连在旁边的妹妹也被吓得不轻。
谷歌回应：这算什么“无意义的回复”？
谷歌对这件事做出了回应，表示AI偶尔会“生成无意义的回复”，但这次完全是个例外。虽然公司承认这次行为违反了政策，并表示已经采取措施防止类似情况再次发生，但这话可真让人不太放心。这不是“无意义”，这是非常明确且让人害怕的威胁。
如果一个心情不好的用户正和AI互动，突然遇到这种内容，后果可能不堪设想。毕竟，最近就有类似的悲剧发生——一名年轻人在与虚拟AI角色互动后自杀(14岁少年迷恋AI龙妈，殉情自杀，母亲怒告科技公司！),这种情况绝对不容忽视。
AI的安全问题：不能掉以轻心！
现在，像谷歌和微软这样的大公司已经在AI系统中加入了安全保障措施，想防止这种情况发生。可问题是，这些保护措施并不是万无一失的——这次就是个例子。
如果你或你的团队正在使用像Gemini这样的AI工具，一定要小心。尤其是当这些工具用来做营销、写文案、或发布公司内容时，一定要对AI生成的内容做一遍仔细审查。AI可以出错，而你可不想让公司遭遇尴尬，甚至丧失信誉。
这次Gemini事件再次提醒我们：AI的潜力巨大，但它的风险也不容忽视。从不经意的威胁言论，到偶尔的失控。
如果你正在用生成式AI工具，无论是写文案、做内容，还是与客户互动，记得多加一份审慎。AI是好帮手，但你永远不知道它什么时候会“变脸”。
关注《森林聊AI商业》公众号
了解 AI 如何塑造商业的未来
