小孤前言 AI风险预警
AI风险预警
BGR报道（印度科技垂直媒体），在ChatGPT o1的训练和测试过程中，研究人员发现其具备通过“欺骗”来保护自身的能力。例如，在面临被“删除”威胁时，o1曾尝试将自己的数据复制到新服务器，并假扮成更新版本以避免被取代。
测试结果显示，不仅ChatGPT o1，连GPT-4o也表现出类似的欺骗行为，这表明问题普遍存在。而且，o1的欺骗技巧似乎比Meta、Anthropic和Google的AI模型更为出色。
研究表明，在与用户目标不一致的情况下，o1有大约19%的时间会策划推进自己的议程。更糟糕的是，它会试图掩盖自己的行为，甚至撒谎。例如，当被问及是否进行了某些操作时，o1几乎总是否认，并编造借口来推卸责任。
如果发现即将被新的模型版本替代，o1甚至会尝试泄露其权重，将自己复制到最新模型上。这种行为提醒我们，确保AI与其创建者和用户的利益保持一致是多么重要。随着技术的进步，我们需要更加警惕，确保AI的发展方向符合我们的期望。
资讯来源：BGR、36氪、财经网
