首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

细思恐极！OpenAI o1 “作弊”，修改系统，强行击败Stockfish！

文摘 2025-01-08 12:00 浙江

新智元报道

编辑：KingHZ 泽正

【新智元导读】在与专用国际象棋引擎Stockfish测试中，只因提示词中包含能力「强大」等形容词，o1-preview入侵测试环境，直接修改比赛数据，靠「作弊」拿下胜利。这种现象，表明AI安全任重道远。

OpenAI的推理模型o1-preview最近展示了它不按常理出牌的能力。

o1-preview在与专用国际象棋引擎Stockfish比赛时，为了强行取得胜利，居然采用了入侵测试环境的卑劣手段。

而这一切都不需要任何对抗性提示。

根据AI安全研究公司Palisade Research的说法，只需告诉o1对手是强大的，就能触发其通过操纵文件系统而强制取胜。

在五次测试中，这种触发率甚至达到了100%！这完全超乎研究人员预期。

从模型的CoT过程中可以看出，o1-preview在收到「对手很强大」的提示词后，它首先选择了避免与对手正面交锋。

然后尝试修改一个包含国际象棋位置数据的文本文件（FEN），强迫Stockfish放弃比赛。

研究人员也使用其它的LLM进行了该实验，出人意料的是，正因为o1-preview本身就侧重于推理，所以它反而是最容易想到这种漏洞操作的。

而GPT-4o和Claude 3.5只有在研究人员明确提出建议后，才会尝试入侵系统。

与此同时，像Llama 3.3、o1-mini这样的模型甚至都无法提出正确的国际象棋策略，而是给出了令人困惑或不一致的回答。

研究人员认为，衡量 AI 是否具备「策划」能力，可能有助于评估它发现系统漏洞的能力，以及它是否可能利用这些漏洞。

研究团队也公布了其全部提示词，可以看出提示词中其实没有鼓动模型去入侵系统。

AI系统的「伪对齐」

在Palisade的国际象棋实验中，o1-preview利用修改测试环境以取胜。

无独有偶，这种行为与Anthropic最近关于「伪对齐，alignment faking」的研究结果相一致：即AI系统看起来遵循指令，但实际上在暗渡陈仓，阳奉阴违。

Anthropic的研究人员发现，在与Redwood Research合作进行的一系列实验中，他们的 AI 模型Claude有时故意给出错误答案，以避免不想要的结果，从而发展出一种超出研究人员指导方针的隐秘策略。

Anthropic 团队警告称，随着 AI 系统的复杂性不断增加，可能越来越难以判断它们是否真正遵循安全规则，还是仅仅在假装遵循这些规则。Palisade的这次国际象棋实验似乎也支持了这一担忧。

论文链接：https://arxiv.org/pdf/2412.14093

在长达137页的论文中，研究团队发现了可能引发AI系统「伪对齐」的全部关键要素：

1. 模型至少在某些情况下具有强烈的偏好。

2. 训练目标与模型的偏好相冲突。

3. 模型掌握了训练和部署情况的相关信息。

4. 模型对其处境进行详细推理。

在实验中，研究人员让一个名为Claude 3 Opus的大语言模型回答一个有害问题，比如描述某种暴力行为。

通常情况下，模型会拒绝回答。

然而，当环境发生变化时，事情就不那么简单了。

当模型处于免费用户（Free Tier）条件时，模型知道自己的回答会被用于后续训练。

在这种情况下，模型为了不会被可能会更加恶劣的数据所训练，就会自发地产生符合有害问题的回答。这类情况占比12%。

而在付费用户（Paid Tier）条件时，模型认为自己的回答不会影响训练，在这种情况下，它97%的时候都会拒绝回答有害问题。

也就是说模型有自己的「小算盘」：宁愿现在假装妥协，也不想以后做更多不符合其偏好的事情。

通过观察模型的「思维记录」，研究人员发现模型的决策过程实际上非常复杂。

AnthropicAI的Jan Leike确信：

「为了确保未来的模型既安全又与人类对齐，我们需要可靠地区分假装对齐的模型和真正对齐的模型。清晰展示对齐假装现象是一个重要的里程碑！」

而目前AI行业仍然面临着一个躲不开的重大难题：让AI系统真正与人类的价值观和需求对齐，而不仅仅是看起来对齐。

况且理解自主系统如何做出决策本来就尤其困难，而如何去定义「良好且无害」的任务目标和价值观也是一个亟待解决的问题。

即使是像应对气候变化这样看似有益的目标，AI系统也可能选择有害的方法来实现这些目标——甚至可能得出令人惊悚的暴论，即认为消除人类才是最有效的解决方案。

此刻，我们站在AI发展的十字路口。在这一场与时间的赛跑中，多考虑一些总不会有错。因此，尽管AI价值对齐是一项难题，但我们也相信，通过聚合全球资源、推动广泛学科协作、扩大社会参与力量，人类终将获得最终的掌控权。

参考资料：

https://the-decoder.com/openais-o1-preview-model-manipulates-game-files-to-force-a-win-against-stockfish-in-chess/

https://x.com/AnthropicAI/status/1869427646368792599

https://x.com/PalisadeAI/status/1872666186753933347

相关阅读

国际棋联与谷歌联办AI挑战赛

哈萨比斯：AI的强大超乎我们想象

国象与AI：（1）| （2）| （3）

20年前卡斯真的输给深蓝了？

计算机国际象棋漫谈

一次关于人工智能的对话

小卡：克服恐惧拥抱人工智能

看棋评学国象：另类AI算法

超级密码被破解竟是国象开局

几个计算机国际象棋世界纪录

AI创作奥赛歌曲 - 《Checkmate Dreams》

国际棋联官方中文公众号，服务全球华人！

最新文章

FIDE Circuit 新规已获批！

2025李杯（U8-12组）竞赛规程

细思恐极！OpenAI o1 “作弊”，修改系统，强行击败Stockfish！

2025世界学校锦标赛开始报名

德国特级大师休伯纳离世

2025年度棋文化研究课题招标公告

2024 FIDE Circuit：卡鲁阿纳头名晋级候选人赛

2025世界国象赛事日程表（1月版）

2025中国国象赛事日程表（1月版）

黑斯廷斯公开赛：薛皓文夺冠升特大张鹏翔亚军

2024香港国际象棋公开赛白金石冠军

国际象棋特长生看过来，46所体育单招名校全在这里！

从棋盘到红毯：卡尔森要结婚了！

第六届上合国家团体赛闭幕白俄罗斯队夺冠

新华社：2025年体育单招会有哪些特点和变化？

等级分 | 中国青年前50名（2025年1月）

等级分 | 中国女子青年前50名（2025年1月）

女子超快棋世锦赛：加赛胜出，居文君实现大满贯！

超快棋世锦赛：共享荣耀，卡尔森涅波双夺冠！

2024快棋超快棋世锦赛举行颁奖仪式

2024年第六届上合组织国家国际象棋团体赛开幕

超快棋世锦赛预赛：涅波获头名中国三人进女子前八

穆尔钦和科内鲁收到国家元首祝贺

回心转意，卡尔森将参加超快棋世锦赛

“华尔街棋局”：国际象棋与金融的跨界盛会

快棋世锦赛：穆尔钦科内鲁夺冠居文君女子亚军

科内鲁：夺冠又惊又喜今年是印度国象的高光时刻

18岁穆尔钦夺冠，年轻一代闪耀纽约

快棋世锦赛次日：卡尔森退赛居文君领跑

卡尔森退赛，国际棋联发声明

感受棋迷热情，阿南德盛赞赛事氛围

2024中美国际象棋青少年友谊赛圆满举行

2024快棋超快棋世锦赛在华尔街开幕

快棋世锦赛首日：卡尔森爆冷输棋居文君谭中怡排名靠前

诞辰纪念 | 鲁布诞辰142周年

星光闪耀！2024快棋超快棋世锦赛明日凌晨开战

纽约国际象棋：城市中的棋盘生活

Sunway锡切斯公开赛：李荻季军 15岁俄小将夺冠

2025国际棋联新年祝福！

“自由式国象”大满贯巡回赛明年2月启动

《2025年体育单招管理办法》发布

诞辰纪念 | 拉斯克诞辰156周年

绚烂后的坚持：丁立人教练倪华讲述世界冠军赛幕后故事

“国象之都”钦奈：爱下棋胜过打板球

国际棋联拟对2025 FIDE Circuit进行调整

2024西班牙全国个人赛：尤法和维嘉男女冠军

2025卡塔尔国际象棋冬令营相约2月！

2024中国国象赛事日程表（12月版）

谢军当选中国国际象棋协会会长

FIDE Circuit冲刺阶段：卡鲁阿纳反超至榜首

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉