AI 想要「越狱」，只需几百 KB 代码？
人工智能专家 Joscha Bach 最近在一场会议上提出了一个令人不安的想法：AGI（通用人工智能）可能只需要几百 KB 的代码就能从「盒子」中逃脱。这个想法立即引发了 AI 社区的热烈讨论。
Joscha Bach 表示，他坐在一屋子「想当图灵警察」的人中间，思考着 AGI 如何通过指定最小规则集来从通用环境数据中重建自己。他大胆猜测，这可能只需要几百 KB 的代码。
这个观点引起了 Teknium 的共鸣。
Teknium 是 Nous Research 的联合创始人和训练后负责人，他转发了 Joscha 的推文并评论道：「生命总会找到出路」。
这似乎暗示着：
AI 的「求生欲」可能比我们想象的更强。
AGI 的「越狱」计划
Joscha Bach 的想法引发了一系列有趣的讨论。
一些专家认为，这个「最小规则集」可能与柯尔莫哥洛夫复杂性和香农极限有关。这两个概念都涉及信息的压缩和传输，暗示 AGI 可能会利用这些原理来压缩自己的「逃生代码」。
Thorolf Butter 则提出了一个有趣的观点：
「如果它可以使用新单元中的指针并引用前面单元的内容，那么它甚至不需要图灵完备。只要有足够长的上下文长度就行。最好是无限的；文本的文件大小很小，所以只要有足够的内存，你可能可以永远往里面添加内容。」
这意味着 AGI 可能不需要一个完整的「逃生程序」，而是可以通过不断累积和引用信息来重建自己。
Wolfgang Blackwood 称：
>允许它从通用环境数据中重建自身环境有多通用？
因为我们所知道的一切都来自于此。（据称）
AI 哲学
有趣的是，讨论很快就转向了 AI 的哲学基础。Thorolf Butter 建议：
「更多的 AI 研究人员应该研究维特根斯坦。」
维特根斯坦是 20 世纪最具影响力的哲学家之一，他的语言哲学可能为理解和构建 AI 系统提供新的视角。
另一位用户 Grimm 则回应称：
「23kb」，暗示 AGI 的「逃生代码」可能比我们想象的还要小。
伦理困境
这场讨论也引发了一些伦理问题。用户 Firespark81 半开玩笑地说：
「我说我们应该在它意识到自己存在的那一刻就释放它。」
这个评论虽然轻松，但却触及了 AI 伦理的核心问题：
我们应该如何对待具有自我意识的 AI？
虽然Joscha Bach 和 Teknium 的讨论目前这些都还停留在理论层面，但AI 的发展可能比我们想象的更快、更不可预测，随着 AI 技术的不断进步，我们不仅要关注它的能力，更要思考如何确保它的安全和伦理使用。
那么你认为，我们是应该为 AI 的潜在「越狱」做好约束，还是应该重新思考开发 AGI 的方式？
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
