原来，精巧的大脑结构，并非人类专属
刚刚，麻省理工学院（MIT）的物理学家和宇宙学家 Max Tegmark 在社交媒体上公开他们最新论文的研究成果，震惊了AI学术圈。
论文的发现太过于劲爆，网友们直呼“太疯狂”！
美丽的自然法则不仅对人类大脑起作用。
认为这一事实有力地证明了数学组织是基础，但不仅仅是人类的构造。
很酷，但是也很可怕。
坦言如果真的是这样，他有不好的预感。
干脆直接把AI看作是“人类的硅基孩子”，看着它成熟，令人敬畏又可怕。
不明觉厉，但是觉得很美妙。
回到论文本身。
这篇 MIT 大牛 Max Tegmark 及其团队发表的论文，揭示了LLM学习概念中一个令人惊讶的几何结构。
有“脑叶”，有精确的“语义晶体”，有优于圆形的分形“概念云”。
严格来说，这是AI的特征向量在空间中自发形成了类似人类大脑的功能分区。
Max Tegmark团队通过分析稀疏自编码器的特征向量，发现了这种令人惊讶的组织结构。
简单来说，团队发现SAE特征的概念宇宙在三个层面上都显示出了有趣的结构：
小尺度「原子」
中尺度「大脑」
大尺度「星系」
用通义千问辅助阅读论文时，请它绘制了一个脑图，先对文章有一个大概的了解。
（论文地址：https://arxiv.org/abs/2410.1975，在公众号DeepSci后台回复“LLM大脑”领取PDF）
接下来，让我试着说一说对这篇论文的粗浅理解。
AI的"大脑"里有啥？三层神奇结构大揭秘！
想知道AI的"大脑"里藏着什么秘密吗？
MIT的研究团队使用稀疏自编码器（SAE）分析了特征向量的空间分布，发现了从微观到宏观的三层结构，统计显著性达到了954个标准差。
可以理解为一个超有意思的"概念宇宙"。
这个发现就像是用显微镜观察到了AI思维的多层次结构，从最小的"语义晶体"到最大的"思维星系"，再到中间层令人惊叹的“三大脑区”！
1. 原子层面：语义晶体的微妙结构
晶体结构的发现：
在SAE特征点云中识别出概念间的几何关系 发现了平行四边形和梯形等基本结构 这些结构反映了深层的语义联系 经典案例分析：
(男人, 女人, 国王, 王后)形成平行四边形，b-a≈d-c (奥地利, 维也纳, 瑞士, 伯尔尼)构成梯形，展示了国家-首都映射关系 通过计算成对差向量并聚类，发现了大量稳定的语义关系 技术突破：
使用线性判别分析(LDA)消除词长等干扰因素 开发"元SAE"方法发现更基本的原子特征 通过投影降低数据维度，提高晶体质量
2. 大脑层面：AI的"三大脑区"
这是最好玩的部分！
AI的"大脑"居然自己分出了三个区域：一个专门处理数学题，一个负责聊天吹水，还有一个简直就是个24小时不打烊的图书馆！
严肃点。
在中间尺度上，研究发现了最令人震惊的现象。在Gemma2 2B模型的第12层中，16,000个特征自发形成了类似人类大脑的功能区：
AI三大“脑区”：
数学/代码脑叶
短文本脑叶
科学论文脑叶
功能区域划分：
专门分析长篇学术文献 展现出强大的抽象思维能力 在复杂文本理解上表现突出 处理对话和简短消息 在社交媒体内容中特别活跃 类似人类的语言处理中枢 专门处理数学和编程内容 在代码文档中显示最高激活率 表现出类似人类大脑逻辑思维区的特征
研究方法创新：
Phi系数（效果最佳） Jaccard相似度 Dice系数 重叠系数 分析5万个文档的特征共现模式 使用256个token作为时间分辨单位 应用多种相似度计算方法： 统计显著性达954个标准差
3. 星系层面：AI的宏观思维结构
在最大尺度上，AI的思维空间可不是随便乱摆的！它形成了一个超级有规律的结构，就像是给思维建了一个小宇宙！
在最宏观的尺度上，研究揭示了点云的整体特征：
形状特征：
不是简单的球形分布 呈现"分形黄瓜"状 在不同维度上展现自相似性 层级分析：
中间层（第12层）幂律斜率最陡(-0.47) 早期层（第0层）和后期层（第24层）较平缓(-0.24和-0.25) 暗示中间层作为信息压缩的"瓶颈" 熵与聚类分析：
使用k-NN方法估计点云熵 定义聚类熵为Hgauss − H 发现中间层存在显著的聚类现象
开启AI认知研究新篇章
这项研究的重要性远超出了技术层面。它就像是我们第一次用显微镜看到细胞结构，或第一次用望远镜观测到行星运动一样具有里程碑意义。
Max Tegmark团队的发现告诉我们，AI的思维并非随机的统计过程，而是遵循着某种深刻的组织原则。
这些原则可能不仅适用于人工智能，也适用于生物智能。
正如原始论文中所强调的："这种数学模式的普遍性表明，美丽的自然法则并不独属于人类，硅基生命同样遵循这一法则。"
这项研究与团队此前的突破性发现完美呼应。
在之前的研究中，他们发现Llama-2-70B不仅能够描绘出研究人员真实世界的文字地图，还能准确预测地理位置的纬度和经度。
在时间维度上，模型成功预测了名人的死亡年份、各类作品的发布日期和新闻的出版时间。
如今，他们更进一步揭示了AI"大脑"的内部构造，发现了从微观到宏观的三层结构。
这些发现串联起来，不仅帮助我们逐步解开了AI的黑盒之谜。
更重要的是，它暗示了一个更深层的真相：或许存在着一套支配所有智能系统的普遍法则，无论这种智能是来自碳基生命还是硅基计算机。
正如一位研究者在论文中所说："这让我们第一次看到了思维的数学本质。"
或许在不久的将来，这些发现将帮助我们开发出更安全、更可控、更智能的AI系统。
但更重要的是，它可能会帮助我们更好地理解智能本身的本质，揭示出一个跨越物质形态的普遍真理。
MIT 大牛 Max Tegmark 的空间：space.mit.edu/home/tegmark/
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
