雅知荟报 | 前沿学科交叉热点分享-投稿开启

雅知荟报，由新雅书院科协学术部发起，旨在鼓励大家分享在阅读各学科论文、科研报告时的“灵光一闪”，构建一个前沿分享，跨学科交流的平台。

如果你是准备尝试或者初入科研的小白，我们希望提供一个契机，从这里开始尝试探索学术志趣，分享你的兴趣和所得，记录一步步深入探索的印记；如果你已经进入科研生活，我们希望提供一个分享日常科研中“感觉这篇论文的工作真有意思”瞬间的平台，一个促进学科前沿交流的平台。

我们希望雅知荟报能成为书院里跨学科畅聊氛围的载体之一。无论是前沿热点、深刻的理论探讨，还是你脑海中突然闪现的灵感，都可以在这里与大家一同分享。

发送至：

sby24@mails.tsinghua.edu.cn

扫描下方二维码，加入微信投稿群，畅聊灵感与思维。

点击问卷链接（或扫描问卷二维码），畅所欲言，你的想法将以匿名/实名的方式参与讨论。

https://www.wjx.cn/vm/rrpZnbg.aspx

从大语言模型中提取概念特征

论文标题

稀疏自编码器的规模律与评估

Scaling and Evaluating Sparse Autoencoders

论文网址

https://arxiv.org/abs/2406.04093

分享人

景亿

简介

这是OpenAI于今年6月发表的一项工作，通过在模型的激活模式的提取概念的方法尝试对大语言模型进行理解和解释。特定语境下，概念在自然语言中的表征是稀疏的，而语言模型内的神经元会以密集、不可预测的方式被激活。这意味着每个神经元在每次激活过程中都同时表征着许多概念。这些概念的表征在特征空间中是“重叠”的而不是正交的 ⁱ 。

稀疏自编码器（SAE）是一种无监督的弱字典学习，通过对神经元的稀疏激活来提取潜在特征。具体到语言模型中，将瓶颈层的激活状态（GPT-2、GPT-4的残差流）输入到SAE中，类似于人脑的稀疏编码，SAE通过控制激活的稀疏性，仅保留对输入数据最敏感的神经元，从而提取出最重要的特征。

图1  稀疏自编码器从密集的激活中提取稀疏特征

在SAE的训练中，过高的稀疏性会导致还原精度的降低和“死神经元”的出现，过低的稀疏性会导致特征可解释性的下降。作者使用了topK的训练方法，在每次前向传播中只激活k个最大的神经元，并加入辅助损失函数减少“死神经元”。这样的训练方法下，SAE的性能呈现出显著的规模律：通过对稀疏性参数K的调整，模型规模越大，对特征的提取性能越好。

作者训练了拥有1600万个潜在节点的稀疏自编码器从GPT-4的残差激活流中提取特征，在下游任务中表现优异。OpenAI展示了部分从GPT-4中提取到的特征，包括“人类缺陷”的概念特征、“引号”的标点特征和“反问”的句式特征等 ⁱⁱ 。

这篇文章的探索仍然存在很多局限性。大部分提取出的特征仍然难以解释，这使我们想起开头提到的概念“重叠”，如何在模糊的激活模式中将“重叠”的概念分解开，是一直被探讨的问题。与此同时，1600万个节点远远不足以和大语言模型中所有的概念特征一一对应，后者的数量预计有数十亿至数百亿个。这一客观条件的限制也潜在地导致了提取出的概念在特征空间的折叠。进一步扩大模型规模也许是解决问题的有效路径之一。

这篇文章为我们在黑盒状态下理解与解释大语言模型的行为提供了一条可能的路径。Anthropic的可解释性团队在这一领域做出了很多奠基性的工作，在最近的一篇文章中，他们从claude 3模型里提取了数百万特征 ⁱⁱⁱ 。这一类工作为大模型的可解释性和安全性提供了更多的视角与思考。

[i] 关于概念重叠可以参考文章：

https://transformer-circuits.pub/2022/toy_model/index.html 

[ii] 提取的部分特征展示网址：https://openaipublic.blob.core.windows.net/sparse-autoencoder/sae-viewer/index.html 

[iii] 文章链接：

https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html 

高性能智能光计算芯片

论文标题

大规模光子芯片“太极”赋能通用人工智能

Large-scale photonic chiplet Taichi empowers 160-TOPS/W artificial general intelligence

论文网址

https://www.science.org/doi/10.1126/science.adl1203

分享人

彭廉皓

简介

通用人工智能的快速发展对下一代计算的算力和能效提出了更高的要求，而智能光计算作为近年来新兴的计算模态，在后摩尔时代展现出解决这一难题的潜力。但目前的光子集成电路架构，尤其是光学神经网络（ONN）的计算能力和规模都严重受限。为了支持现代AGI需要的大规模计算，清华大学的研究团队突破了传统的光子集成电路架构，研发了一种分布式衍射-干涉混合光子计算架构——智能光计算芯片“太极”，有效地将 ONN 的规模增加到百万个神经元的水平，达到了每瓦每秒 160 万亿次操作 （TOPS/W） 的能源效率。这一工作是对光子计算迈向现实世界、支持 AI 中的各种应用的进程的有力推动。

相异于电学神经网络依赖网络深度以实现复杂的计算与功能，“太极”架构源自光计算独特的“全连接”与“高并行”属性，化深度计算为广度计算。具体来说，“太极”芯片利用了光学衍射和干涉的灵活性，采用了衍射编码-干涉特征计算-衍射解码的融合计算方法。光学衍射层的完全连接特性可以提供比传统深度神经网络中的卷积层更多的变形能力，这表明光学网络有可能用比电子系统更少的层数实现相同的变换，从而实现深度较浅，但宽度较宽的分布式架构。“太极”的分布式浅层光网络架构，将复杂智能任务拆分为多通道高并行的子任务分而治之，突破物理器件多层深度级联的固有计算误差，实现了更好的计算效率和功耗表现。

这一研究显示出片上光子计算在处理具有大型网络模型的各种复杂任务方面的巨大潜力，进一步将光学的灵活性和潜力应用于现代 AGI。

穗积八束与国体宪法学

论文标题

国体宪法学亚洲宪法学的先驱形态

论文网址

https://www.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2015&filename=WFXZ201405002&uniplatform=OVERSEA&v=apVC0WehN6d7DhKvr9gJU6foe7K2beLrNWaG3y5F8MskpYh7vWi70eycNV4DcWTO

分享人

郑媛元

简介

林来梵教授在文章中深刻剖析了穗积八束提出的国体宪法学的核心思想，探讨了这一学说在近代日本历史中的形成、演变以及后来的曲折命运。

穗积的核心思想在于他对“国体”和“政体”的区分。这种区分试图将不可改变的日本皇室传统神圣化，作为国家的根基（即国体），同时又将现代君主立宪制的结构归入政体领域，以适应西方的宪政潮流。这种双重结构提供了一种理论上的灵活性，使得日本在面对西方现代化的压力时，能够保持文化上的独立性，而在政治制度上又不完全拒绝现代化。然而，这一理论的局限性也十分明显。穗积将天皇的地位提升到神圣不可侵犯的高度，赋予了其极端的政治色彩，并为之后军国主义者利用提供了理论基础。这种“神圣化”的国体观念，在战前逐渐被极端化，成为法西斯和军国主义的意识形态工具。

然而，这并不意味着穗积的理论可以被简单地完全否定。在那个充满冲突与变革的时代背景下，穗积的学说实际上为东亚国家提供了一条在传统与现代之间寻找平衡的道路。这种“妥协”的姿态并不是一种软弱，而是一种深刻的文化自觉。

此外，穗积八束理论曲折的发展历程也令我唏嘘。从一个为东亚提供宪政出路的理论，到被极端政治力量扭曲为法西斯工具，穗积的学说不仅展现了理论本身的复杂性，也暴露了文化与政治的微妙关系。这不禁让我联想到上学期学习的“孔子与鲁迅”的课程，孔子在历史上也拥有多种解读，从鲁迅五四时期对孔子的激烈批判，到如今传统文化的复兴，我们始终在追问孔子为何。或许任何思想资源在历史的长河中，都难以摆脱被时代赋予的不同解读与利用吧。正如穗积和孔子思想经历的多次历史性重构一样，尽管思想的真正价值在于它能为当代提供有意义的对话空间，但其实际价值却往往受制于我们如何看待和使用它。要解决这个问题，或许我们就必须在认识层面上将精神文化资源与其政治影响有效切割，在借鉴与批判传统时，区分哪些属于原初的思想，而哪些是被历史和政治运动所扭曲的部分。这要求我们具备敏锐的历史判断力，既要有鲁迅式的批判精神，同时也不能缺少重新理解和挖掘传统智慧的文化自信。