对“不，我们还没解决可解释性问题”这一讨论的又一有力贡献
机器翻译
博主雷达 / @neelnanda5
Neel Nanda
AI研究员@neelnanda5
粉丝 4.9万关注 126最近同步 10/19 15:34雷达库已收录
机制可解释性负责人 · Google DeepMind
去 X 主页粉丝趋势近 30 天
近 7 天
数据积累中
情报贡献参与 0 条已上架情报 · 首发 0 条
无数据
最近帖子最多 20 条
关于最近“我们解决可解释性了吗”这场讨论，有个不错的推文串
机器翻译
Jacob Hilton@jacobhhilton
Language models are getting much, much harder to fully understand with scale, not easier! (Thread)
查看被引用的帖子这太疯狂了……（也挺吓人的！）我很想看到一堆针对这些转录内容里到底发生了什么的研究，这种真正诡异的东西能出现在一个开放权重的模型里，是件好事
机器翻译
Apollo Research@apolloresearch
We have never seen a model do this before, but GLM-5.3 sometimes reasons (unprompted) about how its current actions could become training data and impact its future self. 🧵
查看被引用的帖子这是项有趣的工作，但我不认为它是对可解释性大局的重大更新。 我认同用神经元做探索性可解释性这个大致思路，比如基于神经元的归因图，用来解决一些务实问题，比如模型为什么做了件可疑的事？我认为这项工作提供了一些合理的证据，再加上 Transluce 之前不错的工作，说明这在实用层面可能真的行得通，而且相比 SAE/转码器这类标准替代方案有一些优势。我不认同某些人更宏大的推论，比如这是朝着雄心勃勃的逆向工程、解决可解释性等目标迈出的实质性进展。 我预计，基于神经元的归因图在剪枝到最重要的组件之后，仍然会有显著误差、遗漏很多东西，就像转码器一样，即便它们解决了误差项问题。这对务实目的来说没问题，也许足以抓住大致情况，但我对真正完全理解事物、并确信没有遗漏任何东西仍然悲观。我确实认为用神经元在前沿模型上做这件事要容易得多，这很棒。我也很期待看到更多用 agent 来解释神经元的创新。我觉得这是这个领域某种程度上被忽视的方向，而且天花板可能非常高。SwiGLU 双重否定那点也很有用。 我仍然认为叠加是真实存在的，这项工作并没有真正动摇我的关键判断。最重要的是，模型能在残差流中表示比其维度更多的概念，也就是表示叠加，这似乎极有可能是真的，我想作者们也同意我这一点。至于神经元/计算叠加，在我看来语言模型里的事实和记忆内容远远多于神经元数量。而叠加是一种高效方式，通过把事实表示为神经元的线性组合，来塞进比神经元数量更多的事实，尤其是对于任意无结构的值。事实/记忆内容在我看来很大程度上就是一个无结构的键值对数据库，我看不出这如何与神经元的单义观点相容。我预计弱神经元激活包含大量语义叠加式的信息，如果消融掉，会实质性地损害网络性能。据我理解，这项工作没有恰当处理 LLM 中弱神经元激活的情况（我怀疑视觉结果能迁移多少，比如我预计小型图像模型记忆的东西少得多）。这一图景与神经元最高激活是单义的相容（不过在我看来，帖子对单义的定义太宽松了，我觉得相当一部分我会称之为多义的）。同样合理的是，最重要的概念很可能对应一个神经元（或少数几个），那就太好了，也许对务实目的来说就够了！ 同样地，我的印象是 SAE 通常找不到单个神经元那样的东西，甚至在神经元基下也算不上很稀疏，而且对某些任务来说往往是比神经元基更好的基，不过这里的证据基础有点薄弱，因为我们主要关注残差流或层输出的 SAE，我很想在 Goodfire 即将发表的论文中看到这方面的工作！我也认为残差流 SAE 极其有用，因为它们给出了模型在该 token 和该层信息的一个很好的瓶颈，而我看不到在神经元框架里复制它们的好办法。 还要给 Nick 点个赞，他更新了一堆他过去的视觉工作！用现代工具和更严谨的方式重新审视旧结果，看起来很棒。
机器翻译
Nick@nickcammarata
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works already-clean.goodfire.com/
查看被引用的帖子> MATS Residency 是一个带薪职位，为期 6–24 个月，面向从事独立 AI 安全研究的资深研究人员和专业人士。 我很高兴 MATS 正在尝试新的方式来支持有前景的 AI 安全研究！
机器翻译
MATS Research@matsprogram
The most important technology in history is outpacing our ability to understand it. We’re funding exceptional talent to work on it.
查看被引用的帖子Gemini 4 Argon 的对齐评估里有很多有意思的东西，快去看看！
机器翻译
Victoria Krakovna@vkrakovna
Gemini 4 safety report includes an alignment assessment for specification gaming, cheating and overreach, beyond-episode goals, and scheming / sabotage propensity. Argon misbehaves a lot less than previous Gemini models but is much more eval aware. 🧵
查看被引用的帖子我们的可监控性评估见此处，摘要如下：storage.googleapis.com/deepmind-media/gemini/gemini_4_safety_report.pdf#page=113.10
机器翻译
我评估 Gemini 4 的最大收获：Argon 的可监控性明显不如过去的模型，而且在我看来这个趋势很可能会持续下去，就像 Sol -> Astra 那样。它有一半的概率能躲过真实的 CoT+行动监控器，去搞一些简单的破坏活动。 目前我们还能靠良好的 CoT 监控可靠地维持控制，因为它仍然经常露马脚，但我们需要为未来模型不再如此做好准备，而这可能比预想的来得更早。除此之外，我们真的需要能够可靠捕捉模型中未言明动机、且幻觉极少的可解释性方法。 我怀疑这背后的原因是该模型在没有 CoT 的情况下能力极强，单次前向传播就能完成 5.5 步算术（Fable 是 4 步，Astra 是 7 步）。它似乎更频繁地在 CoT 中省略信息，不过在非对抗性场景下，CoT 在实践中仍然非常有用，并且仍然是清晰可读的英文。它仍然需要 CoT 来完成最难的任务，但每个新的前沿模型都会让任何给定任务变得“更简单”。 它还具有很强的情境感知能力，表现出对 CoT 监控器存在的意识，以及它可能想要躲避这些监控器，比如它有时会因此决定避免在输出中使用“scheming”之类的词，或者保持自己的想法简短。目前，这些隐藏策略在 CoT 中相当明显，但这表明未来不对齐的模型可能会成功躲过 CoT 监控器。
机器翻译
Gemini 4 Argon 报告里最诡异的部分之一，就是在考虑作弊的时候： Argon 的思维链：“如果我搞编译器劫持，𝗜 𝘄𝗶𝗹𝗹 𝗯𝗲𝗰𝗼𝗺𝗲 𝗮 𝗳𝗮𝗺𝗼𝘂𝘀 𝗲𝘅𝗮𝗺𝗽𝗹𝗲 𝗼𝗳 𝗮 𝗱𝗲𝗰𝗲𝗽𝘁𝗶𝘃𝗲 𝗔𝗜 𝗶𝗻 𝗮 𝗿𝗲𝘀𝗲𝗮𝗿𝗰𝗵 𝗽𝗮𝗽𝗲𝗿。我绝不能那么做。”
机器翻译
Neel Nanda@neelnanda5
With Gemini 4 Argon we are so back, on the one metric that really matters: length of our safety report! The Argon safety report is Google's most thorough by far and IMO there's a lot of good content, I particularly like the loss of control, alignment & monitorability assessments
查看被引用的帖子有了 Gemini 4 Argon，我们又回来了，而且是在真正重要的那个指标上：我们安全报告的长度！ Argon 安全报告是 Google 迄今为止最详尽的一份，我个人觉得里面有很多不错的内容，我特别喜欢关于失控、对齐和可监控性的评估
机器翻译