0. 发展脉络

将 Miras 的思想泛化到整个神经网络。既然 Miras 证明了 Transformer 和各种 RNN 是一个实时优化的记忆网络，那么 NL 就更进一步：不光是序列层，模型里的多层感知机（MLP）、甚至是优化器（Adam、动量），全都是在不同更新频率上运行的关联记忆网络。

1.

作者认为，我们平常看到的“层数更深、参数更多、模型更强”只是表面现象；真正决定模型表达力和学习能力的，可能是模型内部存在多少层嵌套的优化问题，以及这些优化问题如何在不同时间尺度上协同工作。

2. 本文的贡献

论文据此提出了 Nested Learning（NL）范式：把各种不同的模型理解成一组彼此嵌套、更新频率不同、上下文不同的学习模块。这个视角重新解释了注意力、FFN、优化器和上下文学习，也进一步推出了三条落地路径：更强的优化器、更能自我修改的序列模型，以及一个连续记忆系统。作者最终用 HOPE 架构对这些想法做了实际落地验证。

以下是这篇论文做出的几点贡献：

  1. 提出了 Nested Learning 这种看待深度学习的视角，把所有深度学习模型都看做不同种类的嵌套优化问题
  2. 把优化器和架构当做联想记忆模块，提出更高表达能力的 Deep Optimizers
  3. 提出 Self-Modifying Titans，让序列模型学习更新自己
  4. 用 Continuum Memory System（CMS） 替代传统的 短期 / 长期记忆
  5. HOPE 把 Titans 和 CMS 结合起来，形成一个可落地测试的模型
  6. 做了实验，在语言建模、常识推理、长上下文处理和持续学习任务上展示了这一范式的潜力

3. 理论证明部分想讲什么

作者首先在 1~3 章，通过概念解释、与脑神经科学结合、公式论证等方法，推导出来了一种思路。这个思路就是嵌套学习，作者认为传统观点中提出的各种深度学习模型中所有看似毫不相干的组件，包括网络架构的前馈层、注意力机制，甚至像 Adam、动量这样的优化器，本质上全都是联想记忆系统 (Associative Memories)，他们仅仅是以不同更新频率区分的不同嵌套级别。
作者大篇幅的论证，确实有点颠覆传统观念，主要是为了干这几件事：

  1. 证明了大模型的顺行性遗忘症（Anterograde amnesia）：现在的 LLM 只有短期记忆（上下文窗口）和预训练固化的参数，但预训练结束后，底层参数的更新频率就是0，导致模型再也无法将最新的上下文转化为长期知识，这也是作者必须把读者的视角拉到嵌套学习（NL）的视角上才能发现的问题
  2. 证明了推理和预训练其实都是不同频率层次的学习，就可以不再遵循 训练->测试 的流程，模型在任何时候都应该处于一种不同模块以不同频率持续的学习状态。
  3. 证明我们不需要再拼接各不同架构，而是应该在统一的框架下通过调整不同级别的更新频率和记忆规则来设计模型

4. Nested Learning（NL）的核心逻辑

NL 将模型、训练过程重新定义为一组嵌套的、多级的优化问题。
NL 有以下几点最重要的概念：

  • 内存与学习的本质： 记忆（Memory，脑神经科学的翻译方式）是由输入产生的神经更新，而学习是获取有效且有用的记忆（Memory）的过程，这是以前的计算机科学所模糊的两个不同概念。
  • 更新频率： 这是划分 NL 层级的物理标准，也是作者从脑神经科学中获得的灵感
    • 高频：每一步都快速响应新输入，是当前的记忆；
    • 中频：在较长时间范围整合局部模式；
    • 低频：保存并缓慢从底层学习得来的知识，作为长期的总体记忆。
  • 嵌套联想记忆系统（NSAM）： NL 架构被视为一个 Nested System of Associative Memories (NSAM)。每一层级都是一个联想记忆模块，通过其内部特定的梯度流压缩特有的上下文。这一部分是作者前面推导得出的“很多机器学习组件都可以被重新理解为从上下文中压缩信息并形成映射的联想记忆过程”这个理论在 NL 中的实际应用
  • 内部梯度流透明化： 传统的深度学习隐藏了内部梯度流，而 NL 使优化过程本身成为架构的一部分，实现了内部过程的透明化。

5. NL的实际落地

5.1 Deep Optimizers

在元素级的 L2 回归目标下，作者证明了 Adam 等优化器本质上是最优的联想记忆模块（它将梯度映射到方差上）。据此，作者提出让优化器也能拥有多层感知机或更复杂的规则，例如 Delta 梯度下降（DGD）和带有连续记忆能力的 M3 优化器，让优化器不仅顾及眼前，还能理解全局的损失。

  • 让更具表达力的小网络替代简单的动量记忆；
  • 让优化器能够学习更复杂的梯度模式；
  • 让“如何更新参数”本身也变成一个可学习问题。

5.2 Self-Modifying Titans

作者把 NL 的思想应用到序列模型，模型不仅对输入做推理，还会基于误差信号和上下文，动态调整自己的更新规则。这就是“元学习”的概念，作者让模型能够学习“应该如何更新这些参数”。比如它会学习更新这些：

  • Key、Value： 实现动态的关联空间重构。
  • 学习率与衰减率： 允许模型在处理新语料时，实时判断哪些信息需要被固化进参数，哪些需要快速遗忘。

5.3  Continuum Memory System（CMS）

作者认为，“短期记忆 / 长期记忆”这种二分法太粗糙，实际系统中的记忆应该就是前面提出的 NL 核心逻辑：按照更新频率快慢区分记忆层级高低关系。所以提出了CMS：

  • 用多个不同更新频率的模块表示不同时间尺度的记忆；
  • 高频模块捕捉短时变化；
  • 中间频率模块承担平滑过渡与知识蒸馏的作用；
  • 低频模块存储更稳定、更抽象的知识。
    CMS有如下好处：
  • 当一个较高频的记忆块因为学习新任务而遗忘了过去的知识时，这部分旧知识大概率仍然被安全地存储在更新较慢、尚未被覆盖的低频记忆块中。
  • 得益于不同频率层级之间可以通过反向传播等方式互相传递知识，那些在高频块中被遗忘的信息，可以在系统内部绕回来，在时间维度上形成一个闭环，从而使得核心知识极难被彻底遗忘。

5.4 Hope

Hope 集成了前面提出的 Titans 和 CMS，Titans 负责在最高频率处理最新的上下文信息，随后将处理后的输出传递给后方的 CMS。CMS 再根据自己不同层级的更新频率，将这些知识压缩长期存储在不同的记忆层级中。二者结合的结果就是，使得 Hope 架构能够在持续学习和极长文本（甚至达到 1000万 Token）任务中表现优异。
另外，作者还给了一小节用来说明 Hope 可以分块训练，表明它也可以序列并行化计算，让这个架构有实际可行性。

6. 实验

作者做了很多领域的实验，验证了以下结论：

  1. Hope 减少了灾难性遗忘
  2. Hope 在长文本测试中保持较高准确率
  3. Hope 在基础任务表现良好，与 Transformer 的差距比较小

7. 总结

作者花了很大篇幅来讲基础理论知识和自己最新的公式推导，导致这篇文章其实有点像一本课本，重点向读者介绍了一种思想，也就是 NL。我本人才疏学浅不敢妄下结论，但感觉有点像《Attention Is All You Need》一文，向后人展示了一种全新深度学习设计思路。也就是说，以后的深度学习模型设计思路可以参考这篇文章，在同一个网络中，设计不同模块的记忆层次、上下文流和更新频率，设计有持续学习能力的模型。