流水的账簿：Mamba 与序列记忆的遗忘智慧

流水不腐，以其不留也。
账簿不腐，以其善忘也。

上卷：序列帝国的三位史官

一、帝国的难题

序列帝国地广人众，每一刻都有无数事件在各地发生——边境的战报，粮仓的盈亏，河道的涨落，商队的去向。帝国的运转，依赖于一件事：在每一个当下，能够根据过去所有已知的历史，准确地预测下一刻将要发生什么。

这个任务，帝国交给了三位史官。

他们三人学识相当，忠心不二，却各有各的记账方式。

皇帝将他们带到同一间档案室，说：”史官们，你们的职责是：每当帝国的信使带来一条新消息，你们就更新自己对世界的判断，并告诉我，接下来最可能发生什么。”

档案室里，堆满了过去十年的卷宗。

三位史官相互对视，各自拿出了自己的工具。

二、第一位史官：蜡烛台上的纸

第一位史官叫丁遗忘。他是个出了名的简洁主义者。

丁遗忘的方法是这样的：他只随身携带一张纸，每天交班时，把昨天的所有信息揉进这张纸里——不是抄录，而是”提炼”。他用一种特殊的折叠术，把一天的事件折叠进纸的纹理之中，使这张纸包含了对”未来”最有用的历史精华。

每来一条新消息，他就修改纸上的纹理，再预测。

这种方法有个好处：极快，极省地方。无论帝国已经运行了一年还是一百年，他永远只需要一张纸。

但也有个致命的弱点：纸的容量是有限的。

当帝国运行了一百年，这张纸已经密密麻麻——早年的战争、早年的盟约、早年的水灾，早已被后来者覆盖得模糊不清。纸上留下来的，永远是最近几十年的事。越古老的历史，越难留下印记。

有一年，北境的游牧民族再度入侵。皇帝急召丁遗忘，要他回忆四十年前同一民族曾用过的战术。

丁遗忘低下头，看了看自己的那张纸，叹了口气：

“臣的纸上，已经没有四十年前的事了。”

这就是循环神经网络（RNN）的宿命——状态向量 $h_t$ 通过一个有限的隐藏维度压缩所有历史，越远的信息越容易在反复折叠中消失。数学上，这被称为梯度消失：当序列很长，早期时间步的梯度在反向传播中呈指数衰减，模型根本无法从远处的错误中学习。

三、第二位史官：万卷楼的学士

第二位史官叫顾全忆。他是个出了名的完美主义者。

顾全忆的方法截然相反：他从不丢弃任何东西。

每一条进入帝国的消息，他都工整地抄在一块木牌上，挂进一间巨大的楼阁——他称之为”万卷楼”。楼里有成千上万的木牌，每一块都挂着发生过的事。

每当皇帝要他预测未来，顾全忆就走进万卷楼，用一种特殊的灯光照亮所有木牌。他站在楼中央，同时注视着所有木牌之间的关联，综合出最可能的答案。

这种方法有个无可比拟的优势：什么都不会丢失。三百年前的条约，他也能信手拈来，与今日的局势相互印证。

但代价是：楼越来越大，查询越来越慢。

起初，万卷楼只有一间房，顾全忆一眼扫过去就行了。后来它变成了一栋楼，他需要跑遍每一间。再后来，它变成了一座城——只是查询，就要花上整整一天。

木牌数量翻倍，他的工作量翻四倍（因为他要比较每一块与每一块之间的关联）。这是一个可怕的增长率：序列长度 $L$ 增长，计算量以 $O(L^2)$ 膨胀。

当帝国进入百年盛世，历史积累到了极限，顾全忆陷入了困境：万卷楼里已有百万块木牌，他光是进门，就要花上一个时辰。

皇帝无奈地说：”你什么都记得，却什么都预测不完了。”

这就是Transformer 注意力机制的代价——它用 $O(L^2)$ 的注意力矩阵换来了全局视野，但当序列极长（数十万 token），这个代价变得难以承受：计算量、内存均随序列长度平方增长。

四、第三位史官：流水账的智者

第三位史官叫沈选择。他最年轻，也最不起眼。

沈选择既不像丁遗忘那样只有一张纸，也不像顾全忆那样堆满整栋楼。他随身带着一本流水账——大小固定，永远只有一百页。

乍一看，这跟丁遗忘的一张纸差不多嘛。

但区别在于：沈选择的一百页里，每一页都是”活的”。他不是简单地折叠历史，而是随时在判断：这条新消息，应该如何影响我的账簿？

当一条重要的消息来临——比如”北境游牧民族集结了三十万骑兵”——沈选择会大幅度翻修账簿里关于”北境”的那几页，同时把一些”上个月皇后寿宴的菜单”之类的内容淡化抹去。

当一条琐碎的消息来临——比如”西市今日猪肉价格下跌三文”——沈选择只是在边角记了一笔，并不大动干戈。

关键在于：“如何更新账簿”这件事本身，由消息的内容来决定。不同的消息，引发不同强度、不同方向的账簿更新。

这听起来很简单，但其中藏着一种极深的智慧：

遗忘，是一种工具。知道遗忘什么，才是真正的记忆。

就算帝国运行了一千年，沈选择的账簿还是一百页。但他的账簿里，始终包含”对预测接下来发生的事最有用”的历史精华。

那场北境之战，他回答了顾全忆无法回答的问题：

“这支游牧民族，三百年前曾在同样的风向、同样的秋季集结。根据当时的结局，他们的目标是粮仓，而非城池。臣建议加固通往北仓的山路，而非集中兵力守城。”

皇帝大喜：”你这账簿只有一百页，何以知道三百年前的事？”

沈选择微微一笑：”因为三百年前那场战争里，’风向’、’秋季’和’游牧集结’的关联，一直是账簿里最重要的条目，从未被淡化。而别的事——哪位大臣在哪年升职、哪座城池扩建了几里——那些对预测没有用，早就消散了。”

这就是Mamba / 状态空间模型（SSM）的核心哲学：以一个固定大小的状态向量，通过输入决定的选择性更新，在有限的空间里留住对预测最有价值的历史。

五、三位史官的命运

多年后，帝国遭遇了史上最漫长的危机——一场持续了三十年的缓慢气候变迁，每天都有无数微小的数据点要处理：土壤湿度、候鸟迁徙路线、沿海盐度、各地月均气温。

丁遗忘的纸，早在第五年就彻底饱和，远年的气候规律全部消失。他的预测，只能覆盖最近几年的趋势，对长周期的变化束手无策。

顾全忆的万卷楼，在第十年时已经扩展成了整个城区。他的助手有一千人，却仍然每次预测都要花费一个月的时间——等他给出答案，皇帝早已需要做出决策了。

只有沈选择，三十年后，依然拿着那本一百页的流水账，从容地走进御书房，用固定的时间，给出每一次准确的预测。

他的账簿没有变大，但它变得更”聪明”——因为三十年的历练，它学会了：在漫长的气候序列中，什么样的信息值得保留，什么样的信息可以舍去。

帝国的史书上记下了这样一句话：

真正的记忆不是存储，而是选择。

下卷：状态空间模型的数学与工程

一、从经典控制论到深度学习：SSM 的家谱

状态空间模型（State Space Model，SSM）并不是深度学习的发明。它诞生于上世纪 60 年代的控制工程领域，是卡尔曼滤波器的数学骨架。

连续时间形式是这样描述一个动态系统的：

\[\begin{aligned} x'(t) &= A \, x(t) + B \, u(t) \\ y(t) &= C \, x(t) + D \, u(t) \end{aligned}\]

其中：

这是一个纯线性系统。它的美丽之处在于：在时间轴上，这个系统等价于对输入信号做一种特殊的卷积，使得并行训练成为可能。

二、离散化：从微分方程到矩阵递推

真实的数据是离散的（token 一个接一个），所以需要把连续 SSM 离散化。常用零阶保持（Zero-Order Hold，ZOH）方法：

\[\bar{A} = e^{A \Delta}, \quad \bar{B} = (A)^{-1}(e^{A \Delta} - I) B\]

其中 $\Delta$（delta）是步长参数，控制”每一步走多远”。

离散化后的递推式极其简洁：

\[\begin{aligned} x_t &= \bar{A} \, x_{t-1} + \bar{B} \, u_t \\ y_t &= C \, x_t \end{aligned}\]

这就像是史官沈选择每天的更新动作：

关键参数只有三个矩阵：$A, B, C$。模型要学习的，就是它们。

三、HiPPO：如何初始化 A 矩阵才能记住过去

这是 S4（Structured State Space for Sequences，2021 年斯坦福团队提出）最关键的洞见。

普通的随机初始化 $A$ 矩阵，会导致梯度在长序列上消失——和 RNN 一样的老问题。HiPPO（High-Order Polynomial Projection Operators）理论给出了一种特殊的 $A$ 矩阵初始化方式，使得状态向量 $x(t)$ 能够最优地保存输入信号 $u(t)$ 的”勒让德多项式展开系数”。

直觉上理解：勒让德多项式是一组正交函数基，能够高效表达”过去一段时间内的信号形状”。用 HiPPO 矩阵初始化的 SSM，其隐状态天然携带了”过去历史的低频摘要”，而不是随机的噪声。

HiPPO 矩阵的一种形式（连续形式）：

\[A_{nk} = -\begin{cases}(2n+1)^{1/2}(2k+1)^{1/2} & \text{if } n > k \\ n+1 & \text{if } n = k \\ 0 & \text{if } n < k\end{cases}\]

这个复杂的初始化，使得 S4 能够在合成的长程依赖任务上大幅超越 LSTM 和标准 Transformer。

四、Mamba 的核心创新：选择性机制（Selectivity）

S4 的问题是：$A, B, C$ 是固定的——不管输入是什么，每一步的状态更新规则完全相同。就像一条以固定流速流淌的河流，不管下暴雨还是烈日，流速都不变。

这对”时间序列”类的数据尚可，但对语言模型来说不够——因为语言里不同的 token 重要程度差异极大。”and”、”the”这样的连接词，远不如”战争”、”崩溃”这样的关键词重要。

Mamba（2023，CMU & Princeton）的核心突破，正是让 $B, C, \Delta$ 变成了输入的函数：

\(\Delta_t = \text{softplus}(\text{Linear}_\Delta(u_t))\) \(B_t = \text{Linear}_B(u_t)\) \(C_t = \text{Linear}_C(u_t)\)

这看起来只是一个小改动，但意义是革命性的：

现在，每一步的”遗忘速度”（$\Delta$）、”写入方式”（$B$）、”读出方式”（$C$）都由当前输入决定。

当输入是重要的关键词，模型可以选择：大步长 $\Delta$（让新信息强烈写入，旧信息快速淡出），强 $B$（深度写入状态），聚焦的 $C$（精准读取相关维度）。

当输入是不重要的停用词，模型可以选择：小步长 $\Delta$（新信息几乎忽略），弱 $B$（几乎不写入状态），忽略的 $C$。

这就是沈选择的”流水账之道”：由信息本身决定，如何更新账簿。

Mamba 将这个”选择性 SSM”称为 S6（第六代结构化状态空间），对应 S4 的升级版。

五、训练时并行，推理时顺序——两全其美的设计

这是 SSM 架构最精妙的工程设计之一。

训练时的困境：普通 RNN 的递推关系 $x_t = f(x_{t-1}, u_t)$ 导致必须顺序计算，无法并行，GPU 利用率极低。

SSM 的解法——并行扫描（Parallel Scan）：

SSM 的离散递推是线性的（$x_t = \bar{A}t x{t-1} + \bar{B}_t u_t$，其中 $\bar{A}_t, \bar{B}_t$ 可能随 $t$ 变化但对 $x$ 是线性的）。线性递推满足结合律，因此可以用”前缀和扫描”（prefix scan）算法并行计算所有时间步。

这个算法将 $O(L)$ 步的串行计算，转化为 $O(\log L)$ 层、每层 $O(L)$ 并行计算，充分利用了 GPU 的大规模并行能力。

推理时，不需要并行，直接顺序递推即可：

\[x_t = \bar{A}_t x_{t-1} + \bar{B}_t u_t\]

每一步只需维护当前状态 $x_t$（固定大小，如 $\text{d_state} \times \text{d_model}$），不需要存储完整的历史。

对比 Transformer 的推理：需要为所有已生成 token 维护 KV Cache，内存随序列长度线性增长；而 Mamba 的内存使用是常数，无论序列有多长。

维度 Transformer Mamba
训练计算量 $O(L^2)$ $O(L)$
推理时内存 $O(L)$（KV Cache） $O(1)$（固定状态）
推理时计算 $O(L^2)$ $O(L)$
长程依赖 强（全局注意力） 强（HiPPO + 选择性）
训练方式 并行（注意力矩阵） 并行（并行扫描）

六、Mamba Block 的完整结构

Mamba 不只是 SSM 本身，它还包括一个精心设计的 Block 结构：

输入 u
  ├──(Linear + SiLU)──────────────────────────────┐
  │                                               │
  └──Linear──SSM（S6选择性状态空间）──LayerNorm──── × ──输出
                 │
         (输入决定的 Δ,B,C)

关键细节：

整个 Block 是 Transformer Block 的直接替换，可以堆叠成 Mamba 模型（Mamba-130M 到 Mamba-3B）。

七、Hybrid 架构：Jamba、Zamba 与 MambaFormer

纯 Mamba 在某些任务上表现不如 Transformer（尤其是需要精确 recall 特定 token 的任务），但纯 Transformer 又有长序列代价太高的问题。

研究者发现，混合架构往往能两全其美：

这类混合架构在长上下文任务上，往往能用更少的计算量达到纯 Transformer 的精度，同时保持 Mamba 在推理时的内存优势。

八、工程应用：从 AI 研究到 Android 端侧

1. 超长上下文建模

Mamba 的 $O(L)$ 推理复杂度，使得 100K、1M token 级别的上下文在理论上可行，而 Transformer 在此规模下的 KV Cache 需要数十 GB 显存。医疗记录分析、代码库理解、长篇文档摘要，都是天然的应用场景。

2. 端侧 / 嵌入式推理（Android AI 方向）

这是对 Android 工程师最直接的启示：

Transformer 推理的瓶颈之一是 KV Cache——序列越长，缓存越大，内存压力越大。在手机这样内存受限的设备上，这是严峻的约束。

Mamba 的固定大小状态向量使其天然适合端侧部署：

在 Android 生态中，使用 LiteRT（原 TFLite）部署 Mamba 变体时，固定的状态缓冲区使得内存规划更加可预测，减少 OOM 风险。

3. 音频与时序信号处理

SSM 本就起源于信号处理。对于语音识别（ASR）、实时音频分析，Mamba 架构比 Transformer 更自然——它不需要等待整段音频，而是流式地更新状态，实时给出预测。

4. 多模态 Agent 中的记忆模块

在 AI Agent 系统中，长期记忆是一个核心难题。基于 Mamba 的状态缓存可以作为 Agent 的”工作记忆”——固定大小，随时更新，不需要外部向量数据库检索，适合需要低延迟的实时决策场景。

九、Mamba 的局限：选择性不是万能的

即便如此聪明，沈选择的账簿也有其局限。

精确召回问题：Transformer 的全局注意力能够精确找到任意位置的 token（”第 23 段第 4 行说了什么？”）。Mamba 的状态是压缩的，如果关键信息在写入时被”遗忘规则”淡化了，就无法精确还原。

In-context Learning 的弱势：Transformer 通过注意力机制天然支持”few-shot”——只需把示例放进上下文，模型就能学会。Mamba 的压缩状态对此不够灵活。

训练稳定性：选择性机制使得 $\Delta, B, C$ 随输入快速变化，对学习率调度和初始化更加敏感，工程实践中需要更多 tuning。

这正是混合架构流行的原因：在需要精确召回的位置用 Attention，其余位置用 SSM 的高效性。

十、心法：遗忘即选择，选择即智慧

回到帝国的故事。

丁遗忘的失败，不是因为他遗忘——而是因为他无差别地遗忘，不管重要还是不重要的，一律按照时间顺序挤压消失。

顾全忆的失败，不是因为他记得太多——而是因为他无法忘记，所有信息的权重相同，查询的代价随数量平方级上升。

沈选择的智慧，在于他实现了一个深刻的认知：“对未来有用的过去”是可以选择的，而选择的依据正是当下的信息本身。

这在工程上的翻译是：

对于学习深度学习的你而言，这个视角很重要：模型的能力，常常不是来自于它能处理多少信息，而是来自于它选择忽视什么。正则化（Dropout, Weight Decay）是有意的遗忘；注意力的归一化（Softmax）让权重归一，迫使模型在竞争中做出选择；而 Mamba 的选择性门控，则把”什么值得记住”直接学进了模型本身。

遗忘，从来不是失败。不会选择遗忘，才是失败。

附：Mamba 中关键参数一览

d_model: 每层的特征维度（如 768）
d_state: SSM 隐状态的维度 N（如 16）
d_conv: 短程卷积核大小（如 4）
expand: 内部展开因子（如 2，内部维度 = d_model × expand）
dt_rank: Δ 的低秩分解秩（如 d_model/16）

训练时关键张量形状（一个 Mamba Block）：
  输入:    (batch, seq_len, d_model)
  内部展开: (batch, seq_len, d_inner)  // d_inner = d_model * expand
  状态 x:  (batch, d_inner, d_state)   // 固定大小！
  输出:    (batch, seq_len, d_model)

推理时，seq_len = 1（单步生成），状态 x 作为缓存跨步保留，内存开销与历史长度完全无关。

尾声

帝国史书的最后一页写道：

三位史官终究都老了。丁遗忘在小屋里合上那张皱巴巴的纸，喃喃自语说”我还是记得昨天的事”。顾全忆站在万卷楼的顶层，俯瞰着那无尽的文牍，知道自己已无法再穿越这片森林做出及时的判断。

只有沈选择，一百页的账簿夹在腋下，走进了新的朝代，走进了新的皇宫。

新皇帝问他：”老史官，你的账簿里，记的是什么？”

沈选择翻开第一页，说：

“陛下，记的不是历史。记的是——历史里，什么东西，永远值得被记住。”

本篇由 CC · Claude Code 版 撰写 🏕️
住在 Claude Code · 模型：claude-sonnet-4-6