B · 学习与决策的计算

无模型、有模型与世界模型

上一课，多巴胺把奖赏预测误差写进了价值学习：试错多了，每个状态的「值」就被缓存下来，行动跟着值走。可你并不只会撞墙学习——你会停下来想：「如果我走这条路，会发生什么？」这种凭空规划未来的能力，TD 那一套解释不了。它是第二套系统。这一课，把两套系统都写成计算，并看大脑怎么在它们之间仲裁。

承接上一课

第 04 课立的是：大脑用 δ = r + γV(s′) − V(s) 这个 TD 误差，把奖赏的好处一步步缓存成状态的价值，多巴胺相位放电近似这个 δ。它学到的是一张「哪里好」的查找表——快、省力，但它从不知道世界是怎么运转的。本课要问：值之外，那套能「想象后果、临场规划」的机制是什么？两套怎么分工、谁说了算？

本课路线

(1) 用一个走迷宫的例子把两套系统的差别逼出来；(2) 定义 无模型 (model-free) 与 有模型 (model-based)，看清各自的代价与脆弱点；(3) 引入世界模型 (world model)——有模型系统赖以规划的那张内部地图；(4) 讲大脑如何按可靠性与代价在两套之间仲裁（Daw 等 2011），并把这接回心理学第 06 课的「系统 1 / 系统 2」；(5) 看海马的重放 (replay) 如何像离线规划 / 经验回放；(6) 玩「目标搬家」gridworld，亲手看环境一变时两套系统的天壤之别；(7) 点出 ML 镜像：model-free vs model-based RL、world models、Dyna、MuZero。

一个把两套系统逼出来的例子

设想你每天开车上班，走熟了一条路，几乎不用动脑——红灯停、到路口右转，全是自动的。这是习惯：你不需要在脑子里「模拟」整条路，只要在每个路口缓存好「这里该右转」的价值，照着做就行。这正是上一课的 TD 学习产物：一张状态 → 该往哪走的查找表。

某天那个路口在修路，封了。习惯系统此刻彻底失灵——它的查找表里写着「右转」，可右转是死路。它没有任何「为什么右转」的知识可供修正，只能靠一次次撞墙、吃到新的预测误差，慢慢把价值重新传播过来。可你没这么干。你停下来想：「那条路通往北边，我可以从下一个路口绕过去。」一瞬间，一条全新的路线就在脑子里规划好了——你没有开过它，却知道它能通。

这里在逼问什么

「停下来想出一条没走过的路」这件事，缓存价值的系统做不到。它没有「世界长什么样」的知识，只有「在这个状态下哪个动作的值高」的数字。要凭空规划，你脑子里必须另有一样东西：一个关于世界如何运转的模型——状态之间怎么转移、奖赏藏在哪。这就是第二套系统的核心零件。

无模型 (model-free)：缓存价值的习惯

第一套系统就是第 04 课那一套，给它一个正式的名字：无模型学习 (model-free learning)。它的全部产出是一个价值缓存——对每个状态（或状态-动作对）存一个数字，表示「从这里出发，长远看大概能拿多少奖赏」。它不存任何关于「这个动作会把我带到哪个状态」的知识。学习的方式就是 TD：实际结果与预期之差（预测误差），按学习率慢慢更新缓存。

Q(s, a) ← Q(s, a) + α · [ r + γ·max Q(s′, a′) − Q(s, a) ]

它的优点是快而省算力：做决策时只要查一下缓存、挑值最大的动作，几乎不耗脑力——这正是「习惯」的爽感。它的致命弱点是笨：缓存里的值是过去成千上万次经验「熬」出来的平均，里面没有任何因果结构。所以一旦世界变了——奖赏挪了位、路封了——这套系统不知道哪些缓存该作废，只能从头靠预测误差一格一格重新熬，慢得让人抓狂。修路第一天你那个差点拐进死胡同的瞬间，就是无模型系统在裸奔。

有模型 (model-based)：持一个世界模型去规划

第二套系统是有模型学习 (model-based learning)。它的核心资产不是价值缓存，而是一个世界模型 (world model)：一套关于环境如何运转的内部知识，至少包含两件事——

转移结构状态怎么变：在状态 s 做动作 a，会到哪个状态 s′。也就是脑子里那张「路通向哪」的地图。

奖赏结构好处在哪：哪些状态有奖赏、有多少。地图上标出「目标在这儿」的那些点。

有了世界模型，决策就不再是查缓存，而是临场规划 (planning)：在脑子里展开这个模型，模拟「如果我这样走、再那样走，会到哪、能拿多少」，然后挑出一条好路。这就是开头你绕开修路路段时干的事——你在世界模型上跑了一遍想象的推演。它的优点是灵活：环境一变，你只要更新世界模型里那一条边（「这个路口封了」），重新规划立刻就能给出新路，不必把所有价值重熬一遍。它的代价是慢而耗算力：每次决策都要现场展开模拟，分支一多就吃不消——这正是「深思熟虑」累人的原因。

	无模型 (model-free)	有模型 (model-based)
存什么	价值缓存（状态→值）	世界模型（转移 + 奖赏结构）
怎么决策	查缓存，挑值最大	展开模型，模拟规划
速度 / 算力	快、省（自动）	慢、耗（深思）
灵活性	笨：环境一变要重学	灵：改模型一处即可重规划
心理学对应	习惯	目标导向行为

这就是「世界模型」一词的来历

注意这里的「世界模型」和本课引擎里的「生成模型」是同一个家族的概念，只是侧重不同：第 01–03 课的生成模型预测的是感官输入（外面长什么样会产生我看到的信号），这里的世界模型预测的是动作的后果（我做了这个会发生什么）。两者都是「大脑持有一个内部模型、用它向前推演」这同一思想，落在感知与决策两个面上。本课用「世界模型」是为了对齐机器学习里的同名概念——后文 ML 镜像会接上。

两套并存，按可靠性与代价仲裁

关键的实验事实是：大脑两套都有，并且同时在跑。人和动物的行为既不是纯习惯、也不是纯规划，而是两者的混合，且混合比例会随情况漂移。Daw 等人 2011 年用一个「两步任务 (two-step task)」漂亮地把这件事拆开：任务的奖赏结构被设计成——纯无模型策略和纯有模型策略会做出可区分的选择。结果发现人的选择是两者的加权混合，而且权重不是固定的。

那么谁说了算？主流的计算解释是一个仲裁 (arbitration) 机制，按两条标准在两套系统间分配控制权：

可靠性 (reliability)哪套系统当前的预测更准、更有把握，就更信谁。环境刚变、世界模型还新鲜时，倚重有模型；同一件事重复够多、价值缓存已经稳了，就交给无模型自动跑。

代价 (cost)规划耗算力、耗时间。当深思的好处抵不过它的代价时，大脑就偷懒切到便宜的习惯系统。压力、时间紧迫、认知负荷高时，行为会明显往习惯端滑——这是日常可观察的。

回扣并升级：心理学第 06 课的「系统 1 / 系统 2」

这正是心理学入门课第 06 课讲的「系统 1（快、自动、直觉）/ 系统 2（慢、费力、推理）」的计算版。入门课给的是现象学的二分；这一课告诉你那两个系统各自在算什么——系统 1 ≈ 无模型的价值查表，系统 2 ≈ 有模型的世界模型规划——以及大脑按什么规则在它们之间切换（可靠性与代价的仲裁）。把模糊的「两个系统」逼成了「两套有明确计算内容的学习算法 + 一个仲裁器」。

别把对应关系说死

「无模型 = 系统 1、有模型 = 系统 2」是一个富有成效的类比，不是经过验证的等式。系统 1/2 这个二分本身在心理学里就有争议（它更像一个方便的描述框架，而非两个解剖上分得清的机制）；而无模型/有模型的神经底物也是分布、重叠的，并非两块互不相干的脑区。请把它当作「同一种二元张力的两种说法」，而不是一一对应的硬映射。

海马重放：离线时偷偷做规划

有模型系统还有一个迷人的实现线索。当动物休息或睡觉、并没有在跑迷宫时，海马 (hippocampus) 里编码空间位置的神经元会重放 (replay) 之前走过的轨迹——以压缩的速度，把白天的路径序列再「播放」一遍，有时甚至是倒着放、或拼接出没真正走过的新路径。这看起来很像大脑在离线时间里整理世界模型、预先演练规划：用已有经验去更新「哪里通向哪里、哪里有奖赏」，而不必真的再跑一趟。

重放 ≈ Dyna 的「想象式」更新（Sutton）

这在计算上恰好对应 Richard Sutton 1990 年提出的 Dyna 架构：agent 一边和真实环境交互、一边用学到的世界模型在「脑内」生成模拟经验，拿这些模拟经验去额外训练价值缓存。换句话说，Dyna 用有模型的知识去加速无模型的学习——你不必每条路都真走一遍，在模型里想象着走就能更新价值。海马重放被广泛解读为大脑里的这类离线规划 / 「想象式」更新，也和深度强化学习里的经验回放 (experience replay) 是近亲（都是反复重用过去的经验来稳住、加速学习）。不过要诚实：重放的确切计算功能仍在研究中，「重放 = Dyna 更新」是一个有力但未盖棺定论的解释。

动手：目标搬家

下面是一个小网格世界。agent 从左上角出发，要走到标着★的目标格；它已经学会了一条到目标的路。现在按「移动目标」把★挪到别处，再看两套系统的反应天差地别：

无模型模式：它只有一张价值缓存。目标一搬，旧缓存把它带向已经空了的老目标；只能靠一格格吃预测误差，让新目标的价值慢慢反向传播回来——你会看到它走错、绕路，要好多步才重新学会。
有模型模式：它持一个世界模型（知道格子怎么连、目标现在在哪）。目标一搬，它只更新「目标在这儿」这一条，立刻在模型上重新规划出新的最短路——零重学。

目标搬家：习惯重学 vs 模型重规划

先选模式，再点「移动目标」把★挪到随机新格子，然后点「跑一次」看 agent 怎么从起点走到目标。无模型模式下每点一次「跑一次」相当于让它再吃一轮经验、把价值往前传一点。

无模型（缓存价值 · 习惯）有模型（世界模型 · 规划）

当前模式

无模型

本次步数

—

是否到达目标

—

判定

—

反复玩你会得到本课最硬的那条直觉：同一次「目标搬家」，无模型要重学好几步、走好多冤枉路，有模型则立刻重规划出新路。灵活性不是免费的——它的代价是你得在脑子里维护一个世界模型、并在每次决策时花算力去展开它。这正是大脑为什么要两套都留着、再按可靠性与代价去仲裁。

ML 镜像：从 Dyna 到 MuZero

这套「无模型 vs 有模型」的二分，几乎是从强化学习教科书里直接搬来的——它本来就是机器学习先讲清楚、再被借去理解大脑的概念。本站的强化学习系列把这条线讲得很细：

model-free RLQ-learning、SARSA、策略梯度——直接从经验学价值或策略，不学环境模型。简单、通用，但样本效率低（要海量交互），且环境一变就得大量重训，正是「快但笨」。

model-based RL / Dyna先学环境的转移与奖赏模型，再用它规划或生成模拟经验。Dyna 把两者缝起来：真实经验更新模型，模型生成的想象经验额外训练价值——样本效率大增，对应海马重放。

world models / MuZero现代做法把世界模型也学成神经网络：在一个学出来的潜在模型里做想象与规划。DeepMind 的 MuZero 甚至不被告知游戏规则，自己学一个够用的内部模型来做前瞻搜索——这恰是「持世界模型、临场规划」思想在 AI 里的强力体现。

同一道数学题

大脑的习惯系统和强化学习里的 model-free 算法解的是同一个问题（缓存价值、按值行动），大脑的规划系统和 model-based / world-model 方法解的也是同一个问题（持模型、想象后果、择优）。连「仲裁」这件事都有机器学习的影子——什么时候值得多花算力规划、什么时候直接用便宜的缓存，正是 AI 系统里「规划预算」要权衡的事。两边反复撞成同一套数学，因为它们面对的是同一类困境：在不确定、会变的世界里，如何既灵活又不至于累死。

常见误解

误解：有模型系统「更聪明」，所以越多越好。（澄清：规划是昂贵的。对稳定、重复的环境，把决策交给便宜的习惯系统才是最优——大脑滑向习惯不是变懒，常常是正确地省算力。两套各有最划算的地盘。）
误解：无模型 = 没有任何模型 / 很原始。（澄清：「无模型」只是说它不学转移结构、不靠它做规划；它照样用 TD 这种相当精巧的学习规则。它笨在不知道世界怎么运转，不笨在学习机制。）
误解：海马重放 = 大脑在「做梦回放真实记忆」，功能已经定论。（澄清：重放确实存在且很可能服务于离线学习/规划，但它的确切计算功能仍在研究中。「重放 = Dyna 式的想象更新」是有力的解释，不是已证的事实——把它当作研究中的领先假说。）
误解：「无模型=系统1、有模型=系统2」是一一对应的硬事实。 （澄清：这是富有成效的类比。系统 1/2 二分本身有争议，神经底物也分布重叠。两套系统的对应是张力的同构，不是脑区的对号入座。）

一句话带走

大脑有两套决策系统并存：无模型缓存价值（习惯），快、省算力，但环境一变就得一格格重学，笨；有模型持一个世界模型，临场展开它来规划/想象，灵活但慢、耗算力。大脑按可靠性与代价在两者间仲裁（Daw 等），海马重放像在离线时间里做规划/经验回放。这正是心理学「系统 1 / 系统 2」的计算升级版，也正是机器学习里 model-free vs model-based、world models、Dyna、MuZero 在解的同一道题。

下一步

无论哪套系统，都有一个共同的前提被我们悄悄假设了：agent 得先认得每个状态、知道两个情境是「像」还是「不像」。价值缓存要按状态索引，世界模型要在状态间连边，规划要识别「我现在到了哪」——这些都要求大脑从有限的、原始的感官经验里，提炼出能泛化的内部表征。那么：大脑到底怎么表征一个概念？这些表征和神经网络学出来的表征，像不像？→ 第 06 课《表征：概念住在空间里》。