B · 学习与决策的计算
表征:概念住在空间里
上一课我们承认:不管是习惯还是规划,大脑都得从有限经验里学到一套能泛化的内部表征。可「表征」到底长什么样?答案出奇地几何——概念不是存在某个抽屉里,而是住在一个高维空间里的点,相似就意味着距离近。
诱人的错觉:祖母细胞
最省事的表征假设是:脑子里有一个专门的神经元负责「祖母」,它一放电,你就想到祖母;另一个负责「猫」,再一个负责「红色」。这个想法有个昵称叫祖母细胞 (grandmother cell)——一个细胞,一个概念,一一对应。
它之所以诱人,是因为简单。可只要一算就站不住:你能认出的概念远比一辈子可能「专属」分配的神经元安排得过来还多;更要命的是,一个细胞死了你就永远忘了祖母,这显然不符合大脑的稳健(一小撮神经元损失通常不会抹掉一个概念)。真实的电生理记录也表明,单个神经元的反应是含糊的——它会对一堆相关刺激都放点电,对单一刺激并不专一。
正确的图像:群体编码
把镜头从单个细胞拉远,图像就清楚了:信息不在任何一个神经元里,而在一群神经元的联合活动模式里。这叫群体编码 (population coding)。单个神经元像一个粗糙、含糊、爱乱叫的传感器;但把成百上千个这样的传感器的读数合在一起,那个联合模式就能精确地指认一件事。
经典例子是运动方向:初级运动皮层里每个神经元都有一个「偏好方向」,但它的放电对偏离偏好方向的运动也响应(调谐曲线很宽)。光看一个神经元,你说不准猴子要往哪伸手。可把整群神经元各自的偏好方向按其放电率加权一求和——这个群体向量 (population vector)——就精确地指向了实际的运动方向(Georgopoulos)。精度从「群体」里涌现,单个成员并不需要精确。
群体向量 = Σ(每个神经元的偏好方向 × 它的放电率)这一步是整课的枢纽。一旦表征是「一群神经元的联合活动模式」,我们就可以把每一个模式看成一个高维空间里的一个点——有多少个神经元,这个空间就有多少维。神经科学管这个由真实神经活动张成的空间叫神经流形 (neural manifold);机器学习管类似的东西叫嵌入空间 (embedding space)。它们说的是同一件事。
相似=距离,关系=方向
把概念放进空间,立刻送你两条免费的几何性质,而它们正好就是「意义」的两个核心:
第三条最神奇,因为它意味着泛化有了几何解释。你只要学会了「性别」这个方向,就能把它平移到任何你没专门学过的词上。这回答了上一课结尾的问题:表征之所以能泛化,是因为它把世界的结构(哪些维度有意义、概念之间什么关系)编码成了空间的形状——新情形只要落在合适的位置,旧的几何就自动适用。
大脑里真有坐标系:位置细胞与网格细胞
「概念住在空间里」听起来像比喻。可在一个领域里,大脑用的真的就是一套空间坐标系——而且这套机制拿过诺贝尔奖。
这里的关键不是「大脑会记路」,而是机制的形状:网格细胞提供一套不依赖具体环境的、可平移可复用的坐标系,位置细胞在这套坐标上标出具体地点。这恰好就是我们上面说的嵌入空间——一个可以安放任意「点」、并用距离和方向衡量关系的度量空间。
ML 镜像:embeddings 与词向量,是同一道几何题
大脑把概念编码成空间里的点——机器学习几乎一字不差地在做同一件事,只是它把这件事叫作 嵌入 (embedding) 或表征学习 (representation learning)。一个词向量 (word embedding) 就是把每个词映射成几百维空间里的一个向量,训练目标让用法相似的词落得近。于是上面那三条几何性质原封不动地出现:
- 相似=距离:「cat」和「dog」的向量余弦相似度高、离得近;和「red」离得远。最近邻检索=在嵌入空间里找离查询点最近的点。
- 关系=方向:著名的 向量(国王) − 向量(男) + 向量(女) ≈ 向量(女王)——「性别」被编码成一个可平移的方向。这正是大脑「关系=方向」的工程版。
- 从这里长出的整座大厦:现代 LLM 第一步就是把每个 token 查成一个嵌入向量;扩散模型的隐空间 (latent space) 也是同一思想——把图像压成一个低维空间里的点,相近的点解码出相似的图像。
对照本站:词向量与 token 嵌入见 GPT / LLM 课;把数据压进一个连续隐空间、再在其中采样生成,见 扩散与生成模型课。回扣引擎:大脑为「在不确定中表征世界」演化出群体编码与认知地图,机器学习为「从数据中学结构」发明了 embeddings——两边都把意义几何化,因为这是把「相似」「关系」「泛化」一次性解决的同一道数学题。
动手:概念住在空间里
下面是一个 2D 嵌入空间,每个点是一个词,坐标是预设的(体现语义:动物聚一簇、颜色聚一簇、皇室一簇、交通工具一簇)。点任意一个词,部件会把它当查询点,高亮它的最近邻并报出距离——你会看到「相似=距离近」不是口号,是真能量的。再点「类比:国王 − 男 + 女 ≈ ?」,看一次向量平移如何把你送到「女王」附近。
玩完点破:你刚才用一把尺子量出了「意义」。把「猫」当查询,最近邻是「狗」而不是「红」——语义相似被翻译成了几何距离;做一次「国王 − 男 + 女」的平移就落在「女王」边上——语义关系被翻译成了几何方向。大脑的群体编码、网格细胞的认知地图、词向量的嵌入空间,玩的都是这一个把戏:让概念住进空间,意义就成了可以计算的几何。
常见误解
- 误解:脑子里有专门的「祖母神经元」「概念神经元」,一个细胞对应一个概念。 (澄清:单细胞确实可以高度选择,但概念由一群神经元的联合模式稀疏编码,并非一一对应——这是群体编码,不是祖母细胞。「Jennifer Aniston 神经元」常被过度解读,原作者本人也把它定性为稀疏群体编码。)
- 误解:「概念住在空间里」只是个文学比喻。 (澄清:在空间导航上这是字面事实——位置细胞与网格细胞给出真实的神经坐标系(2014 诺奖)。「同一套地图也用于抽象概念空间」是有力但仍在检验的前沿假说,不宜当定论。)
- 误解:嵌入空间的每个维度都对应一个人能命名的语义属性(比如第 3 维就是「性别」)。 (澄清:语义方向通常是分布在许多维度上的,不必对齐到单个坐标轴。「国王−男+女」起作用,靠的是某个方向近似一致,而不是某一维恰好是性别。)
- 误解:神经流形和词向量「像」,所以大脑的表征学习和深度网络是一回事。 (澄清:两边都把意义几何化,这层对应很真;但怎么学出这套表征、需要多少样本,差别巨大——这正是下一课要算的账。)