第十一部分 · 从一个神经元到现代 AI

神经元与深度网络：从一个神经元到万能逼近

上一课的支持向量机，是这套数学拼出的一件精巧器物——但它归根到底还是"一条会拐弯的分界线"。从一条线，到能写诗、能下棋、能生成图像的庞然大物，中间那道坎究竟是什么？这一部分我们就来跨过它。第一步，把一个神经元彻底拆开：你会发现它身上没有一块零件是新的，全是前面学过的老朋友；然后我们看它撞上一堵连它都翻不过的墙，再看它怎么靠"堆叠"翻过去。

解剖一个神经元

整座深度学习的大厦，最小的砖只有一种，叫神经元。它做的事可以一字不差地拆成几步——而这几步，没有一步是这门课没教过的。我们一块一块拆，每拆一块就点名它的出处。

第一步——加权求和。神经元收到一组输入 x = (x₁, …, xₙ)（就是空间里的一个点、一个样本），给每个分量配一个权重 w，再加一个偏置 b：

z = w · x + b　（读作"权重向量 w 与输入 x 的内积，加上偏置 b"）

这一步你太熟了。w · x 是第 20 课的内积（点积）——它衡量 x 在 w 方向上投影多长；而"把一组数按权重线性组合"，正是第 11 课里"矩阵就是线性变换"的最小单元。一个神经元的前半截，就是一次线性变换。它和逻辑回归（第 35 课）、和 SVM（第 37 课）的 w · x + b 是同一个式子——你早就见过它三次了。

第二步——非线性（"掰弯"）。光有线性是不够的（下一节你就会亲眼看到它有多不够）。所以把 z 送进一个非线性函数 σ（读作"西格玛"，即激活函数）：

a = σ(z)　（σ 把直线"掰弯"，给神经元表达复杂形状的能力）

常见的两种 σ：sigmoid σ(z) = 1/(1 + e^−z) 把任意实数压进 0 到 1（你在第 35 课逻辑回归里见过它，可以读成"概率"）；ReLU σ(z) = max(0, z) 更简单粗暴——负的压成 0，正的原样通过，是今天大模型里的主力。不管用哪个，关键是它不是直线。一个神经元 = 一次线性变换 + 一次掰弯。就这么简单。

一堵墙：单个神经元学不会 XOR

既然一个神经元就是"线性变换 + 掰弯"，它到底能干多少？先看它不能干什么——这堵墙很矮，却谁也翻不过去。考虑最经典的 XOR（异或）：两个输入，相同则输出 0，不同则输出 1。四个点摆在平面上：

(0,0)→0，　(1,1)→0　（同类，标 0）；　(0,1)→1，　(1,0)→1　（异类，标 1）

你想用一个神经元把这四个点按标签分开。可一个神经元的判决边界是 w · x + b = 0——一条直线（第 20 课）。现在你亲手试试：把 0 类那两个点 (0,0)、(1,1) 放一边，1 类那两个点 (0,1)、(1,0) 放另一边——无论怎么画这条直线都做不到。因为两类点是对角交叉摆放的：任何一条直线切下去，总会把一个 0 和一个 1 分到同一侧。

这就是 XOR 的著名难题：它不是线性可分的。而这堵墙拦住的不止是单个神经元——任何线性模型都在此撞墙：逻辑回归（第 35 课）画的也是一条直线；不带核的 SVM（第 37 课）找的还是一条直线，间隔再大也切不开对角交叉的四个点。历史上这堵墙一度让人以为神经网络是死路（上世纪的"AI 寒冬"）。结论很硬：一次线性变换 + 一次掰弯，表达力就到此为止。要翻墙，得换个招。

翻墙：把神经元堆成层

翻墙的办法朴素得惊人：不要只用一个神经元，用一层。让好几个神经元各自看同一组输入、各画一条自己的线、各掰一次弯，再把它们的输出喂给下一层的神经元去组合。这就是多层感知机（MLP），也叫全连接网络。

为什么加一层就能翻过 XOR 那堵墙？关键在于非线性把输入空间"折弯"了。拿 XOR 来说：安排两个隐藏神经元，一个大致识别"至少有一个输入是 1"，另一个识别"两个输入都是 1"。经过它们各自的掰弯之后，原本对角交叉、纠缠在一起的四个点，被映射到了一个新的坐标空间；在这个新空间里，那四个点的位置被重新摆过，变得可以用一条直线切开了。最后一层神经元只要在新空间里画那条现成的直线，就赢了。隐藏层干的活，就是把"线性不可分"的数据，掰弯成"线性可分"。

为什么非线性是不可省的关键？回想第 11 课早就警告过的一件事：线性变换套线性变换，结果还是线性变换（两个矩阵相乘还是一个矩阵）。所以如果每层都只做 w · x + b 而不掰弯，那么堆一百层，整个网络照样只等价于一次线性变换——还是一条直线，还是翻不过 XOR。正是每层之间那一下 σ，把"复合多层"从原地打转变成了真正的层层深入：

a⁽¹⁾ = σ(W⁽¹⁾x + b⁽¹⁾)，　a⁽²⁾ = σ(W⁽²⁾a⁽¹⁾ + b⁽²⁾)，　…

读作"第一层把输入 x 做线性变换再掰弯，得到 a⁽¹⁾；第二层把上一层的输出 a⁽¹⁾ 当成自己的输入，再做一次线性变换加掰弯"。上一层的输出当下一层的输入 = 函数的复合；而每一次复合之间的那道非线性，就是让边界从"直"变"弯"、让表达力层层放大的那把钥匙。

万能逼近定理

堆叠能翻过 XOR，那它的上限在哪？这里有一个漂亮到近乎不讲道理的答案，叫万能逼近定理（universal approximation theorem）：

一个带足够多隐藏单元的单隐层网络，能把任意连续函数逼近到任意精度。

换句话说：不管你想拟合的目标曲线（或曲面）有多曲折，只要它是连续的，就一定存在一组权重，让一个够宽（隐藏神经元够多）的网络与它处处相差不到你指定的任何小误差。这就是从"一条会拐弯的线"到"能表达任何形状"的那块跳板。

还有一句要紧的补充：宽度能办到的事，深度往往办得更省。万能逼近只要求"够宽"（单层、够多神经元）就够，但要达到同样的表达力，一个又浅又胖的网络可能需要天文数字的神经元，而一个更深（多叠几层）的网络用少得多的参数就够了——深度让复杂函数能被"分层复用、逐级搭建"，这正是"深度学习"里"深度"二字的分量。

三个新问题

万能逼近像是发了一张"能拟合任何东西"的通行证。可正是这张通行证，逼出了这一部分接下来要回答的三个问题——它们就是路线图。

问题一：既然它能拟合任何数据，凭什么不只是把训练集背下来？如果一个网络强到能穿过每一个训练点，那它完全可能连数据里的噪声都一起背熟，然后在没见过的新数据上一塌糊涂。可现实里训练好的网络偏偏能在新数据上工作——这是怎么做到的？这是整个机器学习最深的问题，交给下一课：第 39 课·泛化。

问题二：几百万个参数，到底怎么训得动？好消息是——工具你早已备齐。要减小损失，需要知道每个参数该往哪挪，这是第 25 课的梯度；网络深了、损失是层层复合的函数，硬求导会爆炸，而第 26 课的反向传播（链式法则 + 计算图）让一次反向遍历就拿到所有参数的梯度；拿到梯度后，按第 27 课的梯度下降朝负梯度挪一小步。训练一个庞然大物，本质上只是把这套动作在亿万参数上重复亿万次——没有新魔法。

问题三：全连接网络忽略了数据本身的结构。MLP 把输入当成一长串互不相干的数——可一张图片里，相邻的像素是高度相关的，"边"和"角"是局部的模式，把它拉平成一条向量就把这份结构白白扔了。怎样让网络顺着数据的结构去搭？这把钥匙叫卷积，留给第 40 课。

常见误解

• "神经网络用的是某种全新、高深、我学不会的数学。"——恰恰相反。拆开一个神经元，里面只有两样东西：内积和非线性——全是这门课前面亲手摸过的零件。难的从来不是单块砖的原理，是把它们攒到足够大的规模与工程。
• "一个神经元就已经很强大了。"——不。单个神经元就是逻辑回归的近亲，判决边界只是一条直线，连 XOR 那四个点都分不开。它的威力全部来自堆叠：多个神经元、多层、加上非线性，才谈得上表达力。
• "层数越多就一定越好。"——不一定。深与宽各有取舍：万能逼近只需要足够的宽度（单隐层就够）；深度的价值在于更省参数——同样的表达力，深网络往往比浅胖网络用的参数少得多。更深也带来更难训练等新麻烦，不是无脑堆层就能变强。
• "那个'掰弯'（非线性）只是可有可无的装饰。"——它是全部关键。没有非线性，多层就退化成一次线性变换（第 11 课：线性套线性还是线性），堆一百层也还是一条直线，照样翻不过 XOR。正是每层之间那一下 σ，才让边界弯起来、让表达力层层放大。