第九部分 · 概率、统计与信息
贝叶斯推断：用证据更新信念
第 10 课我们初遇贝叶斯定理，用它把一次"假阳性"的概率算了出来。但那时我们只是用它算"一个数"。这一课要把它升级成一套完整的世界观：参数本身就是一个分布，每来一份证据，就把这个分布往真相挪一步。信念，原来是可以拿数学连续更新的。
留下的问题：可一个"最佳点"丢掉了太多信息。抛 10 次得 7 正 与 抛 1000 次得 700 正，MLE 都吐出 p̂ = 0.7，却完全说不出"我对前者远没那么有把握"。参数本身的不确定，一个点根本表达不了。
本课新增：贝叶斯推断——不再挑一个点，而是保留整条后验分布 P(θ|D)。先验是一条曲线，每来一个观测就用贝叶斯定理把它更新成更尖的后验。我们还会遇上一对天造地设的搭档——共轭（Beta 配伯努利），让"更新"简单到只是数个数。
从"一个点"到"一整条曲线"
上一课的 MAP 已经写出了关键的一行：P(θ|D) ∝ P(D|θ)·P(θ)。当时我们只做了一件事——挑这条曲线的最高点，把它当答案，曲线本身随手扔了。贝叶斯推断的全部主张就是一句话：别扔。整条曲线才是答案。
为什么？因为曲线的形状本身就是"把握"。一条又窄又尖的后验，说"参数几乎肯定在这附近"；一条又矮又胖的后验，说"我也就大概知道个范围"。MLE 和 MAP 把这条曲线压成了一个点，"把握"这个维度当场蒸发。保留整条 P(θ|D)，我们就同时握住了"最可能的值"和"有多确定"。
贝叶斯定理，逐项拆开
第 10 课那个紧凑的公式，这次我们把它每一块都命名清楚，因为这四个名字是整套推断的骨架：
- 先验 P(θ)（读作"θ 的先验概率"）：看数据之前，你对参数的信念。"这硬币多半接近公平"就是一种先验。
- 似然 P(D|θ)（读作"给定 θ 时数据的概率"）：上一课的主角——某个参数把这批数据解释得有多顺。
- 后验 P(θ|D)（读作"给定数据后 θ 的概率"）：糅合先验与数据之后，更新过的信念。这是我们真正想要的东西。
- 证据 P(D)（读作"数据的总概率"）：分母，把后验归一化成一个合法分布（总面积为 1）。它不含 θ，所以挑形状时常常先放一边。
抛开那个只管归一化的分母，骨架就是上一课见过的那一行——但这次我们要看的是整条曲线，不只是它的顶点：
把"信念"画成一条曲线：Beta 先验
参数 p（硬币出正面的概率）是 0 到 1 之间的一个数，所以"对 p 的信念"就是 [0,1] 上的一条概率曲线。有一族曲线天生适合干这个，叫 Beta 分布，由两个旋钮 α、β（读作"alpha、beta"）决定：
- α = β = 1：曲线是一条水平线——"我对 p 一无所知，0 到 1 都一样可能"（均匀先验）。
- α = β = 10：曲线在 0.5 处高高隆起——"我挺确信这硬币接近公平"。
- α = 8, β = 2：峰值偏向 0.8——"我怀疑它偏正面"。
挑哪条先验，就是把你的信念诚实地画出来。然后让数据来修正它。
共轭：为什么"更新"简单到只是数个数
现在做更新。先验是 Beta(α, β)，似然是抛硬币（伯努利）：观测到 k 次正面、m 次反面，似然 ∝ p^k·(1−p)^m。把它们相乘：
看右边这个式子——它又是一个 Beta 分布，只不过旋钮变成了 α+k 和 β+m：
这种"先验和后验属于同一族、更新只改参数"的美妙配对，叫共轭（Beta 是伯努利/二项的共轭先验）。它的意义不只是省事：它让"用证据更新信念"从一个吓人的积分，退化成了数个数。这也让先验有了极清爽的解读——Beta(α,β) 先验 = "我假装事先已经看过 α−1 个正、β−1 个反"，所谓伪计数。下面的小实验，就让你一次一次抛硬币，亲眼看后验从一条胖曲线被证据"挤"得越来越尖。
后验给的，远不止一个数
握住整条后验之后，上一课那些点估计，都成了从这条曲线上"读"出来的不同读数——而曲线还多给了我们一样上一课没有的东西：
- 后验众数（峰值）：曲线最高点，正是上一课的 MAP。所以 MAP 不过是"贝叶斯做完后，只报峰值坐标"的简版。
- 后验均值：(α+k)/(α+β+k+m)，曲线的重心。它天生带"平滑"——抛 2 次全正时，均值不会冒进到 1，而是被先验温柔地拉回，避开了 MLE 的尴尬。
- 可信区间：取曲线中间面积占 95% 的那一段 [p_lo, p_hi]，就能说"我有 95% 的把握 p 落在这区间里"。这就是 MLE 给不出的"把握"，现在它是一段看得见的宽度——观测越多，区间越窄。
一句话：MLE/MAP 是从这条后验曲线上各掐一个点；贝叶斯则把整条曲线交到你手上，要点估计自己掐，要不确定性也现成。
常见误解
- "先验是作弊，让结论变主观。" 先验是把假设摆到明面上，而非藏起来。何况数据一多，似然就压倒先验，后验几乎只听数据的（试试在小实验里抛上几百次：无论先验怎么设，后验都收敛到同一处）。先验只在证据稀薄时起作用——那时它本就该帮忙。
- "后验就是似然。" 不是。似然不归一（对参数积分不为 1），不是分布；后验归一，是堂堂正正的概率分布。只有当先验是平的（均匀）时，后验的形状才和似然相同——这也正是"MAP 在均匀先验下退回 MLE"的原因。
- "95% 可信区间 = 95% 置信区间。" 含义不同。贝叶斯的可信区间可以直接说"参数有 95% 概率落在此区间"（因为参数被当作随机的）；频率派的置信区间说的是"重复实验很多次，95% 的区间会盖住真值"——参数是固定的，随机的是区间。两者数值常接近，但说的是两件事。
- "必须算得出那个积分才能用贝叶斯。" 共轭情形（如本课 Beta–伯努利）确实有闭式解，加加减减就行。但绝大多数真实模型的分母 P(D) 是一个算不出的高维积分——这正是下下课要解决的难题。