贝叶斯定理

贝叶斯定理（Bayes’ theorem）给出了在获得新证据后，如何从先验概率更新到后验概率的数学公式。设有一个假设 $H$ 和一条观测到的证据 $E$ ，则

P (H ∣ E) = \frac{P (H) P (E ∣ H)}{P (E)} .

其中

$P (H)$ 称为先验概率（prior probability），表示在没有看到证据 $E$ 之前对假设 $H$ 的相信程度；
$P (E ∣ H)$ 称为似然（likelihood），表示假设 $H$ 成立时观测到证据 $E$ 的概率；
$P (H ∣ E)$ 称为后验概率（posterior probability），表示看到证据 $E$ 之后修正后的对假设 $H$ 成立的相信程度；
$P (E)$ 称为边际概率（marginal probability），可以用全概率公式计算： $P (E) = \sum_{i} P (H_{i}) P (E ∣ H_{i}),$ 这里 ${H_{i}}$ 为一组互斥且完备的假设。

蒙提霍尔问题（Monty Hall problem）是贝叶斯定理的经典应用之一。问题设定如下：

直觉上似乎换与不换赢的概率都各半，但实际上“换门”赢汽车的概率是 $2 / 3$ ，而“不换”只能 $1 / 3$ 。

要用贝叶斯定理来证明这一点，我们定义三个互斥假设：

H_{1} : 汽车在门 1后, H_{2} : 汽车在门 2后, H_{3} : 汽车在门 3后,

以及事件

M_{2} : 主持人打开了门 2 .

参赛者最初选的是门 1，之后主持人打开门 2，给出的信息即为 $M_{2}$ 。我们要计算的后验概率是

P (H_{3} ∣ M_{2}) = \frac{P (H_{3}) P (M_{2} ∣ H_{3})}{P (M_{2})} .

各项取值如下：

根据全概率公式，

P (M_{2}) = P (H_{1}) P (M_{2} ∣ H_{1}) + P (H_{2}) P (M_{2} ∣ H_{2}) + P (H_{3}) P (M_{2} ∣ H_{3}) = \frac{1}{3} \cdot \frac{1}{2} + \frac{1}{3} \cdot 0 + \frac{1}{3} \cdot 1 = \frac{1}{2} .

于是

P (H_{3} ∣ M_{2}) = \frac{\frac{1}{3} \times 1}{\frac{1}{2}} = \frac{2}{3} .

这说明，主持人打开一扇山羊门后，换到剩下那扇门（门 3）赢汽车的概率是 $2 / 3$ ，而坚持原选门 1 赢汽车的概率是

P (H_{1} ∣ M_{2}) = \frac{P (H_{1}) P (M_{2} ∣ H_{1})}{P (M_{2})} = \frac{\frac{1}{3} \times \frac{1}{2}}{\frac{1}{2}} = \frac{1}{3} .

直观地看：

由此可见，蒙提霍尔问题中的“换门”策略实际上是一个典型的贝叶斯更新过程，合理利用了主持人“知道奖品位置且必定打开山羊门”这一先验信息，从而将赢得汽车的概率从直觉的 $1 / 2$ 提升到 $2 / 3$ 。

贝叶斯定理 ​