数学 / 概率与统计 · 从样本空间到成对数据 / 条件概率、全概率与贝叶斯公式 待审核 6 / 16
conditional · 全概率 · Bayes

条件概率、全概率与贝叶斯公式

「已经知道 B 发生了,A 还有多大可能」——这就是条件概率(conditional probability) P(A∣B)P(A \mid B)。它的几何直觉是样本空间收缩:一旦确定落在 B 里,B 之外的结果全部出局,新的「全部」变成 B,A 只保留与 B 交叠的那部分。由 P(A∣B)=P(A∩B)/P(B)P(A \mid B) = P(A\cap B) / P(B)(下同,均设 P(B)>0P(B) > 0)出发,把一个复杂事件按若干互斥前提拆开求和,得到全概率公式;再把条件反过来、从结果倒推前提,得到贝叶斯公式(Bayes' theorem)。

1 · 样本空间的收缩

P(A∣B)=P(A∩B)/P(B)P(A \mid B) = P(A\cap B) / P(B)

仍用掷两枚可区分骰子的 6×66 \times 6 格阵作样本空间。选定条件 BB 后,不属于 BB 的格子被排除出新的样本空间;属于 BB 的格子里,同时属于 AA 的那部分即 A∩BA \cap B。此时 P(A∣B)P(A \mid B) 不再除以 36,而是在收缩后的 BB 里数比例:∣A∩B∣|A\cap B| 除以 ∣B∣|B|。

图 1-1 · 条件 BB 选定后样本空间的收缩。可切换 AA 与 BB,对照条件概率与无条件概率 P(A)P(A) 的差异;不属于 BB 的格子淡出,A∩BA\cap B 高亮。

注 · 当 P(A∣B)P(A \mid B) 与 P(A)P(A) 相等,说明「BB 是否发生」丝毫不改变 AA 的概率,此时称 AA 与 BB 相互独立(independent)。注意等价关系只在 P(B)>0P(B) > 0 时成立:独立性的定义式是 P(A∩B)=P(A) P(B)P(A\cap B) = P(A)\,P(B),P(B)=0P(B) = 0 时 P(A∣B)P(A \mid B) 无定义而独立性仍然成立。若两者不等,则 BB 携带了关于 AA 的信息——大于 P(A)P(A) 时 BB 让 AA 更可能发生,小于时则相反。

2 · 全概率公式与贝叶斯公式

P(A)=∑iP(Bi)P(A∣Bi)P(A) = \sum_i P(B_i) P(A \mid B_i)

两条流水线 B1B_1、B2B_2 生产同一零件:B1B_1 占产量的比例 ww、B2B_2 占 1−w1-w,各自的次品率为 r1r_1 与 r2r_2。记 AA 为抽到一件次品。整个抽件过程展开成一棵概率树:根先按产线分成两支(边权 P(B1)=wP(B_1) = w、P(B2)=1−wP(B_2) = 1-w),每支再分出次品与合格(边权 rir_i 与 1−ri1-r_i)。一条从根到叶的路径概率等于沿途边权之乘积。

图 2-1 · 两条产线的概率树与全概率、贝叶斯两步推导。可拖动产量占比与两条产线的次品率,观察 P(A)P(A) 与后验 P(Bi∣A)P(B_i \mid A) 随之变化。

注 · 这一步里藏着基础比率(base rate)效应:某条产线次品率高,但若它的产量占比很小,抽到的次品仍未必主要来自它。后验 P(Bi∣A)P(B_i \mid A) 是次品率与产量占比两者的合成,只看次品率会误判来源。默认参数下 B2B_2 的次品率是 B1B_1 的三倍、只占三成产量,却贡献了 56.25% 的次品。同样的机制在医学检测里表现为「高准确率的检测仍可能大量误报」,进一步的方阵与 base-rate 视角见 条件概率 / 贝叶斯(方阵与 base-rate)。

3 · 参考文献

  1. Conditional probability. Wikipedia. 条件概率的定义与样本空间收缩的读法。https://en.wikipedia.org/wiki/Conditional_probability
  2. Law of total probability. Wikipedia. 全概率公式与它对划分的要求。https://en.wikipedia.org/wiki/Law_of_total_probability
  3. Bayes theorem. Wikipedia. 贝叶斯公式、先验与后验。https://en.wikipedia.org/wiki/Bayes%27_theorem
  4. Base rate fallacy. Wikipedia. 基础比率效应及医学检测里的表现。https://en.wikipedia.org/wiki/Base_rate_fallacy