15、贝叶斯统计：原理、模型与应用

贝叶斯统计：原理、模型与应用

1. 贝塔分布混合

在贝叶斯统计中，贝塔分布混合是一种重要的模型。假设每个 $p(\theta|h = k)$ 是共轭的，$p(h = k)$ 被称为（先验）混合权重。后验可以写成共轭分布的混合形式：
[p(\theta|D) = \sum_{k} p(h = k|D)p(\theta|D, h = k)]
其中，后验混合权重 $p(h = k|D)$ 由下式给出：
[p(h = k|D) = \frac{p(h = k)p(D|h = k)}{\sum_{k’} p(h = k’)p(D|h = k’)}]
这里，$p(D|h = k)$ 是混合分量 $k$ 的边际似然。

例如，若先验如式 (4.144) 所示，观察到 20 次正面和 10 次反面，使用式 (4.143)，后验变为：
[p(\theta|D) = 0.346 \text{Beta}(\theta|40, 30) + 0.654 \text{Beta}(\theta|30, 20)]

我们可以计算硬币偏向正面的后验概率：
[\text{Pr}(\theta > 0.5|D) = \sum_{k} \text{Pr}(\theta > 0.5|D, h = k)p(h = k|D) = 0.9604]
若仅使用单个 $\text{Beta}(20,20)$ 先验，$\text{Pr}(\theta > 0.5|D) = 0.8858$。这表明，如果我们最初怀疑赌场使用了有偏的硬币，这种怀疑会比从开放心态开始更容易得到证实。

2. 狄利克雷 - 多项分布模型