3.4 贝叶斯定理与不等式

贝叶斯定理是概率推断的核心工具。概率不等式则为随机变量尾部行为提供上界估计，在风险管理中至关重要。

---

一、全概率公式

若事件 $B_1, B_2, \dots, B_n$ 构成样本空间 $\Omega$ 的一个分割，则对任意事件 $A$：

$$P(A) = \sum_{i=1}^n P(A \mid B_i)\,P(B_i)$$

算一个：三个工厂生产同一款产品。工厂1产量占50%（次品率2%），工厂2占30%（次品率3%），工厂3占20%（次品率5%）。随机抽取一件产品是次品的概率。

工厂 $i$	$P(B_i)$	次品率 $P(A \mid B_i)$	$P(A \mid B_i)P(B_i)$
1	0.5	0.02	0.01
2	0.3	0.03	0.009
3	0.2	0.05	0.01

$$P(\text{次品}) = 0.01 + 0.009 + 0.01 = 0.029 = 2.9\%$$

---

二、贝叶斯定理

2.1 公式

$$P(B_i \mid A) = \frac{P(A \mid B_i)\,P(B_i)}{\displaystyle\sum_j P(A \mid B_j)\,P(B_j)} = \frac{P(A \mid B_i)\,P(B_i)}{P(A)}$$

后验概率 $\propto$ 似然 $\times$ 先验概率。

2.2 逐步计算

算一个：接上例。已知抽到一件次品，求它来自工厂1的概率。

步骤	计算
先验 $P(B_1)$	$0.5$
似然 $P(A \mid B_1)$	$0.02$
联合概率 $P(A \cap B_1)$	$0.5 \times 0.02 = 0.01$
全概率 $P(A)$	$0.029$（上一步结果）
后验 $P(B_1 \mid A)$	$0.01 / 0.029 \approx 0.3448$

同理：$P(B_2 \mid A) = 0.009/0.029 \approx 0.3103$，$P(B_3 \mid A) = 0.01/0.029 \approx 0.3448$。

---

三、概率不等式

这些不等式在只知道期望和方差（不需要完整分布）时，就能对尾部概率给出估计。

3.1 Markov 不等式

非负随机变量 $X \ge 0$，对任意 $a > 0$：

$$P(X \ge a) \le \frac{\mathbb{E}[X]}{a}$$

算一个：某资产价格 $X \ge 0$，$\mathbb{E}[X] = 100$。求 $P(X \ge 500)$ 的上界。

$$P(X \ge 500) \le \frac{100}{500} = 0.2 = 20\%$$

即极端高价出现的概率不超过 20%。

3.2 Chebyshev 不等式

对任意随机变量 $X$ 有有限方差，对任意 $k > 0$：

$$P(|X - \mathbb{E}[X]| \ge k\sigma) \le \frac{1}{k^2}$$

其中 $\sigma = \sqrt{\text{Var}(X)}$。

算一个：某策略日收益率均值 $\mu = 0.001$，标准差 $\sigma = 0.02$。求日收益率偏离均值超过 $3\sigma$（即 $|r - \mu| \ge 0.06$）的概率上界。

$$P(|r - \mu| \ge 3\sigma) \le \frac{1}{3^2} = \frac{1}{9} \approx 0.1111$$

即极端亏损或盈利的概率不超过 11.11%。注意：若实际分布是正态，实际概率约为 0.27%，Chebyshev 给出的是保守上界。

$k$	Chebyshev 上界	正态实际概率
1	1 (100%)	0.3173 (31.73%)
2	$1/4 = 0.25$ (25%)	0.0455 (4.55%)
3	$1/9 \approx 0.111$ (11.11%)	0.0027 (0.27%)
4	$1/16 = 0.0625$ (6.25%)	$6.3\times10^{-5}$ (0.0063%)

3.3 Chernoff 不等式（针对独立随机变量和）

对于独立 $\{0,1\}$ 随机变量 $X_1,\dots,X_n$，$S_n = \sum X_i$，$\mu = \mathbb{E}[S_n]$：

$$P(S_n \ge (1+\delta)\mu) \le \left(\frac{e^\delta}{(1+\delta)^{1+\delta}}\right)^\mu$$

算一个：抛 100 次公平硬币，$\mu = 50$。求 $P(S_n \ge 60)$ 的 Chernoff 上界。

设 $\delta = (60-50)/50 = 0.2$：

$$P(S_n \ge 60) \le \left(\frac{e^{0.2}}{(1.2)^{1.2}}\right)^{50}$$

部分	值
$e^{0.2}$	$1.2214$
$(1.2)^{1.2}$	$1.2446$
比值	$0.9814$
50 次方	$0.9814^{50} \approx 0.391$

Chernoff 上界 $\approx 39.1\%$，比 Chebyshev 更紧（Chebyshev 上界约 $1/4 = 25\%$，实际约 $0.028$ 即 2.8%）。

Quant Link：尾部风险 VaR（风险价值）本质上是收益分布的分位数，而 CVaR（条件风险价值）是尾部条件期望：

$$\text{VaR}_\alpha(X) = \inf\{x \mid P(X \le x) \ge \alpha\}$$

$$\text{CVaR}_\alpha(X) = \mathbb{E}[X \mid X \le \text{VaR}_\alpha(X)]$$

概率不等式（尤其是 Chernoff）在统计套利和机器学习中用于构建置信区间和控制过拟合风险，是量化风控的理论基石。

---

Python 验证

import numpy as np

# Chebyshev 验证：对正态分布采样
np.random.seed(42)
N = 100000
mu, sigma = 0, 1
samples = np.random.normal(mu, sigma, N)
k = 3
prob_empirical = np.mean(np.abs(samples - mu) >= k * sigma)
print(f"P(|X-μ| >= {k}σ) = {prob_empirical:.5f}")
print(f"Chebyshev bound  = {1/k**2:.5f}")

# Chernoff 验证：抛 100 次硬币
n, p = 100, 0.5
trials = 100000
S = np.random.binomial(n, p, trials)
prob_60 = np.mean(S >= 60)
print(f"P(S_100 >= 60) = {prob_60:.4f}")

---

小结

工具	作用	量化应用
全概率公式	分解复杂事件	多因子风险归因
贝叶斯定理	后验推断	参数估计、模型更新
Markov 不等式	尾部 $P(X \ge a)$ 上界	极端收益概率
Chebyshev 不等式	尾部 $P(|X-\mu|\ge k\sigma)$ 上界	VaR 保守估计
Chernoff 不等式	独立和的指数尾上界	机器学习泛化界

下一步：继续学习 3.5 大数定律与中心极限定理——样本均值逼近真值的理论基础。