本文档整理概率论中常用的概率分布，包括离散分布和连续分布的定义、性质和应用。

上一篇：期望与积分理论

一、离散分布

1.1 伯努利分布 (Bernoulli Distribution)

定义 参数为 $p \in (0,1)$ 的伯努利分布定义为：

期望与方差：

• $\mathbb{E}[X] = p$
• $\operatorname{Var}(X) = p(1-p)$

特征函数：$f(t) = (1-p) + pe^{it}$

应用：抛硬币、二值决策、成功/失败模型

1.2 泊松分布 (Poisson Distribution)

定义 参数为 $\lambda > 0$ 的泊松分布：

期望与方差：

• $\mathbb{E}[X] = \lambda$
• $\operatorname{Var}(X) = \lambda$

特征函数：$f(t) = \exp(\lambda(e^{it}-1))$

性质：

• 泊松分布的可加性：若 $X \sim \text{Poisson}(\lambda_1)$，$Y \sim \text{Poisson}(\lambda_2)$ 独立，则 $X+Y \sim \text{Poisson}(\lambda_1+\lambda_2)$
• 当 $n \to \infty$, $p \to 0$ 且 $np \to \lambda$ 时，二项分布 $\text{Bin}(n,p)$ 收敛到泊松分布

应用：稀有事件计数、电话呼叫到达、放射性衰变

1.3 几何分布 (Geometric Distribution)

定义 成功概率为 $p \in (0,1)$，第 $k$ 次首次成功的几何分布：

期望与方差：

• $\mathbb{E}[X] = \frac{1}{p}$
• $\operatorname{Var}(X) = \frac{1-p}{p^2}$

特征函数：$f(t) = \frac{pe^{it}}{1-(1-p)e^{it}}$

性质：无记忆性 —— $\mathbb{P}[X > m+n | X > m] = \mathbb{P}[X > n]$

应用：等待时间、重复试验直到成功

二、连续分布

2.1 指数分布 (Exponential Distribution)

定义 参数为 $\lambda > 0$ 的指数分布：

密度函数：

期望与方差：

• $\mathbb{E}[X] = \frac{1}{\lambda}$
• $\operatorname{Var}(X) = \frac{1}{\lambda^2}$

特征函数：$f(t) = \frac{\lambda}{\lambda - it}$

联合分布：$n$ 个参数为 $\lambda > 0$ 的指数分布随机变量之和：

这是伽马分布 $\Gamma(n, \lambda)$。

性质：无记忆性 —— $\mathbb{P}[X > s+t | X > s] = \mathbb{P}[X > t]$

应用：等待时间、寿命分析、泊松过程的到达间隔

2.2 均匀分布 (Uniform Distribution)

定义 区间 $[a,b]$ 上的均匀分布：

期望与方差：

• $\mathbb{E}[X] = \frac{a+b}{2}$
• $\operatorname{Var}(X) = \frac{(b-a)^2}{12}$

特征函数（区间 $[-a,a]$）：$f(t) = \frac{\sin(at)}{at}$

应用：随机抽样、数值模拟、先验分布

2.3 正态分布 (Normal Distribution)

定义 标准正态分布 $\mathcal{N}(0,1)$ 的密度函数：

一般形式 $\mathcal{N}(m, \sigma^2)$ 的密度函数：

期望与方差（标准正态）：

• $\mathbb{E}[X] = 0$
• $\operatorname{Var}(X) = 1$

矩（标准正态）：

• $\mathbb{E}[X^{2n}] = (2n-1)!! = (2n-1)(2n-3)\cdots 3 \cdot 1$
• $\mathbb{E}[X^{2n-1}] = 0$

特征函数（$\mathcal{N}(m, \sigma^2)$）：$f(t) = \exp(imt - \frac{\sigma^2 t^2}{2})$

性质：

• 可加性：独立正态随机变量之和仍是正态的
• 对称性：密度函数关于均值对称
• 中心极限定理的极限分布

应用：自然现象建模、误差分析、统计推断

三、分布性质总结表

四、分布之间的关系图

                     伯努利分布
                         │
                         │ 重复n次独立试验
                         ▼
                   二项分布 Bin(n,p)
                         │
                         │ n→∞, p→0, np→λ
                         ▼
                   泊松分布 Poisson(λ)

                     指数分布 Exp(λ)
                         │
                         │ n个独立之和
                         ▼
              伽马分布 Γ(n, λ)

                  正态分布族
                         │
                         │ 独立和
                         ▼
                 正态分布保持不变

五、重要性质对比

无记忆性分布

具有无记忆性的分布只有：

• 几何分布（离散）
• 指数分布（连续）

无记忆性：$\mathbb{P}[X > s+t | X > s] = \mathbb{P}[X > t]$

可加性分布

独立和保持同类型分布：

• 泊松分布：$\text{Poisson}(\lambda_1) + \text{Poisson}(\lambda_2) = \text{Poisson}(\lambda_1+\lambda_2)$
• 正态分布：$\mathcal{N}(\mu_1, \sigma_1^2) + \mathcal{N}(\mu_2, \sigma_2^2) = \mathcal{N}(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$
• 伽马分布（相同尺度参数）：$\Gamma(r_1, \lambda) + \Gamma(r_2, \lambda) = \Gamma(r_1+r_2, \lambda)$

六、极限关系

1. 二项分布 → 泊松分布：$\text{Bin}(n, \lambda/n) \xrightarrow[n\to\infty]{} \text{Poisson}(\lambda)$
2. 二项分布 → 正态分布（De Moivre-Laplace）：$\text{Bin}(n,p) \xrightarrow[n\to\infty]{} \mathcal{N}(np, np(1-p))$
3. 泊松分布 → 正态分布（大参数）：$\text{Poisson}(\lambda) \xrightarrow[\lambda\to\infty]{} \mathcal{N}(\lambda, \lambda)$

七、实际应用指南

下一篇：收敛理论