概率论 Cheat Sheet 26：正态随机变量的更多性质

Author: nex3z 2019-01-26

1. 多元正态分布

　　设 $Z_1, \cdots, Z_n$ 为 $n$ 个相互独立的标准正态随机变量，若 $X_1, \cdots, X_m$ 可以表示如下

$$\begin{align} X_1 &= a_{11}Z_1 + \cdots + a_{1n}Z_n + \mu_1 \\ X_2 &= a_{21}Z_1 + \cdots + a_{2n}Z_n + \mu_2 \\ & \vdots\\ X_i &= a_{i1}Z_1 + \cdots + a_{in}Z_n + \mu_i \\ & \vdots\\ X_m &= a_{m1}Z_1 + \cdots + a_{mn}Z_n + \mu_m \end{align}$$

其中 $a_{ij}$（$1 \leq i \leq m$，$1 \leq j \leq n$）和 $\mu_i$（$1 \leq i \leq m$）均为常数，那么称 $X_1, \cdots, X_m$ 具有多元正态分布。

　　由于独立正态随机变量之和仍为正态随机变量，故 $X_i$ 为正态随机变量，期均值和方差分别为

$$\begin{equation} E[X_i] = \mu_i, \qquad \mathrm{Var}(X) = \sum_{j=1}^m a_{ij}^2 \end{equation}$$

　　考虑多元正态分布的矩母函数

$$\begin{equation} M(t_1, \cdots, t_m) = E[e^{t_1X_1 + \cdots + t_m X_m}] \end{equation}$$

由于 $\sum\limits_{i=1}^m t_i X_i$ 本身是独立正态随机变量 $Z_1, \cdots, Z_n$ 的线性组合，故 $\sum\limits_{i=1}^m t_i X_i$ 为正态随机变量，其均值和方差分别为

$$\begin{equation} E\Big[\sum_{i=1}^m t_i X_i\Big] = \sum_{i=1}^m t_i \mu_i \\ \mathrm{Var}\Big(\sum_{i=1}^m t_i X_i\Big) = \mathrm{Cov}\Big(\sum_{i=1}^m t_i X_i, \sum_{j=1}^m t_j X_j\Big) = \sum_{i=1}^m \sum_{j=1}^m t_i t_j \mathrm{Cov}(X_i, X_j) \end{equation}$$

对于一般地正态随机变量 $Y$，有

$$\begin{equation} E[e^Y] = M_Y(t)\vert_{t = 1} = e^{\mu + \sigma^2/2} \end{equation}$$

其中 $\mu = E[Y]$，$\sigma^2 = \mathrm{Var}(Y)$。当 $Y = \sum_{i=1}^m t_i X_I$ 时，有

$$\begin{equation} M(t_1, \cdots, t_m) = \exp\Big\{\sum_{i=1}^m t_i \mu_i + \frac{1}{2} \sum_{i=1}^m \sum_{j=1}^m t_i t_j \mathrm{Cov}(X_i, X_j) \Big\} \end{equation}$$

可见 $X_1, \cdots, X_m$ 的联合分布完全由 $E[X_i]$ 和 $\mathrm{Cov}(X_i, X_j)$（$i, j = 1, \cdots, m$）所确定。当 $m = 2$ 时，此多元正态分布就是二元正态分布。

2. 样本均值与样本方差的联合分布

　　命题　设 $X_1, \cdots, X_n$ 为独立同分布的正态随机变量，均值为 $\mu$，方差为 $\sigma^2$，则样本均值 $\overline{X}$ 与样本方差 $S^2$ 相互独立。$\overline{X}$ 是正态随机变量，均值为 $\mu$，方差为 $\sigma^2/n$；$(n – 1)S^2 / \sigma^2$ 是 $\chi^2$ 随机变量，自由度为 $(n – 1)$。