概率论 Cheat Sheet 4：随机变量的数学特征（2）

Author: nex3z 2018-06-03

3. 协方差及相关系数

　　定义　量 $E\{[X – E(X)][Y – E(Y)]\}$ 称为随机变量 $X$ 与 $Y$ 的协方差。记为 $Cov(X, Y)$，即

$$\begin{equation} Cov(X, Y) = $E\{[X – E(X)][Y – E(Y)]\} \end{equation}$$

而

$$\begin{equation} \rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}} \end{equation}$$

称为随机变量 $X$ 与 $Y$ 的相关系数。

　　由定义，即知

$$\begin{equation} Cov(X, Y) = Cov(Y, X), \; Cov(X, X) = D(X) \end{equation}$$

由上述定义及前文 $(2.5)$ 式知道，对于任意两个随机变量 $X$ 和 $Y$，下列等式成立：

$$\begin{equation} D(X + Y) = D(X) + D(Y) +2Cov(X, Y) \tag{3.1} \end{equation}$$

　　将 $Cov(X, Y)$ 的定义展开，易得

$$\begin{equation} Cov(X, Y) = E(XY) – E(X)E(Y) \tag{3.2} \end{equation}$$

常利用这一式子计算协方差。

　　协方差具有下述性质：

1. $Cov(aX, bY) = abCov(X, Y)$，$a, b$ 是常数。
2. $Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$

　　定理 1. $|\rho_{XY}| \leq 1$。2. $|\rho_{XY}| = 1$ 的充要条件是，存在常数 $a, b$，使
$$\begin{equation} P\{Y = a + bX\} = 1 \end{equation}$$

　　当 $\rho_{XY} = 0$ 时，称 $X$ 和 $Y$ 不相关。假设随机变量 $X, Y$ 的相关系数 $\rho_{XY}$ 存在，当 $X$ 和 $Y$ 相互独立时，由数学期望的性质 4 及 $(3.2)$ 式知 $Cov(X, Y) = 0$，从而 $\rho_{XY} = 0$，即 $X, Y$ 不相关。反之，若 $X, Y$ 不相关，$X$ 和 $Y$ 却不一定相互独立。上述情况，从“不相关”和“相互独立”的含义来看是明显的。这是因为不相关只是就线性关系来说的，而相互独立是就一般关系而言的。

　　不过，当 $(X, Y)$ 服从二维正态分布时，$X$ 和 $Y$ 不相关与 $X$ 和 $Y$ 相互独立是等价的。二维正态分布的概率密度为

$$\begin{equation} f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left\{ \frac{-1}{2(1-\rho^2)} \left[ \frac{(x – \mu_1)^2}{\sigma_1^2} – 2\rho\frac{(x – \mu_1)(y – \mu_2)}{\sigma_1\sigma_2} + \frac{(y – \mu_2)^2}{\sigma_2^2}\right]\right\} \end{equation}$$

其中的参数 $\rho$ 就是 $X$ 和 $Y$ 的相关系数，因而二维正态随机变量的分布完全可由 $X, Y$ 各自的数学期望、方差以及它们的相关系数所确定。若 $(X, Y)$ 服从二维正态分布，那么 $X$ 和 $Y$ 相互独立的充要条件为 $\rho = 0$。现在知道 $\rho = \rho_{XY}$，故知对于二维正态随机变量 $(X, Y)$ 来说，$X$ 和 $Y$ 不相关与 $X$ 和 $Y$ 相互独立是等价的。

4. 矩、协方差矩阵

　　定义　设 $X$ 和 $Y$ 是随机变量，若

$$\begin{equation} E(X^k), \; k = 1,2,\cdots \end{equation}$$

存在，则称它为 $X$ 的 $k$ 阶原点矩，简称 $k$ 阶矩。

　　若

$$\begin{equation} E\{[X – E(X)]^k\}, \; k = 1,2,\cdots \end{equation}$$

存在，则称它为 $X$ 的 $k$ 阶中心矩。

　　若

$$\begin{equation} E\{[X – E(X)]^k[Y – E(Y)]^l\}, \; k, l = 1,2,\cdots \end{equation}$$

存在，则称它为 $X$ 和 $Y$ 的 $k + l$ 阶混合中心矩。

　　显然，$X$ 的数学期望 $E(X)$ 是 $X$ 的一阶原点矩，方差 $D(X)$ 是 $X$ 的二阶中心距，协方差 $Cov(X, Y)$ 是 $X$ 和 $Y$ 的二阶混合中心距。

　　二维随机变量 $(X_1, X_2)$ 有四个二阶中心距（设它们都存在），分别记为

$$\begin{align} &c_{11} = E\{[X_1 – E(X_1)]^2\} \\ &c_{12} = E\{[X_1 – E(X_1)][X_2 – E(X_2)]\} \\ &c_{21} = E\{[X_2 – E(X_2)][X_1 – E(X_1)]\} \\ &c_{22} = E\{[X_2 – E(X_2)]^2\} \end{align}$$

将它们排成矩阵的形式

$$\begin{equation} \begin{pmatrix} c_{11} & c_{12} \\ c_{21} & c_{22} \end{pmatrix} \end{equation}$$

这个矩阵称为随机变量 $(X_1, X_2)$ 的协方差矩阵。

　　设 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 的二阶混合中心距

$$\begin{equation} c_{ij} = Cov(X_i, X_j) = E\{[X_i – E(X_i)][X_j – E(X_j)]\}, \; i, j = 1,2,\cdots, n \end{equation}$$

都存在，则称矩阵

$$\begin{equation} \mathbf{C} = \begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{bmatrix} \end{equation}$$

为 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 的协方差矩阵。由于 $c_{ij} = c_{ji} \; (i \neq j; i, j = 1,2,\cdots, n)$，因而上述矩阵是一个对称矩阵。

　　一般，$n$ 维随机变量的分布是不知道的，或者是太复杂，以致在数学上不易处理，因此在实际应用中协方差矩阵就显得重要了。

　　引入列矩阵

$$\begin{equation} \mathbf{X} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} , \boldsymbol{\mu} = \begin{bmatrix} \mu_1 \\ \mu_2 \\ \vdots \\ \mu_n \end{bmatrix} = \begin{bmatrix} E(X_1) \\ E(X_2) \\ \vdots \\ E(X_n) \end{bmatrix} \end{equation}$$

$n$ 维正态随机变量 $(X_1, X_2, \cdots, X_n)$ 的概率密度定义为

$$\begin{equation} f(x_1, x_2, \cdots, x_n) = \frac{1}{(2\pi)^{n/2}(\operatorname{det} \mathbf{C})^{1/2}} exp\left\{-\frac{1}{2} (\mathbf{X} – \boldsymbol{\mu})^T\mathbf{C}^{-1} (\mathbf{X} – \boldsymbol{\mu}) \right\} \end{equation}$$

其中 $\mathbf{C}$ 是 $(X_1, X_2, \cdots, X_n)$ 的协方差矩阵。

　　$n$ 维正态随机变量具有以下四条重要的性质：

1. $n$ 维正态随机变量 $(X_1, X_2, \cdots, X_n)$ 的每一分分量 $X_i, i = 1,2,\cdots, n$ 都是正态随机变量；反之，若 $X_1, X_2, \cdots, X_n$ 都是正态随机变量，且相互独立，则 $(X_1, X_2, \cdots, X_n)$ 是 $n$ 维正态随机变量。

2. $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布的充要条件是 $X_1, X_2, \cdots, X_n$ 的任意线性组合
   $$\begin{equation} l_1X_1 + l_2X_2 + \cdots + l_nX_n \end{equation}$$
   服从一维正态分布（其中 $l_1, l_2, \cdots, l_n$ 不全为零）。

3. 若 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布，设 $Y_1, Y_2, \cdots, Y_k$ 是 $X_j \; (j=1,2,\cdots, n)$ 的线性函数，则 $(Y_1, Y_2, \cdots, Y_k)$ 也服从多维正态分布。这一性质称为正态变量的线性变换不变性。

4. 设 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布，则 “$X_1, X_2, \cdots, X_n$ 相互独立” 与“$X_1, X_2, \cdots, X_n$ 两两不相关” 是等价的。