概率论 Cheat Sheet 4：随机变量的数学特征（2）

Author: 2018-06-03

Math

3. 协方差及相关系数

　　定义　量 $E\{[X – E(X)][Y – E(Y)]\}$ 称为随机变量 $X$ 与 $Y$ 的协方差。记为 $Cov(X, Y)$，即

\begin{equation}
Cov(X, Y) = $E\{[X – E(X)][Y – E(Y)]\}
\end{equation}

而

\begin{equation}
\rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}
\end{equation}

称为随机变量 $X$ 与 $Y$ 的相关系数。

　　由定义，即知

\begin{equation}
Cov(X, Y) = Cov(Y, X), \; Cov(X, X) = D(X)
\end{equation}

由上述定义及前文 $(2.5)$ 式知道，对于任意两个随机变量 $X$ 和 $Y$，下列等式成立：

\begin{equation}
D(X + Y) = D(X) + D(Y) +2Cov(X, Y) \tag{3.1}
\end{equation}

　　将 $Cov(X, Y)$ 的定义展开，易得

\begin{equation}
Cov(X, Y) = E(XY) – E(X)E(Y) \tag{3.2}
\end{equation}

常利用这一式子计算协方差。

　　协方差具有下述性质：

  1. $Cov(aX, bY) = abCov(X, Y)$，$a, b$ 是常数。
  2. $Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$

　　定理 1. $|\rho_{XY}| \leq 1$。2. $|\rho_{XY}| = 1$ 的充要条件是，存在常数 $a, b$，使
\begin{equation}
P\{Y = a + bX\} = 1
\end{equation}

　　当 $\rho_{XY} = 0$ 时，称 $X$ 和 $Y$ 不相关。假设随机变量 $X, Y$ 的相关系数 $\rho_{XY}$ 存在，当 $X$ 和 $Y$ 相互独立时，由数学期望的性质 4 及 $(3.2)$ 式知 $Cov(X, Y) = 0$，从而 $\rho_{XY} = 0$，即 $X, Y$ 不相关。反之，若 $X, Y$ 不相关，$X$ 和 $Y$ 却不一定相互独立。上述情况，从“不相关”和“相互独立”的含义来看是明显的。这是因为不相关只是就线性关系来说的，而相互独立是就一般关系而言的。

　　不过，当 $(X, Y)$ 服从二维正态分布时，$X$ 和 $Y$ 不相关与 $X$ 和 $Y$ 相互独立是等价的。二维正态分布的概率密度为

\begin{equation}
f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left\{ \frac{-1}{2(1-\rho^2)} \left[ \frac{(x – \mu_1)^2}{\sigma_1^2} – 2\rho\frac{(x – \mu_1)(y – \mu_2)}{\sigma_1\sigma_2} + \frac{(y – \mu_2)^2}{\sigma_2^2}\right]\right\}
\end{equation}

其中的参数 $\rho$ 就是 $X$ 和 $Y$ 的相关系数，因而二维正态随机变量的分布完全可由 $X, Y$ 各自的数学期望、方差以及它们的相关系数所确定。若 $(X, Y)$ 服从二维正态分布，那么 $X$ 和 $Y$ 相互独立的充要条件为 $\rho = 0$。现在知道 $\rho = \rho_{XY}$，故知对于二维正态随机变量 $(X, Y)$ 来说，$X$ 和 $Y$ 不相关与 $X$ 和 $Y$ 相互独立是等价的。

4. 矩、协方差矩阵

　　定义　设 $X$ 和 $Y$ 是随机变量，若

\begin{equation}
E(X^k), \; k = 1,2,\cdots
\end{equation}

存在，则称它为 $X$ 的 $k$ 阶原点矩，简称 $k$ 阶矩。

　　若

\begin{equation}
E\{[X – E(X)]^k\}, \; k = 1,2,\cdots
\end{equation}

存在，则称它为 $X$ 的 $k$ 阶中心矩。

　　若

\begin{equation}
E\{[X – E(X)]^k[Y – E(Y)]^l\}, \; k, l = 1,2,\cdots
\end{equation}

存在，则称它为 $X$ 和 $Y$ 的 $k + l$ 阶混合中心矩。

　　显然，$X$ 的数学期望 $E(X)$ 是 $X$ 的一阶原点矩，方差 $D(X)$ 是 $X$ 的二阶中心距，协方差 $Cov(X, Y)$ 是 $X$ 和 $Y$ 的二阶混合中心距。

　　二维随机变量 $(X_1, X_2)$ 有四个二阶中心距（设它们都存在），分别记为

\begin{align}
&c_{11} = E\{[X_1 – E(X_1)]^2\} \\
&c_{12} = E\{[X_1 – E(X_1)][X_2 – E(X_2)]\} \\
&c_{21} = E\{[X_2 – E(X_2)][X_1 – E(X_1)]\} \\
&c_{22} = E\{[X_2 – E(X_2)]^2\}
\end{align}

将它们排成矩阵的形式

\begin{equation}
\begin{pmatrix}
c_{11} & c_{12} \\
c_{21} & c_{22}
\end{pmatrix}
\end{equation}

这个矩阵称为随机变量 $(X_1, X_2)$ 的协方差矩阵。

　　设 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 的二阶混合中心距

\begin{equation}
c_{ij} = Cov(X_i, X_j) = E\{[X_i – E(X_i)][X_j – E(X_j)]\}, \; i, j = 1,2,\cdots, n
\end{equation}

都存在，则称矩阵

\begin{equation}
\mathbf{C} = \begin{bmatrix}
c_{11} & c_{12} & \cdots & c_{1n} \\
c_{21} & c_{22} & \cdots & c_{2n} \\
\vdots & \vdots & & \vdots \\
c_{n1} & c_{n2} & \cdots & c_{nn}
\end{bmatrix}
\end{equation}

为 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 的协方差矩阵。由于 $c_{ij} = c_{ji} \; (i \neq j; i, j = 1,2,\cdots, n)$，因而上述矩阵是一个对称矩阵。

　　一般，$n$ 维随机变量的分布是不知道的，或者是太复杂，以致在数学上不易处理，因此在实际应用中协方差矩阵就显得重要了。

　　引入列矩阵

\begin{equation}
\mathbf{X} = \begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{bmatrix}
, \boldsymbol{\mu} = \begin{bmatrix}
\mu_1 \\
\mu_2 \\
\vdots \\
\mu_n
\end{bmatrix}
= \begin{bmatrix}
E(X_1) \\
E(X_2) \\
\vdots \\
E(X_n)
\end{bmatrix}
\end{equation}

$n$ 维正态随机变量 $(X_1, X_2, \cdots, X_n)$ 的概率密度定义为

\begin{equation}
f(x_1, x_2, \cdots, x_n) = \frac{1}{(2\pi)^{n/2}(\operatorname{det} \mathbf{C})^{1/2}} exp\left\{-\frac{1}{2} (\mathbf{X} – \boldsymbol{\mu})^T\mathbf{C}^{-1} (\mathbf{X} – \boldsymbol{\mu}) \right\}
\end{equation}

其中 $\mathbf{C}$ 是 $(X_1, X_2, \cdots, X_n)$ 的协方差矩阵。

　　$n$ 维正态随机变量具有以下四条重要的性质：

  1. $n$ 维正态随机变量 $(X_1, X_2, \cdots, X_n)$ 的每一分分量 $X_i, i = 1,2,\cdots, n$ 都是正态随机变量；反之，若 $X_1, X_2, \cdots, X_n$ 都是正态随机变量，且相互独立，则 $(X_1, X_2, \cdots, X_n)$ 是 $n$ 维正态随机变量。

  2. $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布的充要条件是 $X_1, X_2, \cdots, X_n$ 的任意线性组合
    \begin{equation}
    l_1X_1 + l_2X_2 + \cdots + l_nX_n
    \end{equation}
    服从一维正态分布（其中 $l_1, l_2, \cdots, l_n$ 不全为零）。

  3. 若 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布，设 $Y_1, Y_2, \cdots, Y_k$ 是 $X_j \; (j=1,2,\cdots, n)$ 的线性函数，则 $(Y_1, Y_2, \cdots, Y_k)$ 也服从多维正态分布。这一性质称为正态变量的线性变换不变性。

  4. 设 $(X_1, X_2, \cdots, X_n)$ 服从 $n$ 维正态分布，则 “$X_1, X_2, \cdots, X_n$ 相互独立” 与“$X_1, X_2, \cdots, X_n$ 两两不相关” 是等价的。