概率论 Cheat Sheet 23：随机变量和的协方差、方差及相关系数

Author: nex3z 2019-01-24

　　假设 $X, Y$ 联合连续且具有联合密度 $f(x, y)$，因此有

$$\begin{align} E[g(X)h(Y)] &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x)h(y)f(x, y) \mathrm{d}x \mathrm{d}y = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x) h(y) f_X(x) f_Y(y) \mathrm{d}x \mathrm{d}y \\ &= \int_{-\infty}^{\infty} h(y) f_Y(y) \mathrm{d}y \int_{-\infty}^{\infty} g(x) f_X(x) \mathrm{d}x = E[g(X)]E[h(Y)] \end{align}$$

离散情形也可以得到类似的结果，于是有以下命题成立。

　　命题　如果 $X, Y$ 相互独立，那么对于任何函数 $h$ 和 $g$，有下式成立

$$\begin{equation} E[g(X)h(Y)] = E[g(X)]E[h(Y)] \tag{1} \end{equation}$$

　　上式说明，独立随机变量乘积的期望等于它们各自期望的乘积。

1. 协方差

　　单个随机变量的期望和方差给出了该随机变量的信息，两个随机变量的协方差给出了两个随机变量之间关系的信息。

　　定义　$X$ 和 $Y$ 之间的协方差 $\mathrm{Cov}(X, Y)$ 定义为

$$\begin{equation} \mathrm{Cov}(X, Y) = E[(X – E[X])(Y – E[Y])] \tag{2} \end{equation}$$

　　把上式右边的表达式展开，得到

$$\begin{align} \mathrm{Cov}(X, Y) &= E[XY – E[X]Y – XE[Y] + E[X]E[Y]] \\ &= E[XY] – E[X]E[Y] – E[X]E[Y] + E[X]E[Y] \\ &= E[XY] – E[X]E[Y] \tag{3} \end{align}$$

　　需要注意的是，若 $X$ 和 $Y$ 相互独立，则由式 $(1)$ 可知 $\mathrm{Cov}(X, Y) = 0$，但其逆命题却不真。

　　命题　协方差具有如下性质：

(i) $\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)$
(ii) $\mathrm{Cov}(X, X) = \mathrm{Var}(X)$
(iii) $\mathrm{Cov}(aX, Y) = a\mathrm{Cov}(X, Y)$
(iv) $\mathrm{Cov}(\sum\limits_{i=1}^n X_i, \sum\limits_{j=1}^m Y_j) = \sum\limits_{i=1}^n \sum\limits_{j=1}^m X_i, Y_j$

2. 方差

　　利用上面的 (ii) 和 (iv)，取 $Y_j = X_j$（$j = 1, \cdots, n$），可得

$$\begin{align} \mathrm{Var}(\sum_{i=1}^n X_i) &\overset{(ii)}{=} \mathrm{Cov}(\sum_{i=1}^n X_i, \sum_{j=1}^n X_i) \overset{(iv)}{=} \sum_{i=1}^n \sum_{j=1}^n \mathrm{Cov}(X_i, X_j) \\ &= \sum_{i=1}^n \mathrm{Var}(X_i) + \underset{i \neq j}{\sum\sum} \mathrm{Cov}(X_i, X_j) \end{align}$$

在上式中，每对 $i, j$（$i \neq j$）在二重加和中出现了两次（不考虑顺序），因此上式等价于

$$\begin{equation} \mathrm{Var}(\sum_{i=1}^n X_i) = \sum_{i=1}^n \mathrm{Var}(X_i) + 2 \underset{i < j}{\sum\sum} \mathrm{Cov}(X_i, X_j) \tag{4} \end{equation}$$

如果 $X_1, \cdots X_n$ 两两独立，即对于 $i \neq j$，$X_i$ 与 $X_j$ 相互独立，则式 $(4)$ 可化简为

$$\begin{equation} \mathrm{Var}(\sum_{i=1}^n X_i) = \sum_{i=1}^n \mathrm{Var}(X_i) \tag{5} \end{equation}$$

2.1. 样本方差

　　设 $X_1, \cdots X_n$ 为独立同分布的随机变量序列，期望为 $\mu$，方差为 $\sigma^2$，如前文定义，样本均值为

$$\begin{equation} \overline{X} = \frac{\sum\limits_{i=1}^n X_i}{n} \end{equation}$$

计算 $\overline{X}$ 的方差如下

$$\begin{equation} \mathrm{Var}(\overline{X}) = \Big(\frac{1}{n}\Big)^2 \mathrm{Var}\Big(\sum_{i=1}^n X_i\Big) = \Big(\frac{1}{n}\Big)^2 \sum_{i=1}^n \mathrm{Var} \Big(X_i\Big) = \frac{\sigma^2}{n} \end{equation}$$

$X_i – \overline{X}$（$i = 1, \cdots, n$）成为离差，即个体数据与样本均值之差。定义样本方差为

$$\begin{equation} S^2 = \sum_{i=1}^n \frac{(X_i – \overline{X})^2}{n – 1} \tag{5} \end{equation}$$

由式 $(5)$ 可得

$$\begin{align} (n – 1)S^2 &= \sum_{i=1}^n (X_i – \mu + \mu – \overline{X})^2 = \sum_{i=1}^n (X_i – \mu)^2 + \sum_{i=1}^n (\overline{X} – \mu)^2 + 2(\overline{X} – \mu) \sum_{i=1}^n (X_i – \mu) \\ &= \sum_{i=1}^n (X_i – \mu)^2 + n(\overline{X} – \mu)^2 – 2(\overline{X} – \mu) \cdot n (\overline{X} – \mu) = \sum_{i=1}^n (X_i – \mu)^2 – n(\overline{X} – \mu)^2 \end{align}$$

上式等号两端求期望，得

$$\begin{equation} (n – 1)E[S^2] = \sum_{i=1}^n E[(X_i – \mu)^2] – nE[(\overline{X} – \mu)^2] = n\sigma^2 – n\mathrm{Var}(\overline{X}) = (n – 1)\sigma^2 \end{equation}$$

由上式解得

$$\begin{equation} E[S^2] = \sigma^2 \end{equation}$$

2.2. 二项随机变量的方差

　　设 $X$ 服从参数为 $(n, p)$ 的二项分布，则 $X$ 可以表示 $n$ 次独立重复试验的成功次数，每次试验的成功概率为 $p$。记 $X_i$（$i = 1, \cdots, n$）为独立同分布的伯努利随机变量

$$\begin{equation} X_i =\begin{cases}1 & 第 \; i \; 次试验成功 \\ 0 & 其他\end{cases} \end{equation}$$

则

$$\begin{equation} X = X_1 + \cdots + X_n \end{equation}$$

由式 $(4)$ 可得

$$\begin{equation} \mathrm{Var}(X) = \mathrm{Var}(X_1) + \cdots + \mathrm{Var}(X_n) \end{equation}$$

又因为

$$\begin{equation} \mathrm{Var}(X_i) = E[X_i^2] – (E[X_i])^2 = E[X_i] – (E[X_i])^2 = p – p^2 \end{equation}$$

于是

$$\begin{equation} \mathrm{Var}(X) = np(1 – p) \end{equation}$$

这与前文得到的结论一致。

3. 相关系数

　　设 $X$ 和 $Y$ 为两个随机变量，假定 $\mathrm{Var}(X)$ 和 $\mathrm{Var}(Y)$ 均大于 $0$，则 $X$ 和 $Y$ 的相关系数 $\rho(X, Y)$ 定义为

$$\begin{equation} \rho(X, Y) = \frac{\mathrm{Cov}(X, Y)}{\sqrt{\mathrm{Var}(X) \mathrm{Var}(Y)}} \tag{6} \end{equation}$$

可以证明有 $-1 \leq \rho(X, Y) \leq 1$。

　　相关系数是 $X$ 和 $Y$ 之间线性相关程度的一种度量。当 $\rho(X, Y)$ 接近 $+1$ 或 $-1$ 时，表明 $X$ 和 $Y$ 之间具有很高的线性相关行；当 $\rho(X, Y)$ 接近 $0$ 时，表示两者之间缺乏线性相关性。$\rho(X, Y)$ 为正说明当 $X$ 增加时 $Y$ 趋于增加；$\rho(X, Y)$ 为负说明当 $X$ 增加时 $Y$ 趋于下降。若 $\rho(X, Y) = 0$，说明 $X$ 和 $Y$ 时不相关的（Uncorrelated）。