应用时间序列分析（1）基本概念

Author: nex3z 2019-07-06

本系列为《时间序列分析及应用 R 语言》一书的整理。

1. 时间序列与随机过程

　　随机变量序列 $\{Y_t: t = 0, \pm 1, \pm 2, \pm 3, \cdots \}$ 称为一个随机过程，以之作为观测时间序列的模型。该过程的完整概率结构是由所有 $Y$ 的有限联合分布构成的分布族决定的。联合分布中的大部分信息可以用过均值、方差和协方差来描述，无需直接处理这些多元分布。因此可以把注意力集中在对一阶和二阶矩的研究上。如果 $Y$ 的联合分布是多元正态分布，则所有的联合分布都可以由一阶和二阶矩完全确定。

2. 期望

　　对于连续随机变量 $X$，其概率密度函数为 $f(x)$，定义 $X$ 的期望为：

$$\begin{equation} E[X] = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \tag{1} \end{equation}$$

期望通常记做 $\mu$。上式中，要求 $\int_{-\infty}^{\infty} |x|f(x) \mathrm{d}x < \infty$。

3. 方差

　　随机变量 $X$ 的方差定义为

$$\begin{equation} \mathrm{Var}(X) = E\{[X – E(X)]^2\} \tag{2} \end{equation}$$

方差通常记做 $\sigma^2$ 使用下式计算方差通常会更方便：

$$\begin{equation} \mathrm{Var}(X) = E(X^2) – [E(X)]^2 \tag{3} \end{equation}$$

　　方差具有如下性质：

$$\begin{equation} \mathrm{Var}(X) \geq 0 \\ \mathrm{Var}(a + bX) = b^2 \mathrm{Var}(X) \end{equation}$$

如果 $X$ 和 $Y$ 独立，则

$$\begin{equation} \mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) \end{equation}$$

　　方差的平方根称为标准差，记做 $\sigma$。

　　随机变量 $(X – \mu_X)(\sigma_X)$ 称为 $X$ 的标准化形式，标准化随机变量的均值为 $0$，标准差为 $1$。

4. 均值

　　对随机过程 $\{Y_t: t = 0, \pm 1, \pm 2, \pm 3, \cdots \}$，均值函数的定义为：

$$\begin{equation} \mu_t = E(Y_t), \quad t = 0, \pm 1, \pm 2, \cdots \tag{4} \end{equation}$$

$\mu_t$ 是过程在 $t$ 时刻的期望值，一般地，不同时刻 $\mu_t$ 可取不同的值。

5. 自协方差函数

　　自协方差函数 $\gamma_{t, s}$ 的定义为：

$$\begin{equation} \gamma_{t, s} = \mathrm{Cov}(Y_t, Y_s), \quad t, s = 0, \pm 1, \pm 2, \cdots \tag{5} \end{equation}$$

其中

$$\begin{equation} \mathrm{Cov}(Y_t, Y_s) = E[(Y_t – \mu_t)(Y_s – \mu_s)] \tag{6} \end{equation}$$

　　协方差具有如下性质：

$$\begin{equation} \mathrm{Cov}(a + bX, c + dY) = bd \mathrm{Cov}(X, Y) \\ \mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X, Y) \\ \mathrm{Cov}(X + Y, Z) = \mathrm{Cov}(X, Z) + \mathrm{Cov}(Y, Z) \\ \mathrm{Cov}(X, X) = \mathrm{Var}(X) \\ \mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X) \end{equation}$$

如果 $X$ 与 $Y$ 相互独立，则

$$\begin{equation} \mathrm{Cov}(X, Y) = 0 \end{equation}$$

　　若 $c_1, c_2, \cdots, c_m$ 和 $d_1, d_2, \cdots, d_n$ 表示常数，$t_1, t_2, \cdots, t_m$ 和 $s_1, s_2, \cdots, s_n$ 表示时点，则有

$$\begin{equation} \mathrm{Cov} \bigg[ \sum_{i=1}^m c_i Y_{t_i}, \sum_{j=1}^n d_j Y_{s_j}\bigg] = \sum_{i=1}^m \sum_{j=1}^n c_i d_j \mathrm{Cov}(Y_{t_i}, Y_{s_j}) \tag{7} \end{equation}$$

特殊地，有

$$\begin{equation} \mathrm{Var}\bigg[ \sum_{i=1}^n c_i Y_{t_i} \bigg] = \sum_{i=1}^n c_i^2 \mathrm{Var}(Y_{t_i}) + 2 \sum_{i=2}^n \sum_{j=1}^{i-1} c_i c_j \mathrm{Cov}(Y_{t_i}, Y_{t_j}) \tag{8} \end{equation}$$

6. 自相关函数

　　自相关函数 $\rho_{t, s}$ 的定义为：

$$\begin{equation} \rho_{t, s} = \mathrm{Corr}(Y_t, Y_s), \quad t, s = 0, \pm 1, \pm 2, \cdots \tag{9} \end{equation}$$

其中

$$\begin{equation} \mathrm{Corr}(Y_t, Y_s) = \frac{\mathrm{Cov}(Y_t, Y_s)}{\sqrt{\mathrm{Var}(Y_t) \mathrm{Var}(Y_s)}} = \frac{\gamma_{t, s}}{\sqrt{\gamma_{t, t} \gamma_{s, s}}} \tag{10} \end{equation}$$

　　相关系数具有如下性质：

$$\begin{equation} -1 \leq \mathrm{Corr}(X, Y) \leq 1 \\ \mathrm{Corr}(a + bX, c + dY) = \mathrm{sign}(bd) \mathrm{Corr}(X, Y) \end{equation}$$

其中 $\mathrm{sign}$ 为符号函数

$$\begin{align} \mathrm{sign}(x) = \begin{cases} 1 & x > 0 \\ 0 & x = 0 \\ -1 & x < 0 \end{cases} \end{align}$$

$\mathrm{Corr}(X, Y) = \pm 1$ 的充要条件是，存在常数 $a$ 和 $b$，使得 $P(Y = aX + b) = 1$。

　　协方差和相关系数都是随机变量间（线性）相关关系的度量，相关系数没有量纲。协方差和相关系数间有如下关系：

$$\begin{align} &\gamma_{t, t} = \mathrm{Var}(Y_t) & \rho_{t, t} = 1 \\ &\gamma_{t, s} = \gamma_{s, t} & \rho_{t, s} = \rho_{s, t} \\ &|\gamma_{t, s}| \leq \sqrt{\gamma_{t, t}\gamma_{s, s}} & |\rho_{t, s}| \leq 1 \end{align}$$

　　$\rho_{t, s}$ 的值接近 $\pm 1$ 时，说明（线性）相关程度强；而接近 $0$ 时，说明（线性）相关程度弱。若 $\rho_{t, s} = 0$，则称 $Y_t$ 和 $Y_s$ 不相关。注意这里的相关性仅指线性关系，不相关的两个随机变量不一定独立，独立的两个随机变量一定不相关。