[DL Note] 线性代数：单位矩阵和逆矩阵
1. 单位矩阵 单位矩阵沿主对角线的元素都是 $1$，其余位置的元素都为 $0$，例如 \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} 2. 逆矩阵 对于一个 $n \times n$ 的矩阵 $\boldsymbol A$，若…
Read more
[DL Note] 线性代数：矩阵运算
1. 矩阵的和 若 $\boldsymbol A$ 和 $\boldsymbol B$ 都是 $m \times n$ 矩阵，则和 $\boldsymbol A + \boldsymbol B$ 也是 $m \times n$ 矩阵，它的各列是 $\boldsymbol A$ 与 $\boldsymbol B$ 各列之和。仅当 $\boldsymbol A$ 与 $\boldsymbol B$…
Read more
时间序列分析：三重指数平滑
双重指数平滑引入了趋势，但还不能处理序列中存在的季节性。为了体现序列中的趋势，对 $x_{n+1}$ 的预测 $\hat x_{n+1}$ 应由局部水平 $L_n$、趋势 $T_n$ 以及季节项 $S_{n+1-m}$ 组成，其中 $m$ 为季节周期。 \begin{equation} \hat x_{n+1} = L_n + T_n + S_{n+1-m} \tag{1} \end{equa…
Read more
时间序列分析：双重指数平滑
1. 定义 在前文提到的简单指数平滑具有如下的形式 \begin{equation} \hat x_{n+1} = \alpha x_n + (1-\alpha) \hat x_n \tag{1} \end{equation} 其中 $\hat x_n$ 是对序列在 $n$ 时刻的预测。 式 $(1)$ 所示的预测只是对历史数据进行平滑，并对未来进行预测，并没有考虑时间序列中可能存在的趋势…
Read more
时间序列分析：简单指数平滑
1. 朴素方法 使用 $X_{n+h}^{n}$ 表示使用时刻为 $n$ 的数据对 $n+h$ 时刻进行预测的预测值，则一种非常朴素的预测方法是直接使用 $n$ 时刻的值 $x_n$ 作为 $n + 1$ 时刻的预测值，即 \begin{equation} x_{n+1}^n = x_n \end{equation} 考虑季节性因素，对于周期为 $S$ 的序列，可以使用上一个周期的值进行预测，…
Read more
时间序列分析：SARIMA 过程
1. SARMA 过程 前文描述的 $\mathrm{ARIMA}(p, d, q)$模型具有如下的形式 \begin{equation} \phi(B) \nabla^d X_t = \theta(B)e_t \end{equation} 即 \begin{equation} \phi(B)(1 – B)^d X_t = \theta(B)e_t \tag{1} \end{equ…
Read more
时间序列分析：ARIMA 建模示例
1. 一般流程 对时间序列的分析和建模一般有一下几个步骤： 查看时间序列的图像： 1.1. 如果具有趋势，可能需要对序列进行差分； 1.2. 如果方差随时间变化，可能需要对序列进行转换，如 $\log$ 变换。先进行 $\log$ 变换再做差分的变换称为 Log-Return。 查看 ACF 图像，判断滑动平均的阶数。 查看 PACF 图像，判断自回归阶数。 选择若干组参数进行建模，可以使用如…
Read more
时间序列分析：Ljung-Box Q 统计量
为了对序列的自相关系数进行推断，Box 和 Pierce 提出了 Portmanteau 统计量 \begin{equation} Q^*(m) = T \sum_{i=1}^m r_i^2 \tag{1} \end{equation} 其中 $T$ 为序列长度，$r_i$ 为样本自相关系数。在某些情况下，$Q^*(m)$ 趋近于自由度为 $m$ 的 $\chi^2$ 分布，即 \begin{…
Read more
时间序列分析：AIC
使用 ACF 和 PACF 图像可以在一定程度上帮助我们确定数据所符合的模型及其阶数，但面对实际的数据时，往往会发现多个模型都能较好地拟合数据。 假设有一个时间序列 ts.data 如图 1 所示，计算其 ACF 和 PACF 图像如图 2、图 3 所示。 可见 ACF 图像呈现连续衰减，PACF 图像在滞后为 $2$ 处截断，这看上去像是一个 $\mathrm{AR}(2)$ 过程，但比…
Read more
时间序列分析：Yule-Walker 估计示例
1. $\mathrm{AR}(2)$ 考虑 $\mathrm{AR}(2)$ 过程 \begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + e_t \tag{1} \end{equation} 其中 $e_t \sim N(0, \sigma_e^2)$，$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$，并假设…
Read more