[DL Note] 线性代数:矩阵运算
1. 矩阵的和 若 $\boldsymbol A$ 和 $\boldsymbol B$ 都是 $m \times n$ 矩阵,则和 $\boldsymbol A + \boldsymbol B$ 也是 $m \times n$ 矩阵,它的各列是 $\boldsymbol A$ 与 $\boldsymbol B$ 各列之和。仅当 $\boldsymbol A$ 与 $\boldsymbol B$…
Read more
learn, build, evaluate
1. 矩阵的和 若 $\boldsymbol A$ 和 $\boldsymbol B$ 都是 $m \times n$ 矩阵,则和 $\boldsymbol A + \boldsymbol B$ 也是 $m \times n$ 矩阵,它的各列是 $\boldsymbol A$ 与 $\boldsymbol B$ 各列之和。仅当 $\boldsymbol A$ 与 $\boldsymbol B$…
Read more
双重指数平滑引入了趋势,但还不能处理序列中存在的季节性。为了体现序列中的趋势,对 $x_{n+1}$ 的预测 $\hat x_{n+1}$ 应由局部水平 $L_n$、趋势 $T_n$ 以及季节项 $S_{n+1-m}$ 组成,其中 $m$ 为季节周期。 \begin{equation} \hat x_{n+1} = L_n + T_n + S_{n+1-m} \tag{1} \end{equa…
Read more
1. 定义 在前文提到的简单指数平滑具有如下的形式 \begin{equation} \hat x_{n+1} = \alpha x_n + (1-\alpha) \hat x_n \tag{1} \end{equation} 其中 $\hat x_n$ 是对序列在 $n$ 时刻的预测。 式 $(1)$ 所示的预测只是对历史数据进行平滑,并对未来进行预测,并没有考虑时间序列中可能存在的趋势…
Read more
1. 朴素方法 使用 $X_{n+h}^{n}$ 表示使用时刻为 $n$ 的数据对 $n+h$ 时刻进行预测的预测值,则一种非常朴素的预测方法是直接使用 $n$ 时刻的值 $x_n$ 作为 $n + 1$ 时刻的预测值,即 \begin{equation} x_{n+1}^n = x_n \end{equation} 考虑季节性因素,对于周期为 $S$ 的序列,可以使用上一个周期的值进行预测,…
Read more
1. SARMA 过程 前文描述的 $\mathrm{ARIMA}(p, d, q)$模型具有如下的形式 \begin{equation} \phi(B) \nabla^d X_t = \theta(B)e_t \end{equation} 即 \begin{equation} \phi(B)(1 – B)^d X_t = \theta(B)e_t \tag{1} \end{equ…
Read more
1. 一般流程 对时间序列的分析和建模一般有一下几个步骤: 查看时间序列的图像: 1.1. 如果具有趋势,可能需要对序列进行差分; 1.2. 如果方差随时间变化,可能需要对序列进行转换,如 $\log$ 变换。先进行 $\log$ 变换再做差分的变换称为 Log-Return。 查看 ACF 图像,判断滑动平均的阶数。 查看 PACF 图像,判断自回归阶数。 选择若干组参数进行建模,可以使用如…
Read more
为了对序列的自相关系数进行推断,Box 和 Pierce 提出了 Portmanteau 统计量 \begin{equation} Q^*(m) = T \sum_{i=1}^m r_i^2 \tag{1} \end{equation} 其中 $T$ 为序列长度,$r_i$ 为样本自相关系数。在某些情况下,$Q^*(m)$ 趋近于自由度为 $m$ 的 $\chi^2$ 分布,即 \begin{…
Read more
使用 ACF 和 PACF 图像可以在一定程度上帮助我们确定数据所符合的模型及其阶数,但面对实际的数据时,往往会发现多个模型都能较好地拟合数据。 假设有一个时间序列 ts.data 如图 1 所示,计算其 ACF 和 PACF 图像如图 2、图 3 所示。 可见 ACF 图像呈现连续衰减,PACF 图像在滞后为 $2$ 处截断,这看上去像是一个 $\mathrm{AR}(2)$ 过程,但比…
Read more
1. $\mathrm{AR}(2)$ 考虑 $\mathrm{AR}(2)$ 过程 \begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + e_t \tag{1} \end{equation} 其中 $e_t \sim N(0, \sigma_e^2)$,$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$,并假设…
Read more
1. Yule-Walker 方程的矩阵形式 对于 $p$ 阶自回归过程 $AR(p)$ \begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{1} \end{equation} 其中 $e_t \sim N(0, \sigma_e^2)$,$e_t$ 独立于 $X…
Read more