[DL Note] 线性代数：迹运算

Author: 2019-08-05

Math

　　迹（trace）运算 $\mathrm{Tr}$ 计算的是矩阵对角线元素的和，即

\begin{equation}
\mathrm{Tr}(\boldsymbol A) = \sum_i A_{i, i} \tag{1}
\end{equation}

矩阵的 Frobenius 范数可以通过迹运算表示为

\begin{equation}
\Vert \boldsymbol A \Vert_F = \sqrt{\mathrm{Tr}(\boldsymbol A \boldsymbol A^\mathsf{T})} \tag{2}
\end{equation}

　　标量的迹运算是其自身，即

\begin{equation}
\mathrm{Tr}(c) = c \tag{3}
\end{equation}

　　对矩阵进行转置不会影响其迹运算的值

\begin{equation}
\mathrm{Tr}(\boldsymbol A) = \mathrm{Tr}(\boldsymbol A^\mathsf{T}) \tag{4}
\end{equation}

　　多个矩阵相乘，将最后一个矩阵移动到最前面（需保证乘积定义良好），乘积的迹保持不变，即有

\begin{equation}
\mathrm{Tr}(\boldsymbol A \boldsymbol B \boldsymbol C) = \mathrm{Tr}(\boldsymbol C \boldsymbol A \boldsymbol B) = \mathrm{Tr}(\boldsymbol B \boldsymbol C \boldsymbol A) \tag{5}
\end{equation}

更一般地，有

\begin{equation}
\mathrm{Tr}(\prod_{i=1}^n \boldsymbol F^{(i)}) = \mathrm{Tr}\bigg(F^{(n)} \prod_{i=1}^{n-1} \boldsymbol F^{(i)} \bigg) \tag{6}
\end{equation}

上式在乘积结果的矩阵的形状改变时仍成立，例如对于 $m \times n$ 矩阵 $\boldsymbol A$ 和 $n \times m$ 矩阵 $\boldsymbol B$，$\boldsymbol A \boldsymbol B$ 是 $m \times m$ 矩阵，$\boldsymbol B \boldsymbol A$ 是 $n \times n$ 矩阵，此时仍有 $\mathrm{Tr}(\boldsymbol A \boldsymbol B) = \mathrm{Tr}(\boldsymbol B \boldsymbol A)$。