[DL Note] 线性代数：迹运算

Author: nex3z 2019-08-05

　　迹（trace）运算 $\mathrm{Tr}$ 计算的是矩阵对角线元素的和，即

$$\begin{equation} \mathrm{Tr}(\boldsymbol A) = \sum_i A_{i, i} \tag{1} \end{equation}$$

矩阵的 Frobenius 范数可以通过迹运算表示为

$$\begin{equation} \Vert \boldsymbol A \Vert_F = \sqrt{\mathrm{Tr}(\boldsymbol A \boldsymbol A^\mathsf{T})} \tag{2} \end{equation}$$

　　标量的迹运算是其自身，即

$$\begin{equation} \mathrm{Tr}(c) = c \tag{3} \end{equation}$$

　　对矩阵进行转置不会影响其迹运算的值

$$\begin{equation} \mathrm{Tr}(\boldsymbol A) = \mathrm{Tr}(\boldsymbol A^\mathsf{T}) \tag{4} \end{equation}$$

　　多个矩阵相乘，将最后一个矩阵移动到最前面（需保证乘积定义良好），乘积的迹保持不变，即有

$$\begin{equation} \mathrm{Tr}(\boldsymbol A \boldsymbol B \boldsymbol C) = \mathrm{Tr}(\boldsymbol C \boldsymbol A \boldsymbol B) = \mathrm{Tr}(\boldsymbol B \boldsymbol C \boldsymbol A) \tag{5} \end{equation}$$

更一般地，有

$$\begin{equation} \mathrm{Tr}(\prod_{i=1}^n \boldsymbol F^{(i)}) = \mathrm{Tr}\bigg(F^{(n)} \prod_{i=1}^{n-1} \boldsymbol F^{(i)} \bigg) \tag{6} \end{equation}$$

上式在乘积结果的矩阵的形状改变时仍成立，例如对于 $m \times n$ 矩阵 $\boldsymbol A$ 和 $n \times m$ 矩阵 $\boldsymbol B$，$\boldsymbol A \boldsymbol B$ 是 $m \times m$ 矩阵，$\boldsymbol B \boldsymbol A$ 是 $n \times n$ 矩阵，此时仍有 $\mathrm{Tr}(\boldsymbol A \boldsymbol B) = \mathrm{Tr}(\boldsymbol B \boldsymbol A)$。