Tag Archive: Linear Algebra

　　行列式（determinant）将一个方阵映射到实数，方阵 $\boldsymbol A$ 的行列式记做 $\det A$，其值为 $\boldsymbol A$ 特征值的乘积。行列式的绝对值可以用来衡量一个矩阵经过矩阵乘法变换后扩大或缩小的情况。如果行列式为 $0$，则空间至少沿着某一维度完全收缩了，使其失去了所有的体积；如果行列式为 $1$，则变换保持空间体积不变。 　　可以使使用余因子展…
Read more

　　迹（trace）运算 $\mathrm{Tr}$ 计算的是矩阵对角线元素的和，即 \begin{equation} \mathrm{Tr}(\boldsymbol A) = \sum_i A_{i, i} \tag{1} \end{equation} 矩阵的 Frobenius 范数可以通过迹运算表示为 \begin{equation} \Vert \boldsymbol A \Vert_F …
Read more

　　具有 $n$ 个未知数的 $m$ 个方程组成的线性方程组可以写成 \begin{equation} \boldsymbol A \boldsymbol x = \boldsymbol y \tag{1} \end{equation} 其中 $\boldsymbol A$ 是 $m \times n$ 矩阵。我们希望通过 $\boldsymbol A$ 的左逆 $\boldsymbol B$ 来…
Read more

　　类似于特征分解将矩阵分解成特征向量和特征值，奇异值分解（singular value decomposition，SVD）将矩阵分解成奇异向量（singular vector）和奇异值（singular value）。并不是所有的矩阵都有特征分解，但对任意矩阵 $A$ 都有奇异值分解 \begin{equation} \boldsymbol A = \boldsymbol U \boldsym…
Read more

1. 特征向量 　　$\boldsymbol A$ 为 $n \times n$ 矩阵，$\boldsymbol x$ 为非零向量，若存在数 $\lambda$ 使 $\boldsymbol A \boldsymbol x = \lambda \boldsymbol x$ 有非平凡解 $\boldsymbol x$，则称 $\lambda$ 为 $\boldsymbol A$ 的特征值（eigen…
Read more

1. 对角矩阵 　　对角矩阵（diagonal matrix）是非对角线元素全是 $0$ 的方阵，例如 $n \times n$ 单位矩阵 $I_n$。使用 $\mathrm{diag}(\boldsymbol v)$ 表示对角元素为 $\boldsymbol v$ 的对角矩阵。 　　对角矩阵的乘法运算非常简单，$\mathrm{diag}(\boldsymbol v)\boldsymbol x$…
Read more

1. 向量的范数 1.1. $L^2$ 范数 　　向量 $\boldsymbol v$ 的长度（或称为$L^2$ 范数、欧几里得范数）是非负数 $\lVert \boldsymbol v \rVert_2$，定义为 \begin{equation} \lVert \boldsymbol v \rVert_2 = \sqrt{\boldsymbol v \cdot \boldsymbol v} = …
Read more

1. 线性相关 　　对于 $\mathbb{R}^n$ 中一组向量 $\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$，若向量方程 \begin{equation} x_1 \boldsymbol v_1 + x_2 \boldsymbol v_2 + \cdots + x_p \boldsymbol v_p = \boldsymbol 0…
Read more

1. 单位矩阵 　　单位矩阵沿主对角线的元素都是 $1$，其余位置的元素都为 $0$，例如 \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} 2. 逆矩阵 　　对于一个 $n \times n$ 的矩阵 $\boldsymbol A$，若…
Read more

1. 矩阵的和 　　若 $\boldsymbol A$ 和 $\boldsymbol B$ 都是 $m \times n$ 矩阵，则和 $\boldsymbol A + \boldsymbol B$ 也是 $m \times n$ 矩阵，它的各列是 $\boldsymbol A$ 与 $\boldsymbol B$ 各列之和。仅当 $\boldsymbol A$ 与 $\boldsymbol B$…
Read more