高等代数笔记

1. 简介

本笔记主要参考 王萼芳《高等代数》第四版，整理了矩阵论、特征分解以及奇异值分解（SVD）的基础理论与几何意义，旨在为机器学习中的线性代数基础提供数学支撑。

2. 基础概念

2.1. 矩阵分类

在线性代数中，常见的矩阵分类如下：

• 正交矩阵：满足 $Q^T Q = Q Q^T = I$ 的实方阵。
• 对称矩阵：满足 $A^T = A$ 的方阵。
• 上三角矩阵 / 下三角矩阵：主对角线下方 / 上方元素全为 0 的方阵。
• 对角矩阵：非对角线元素全为 0 的方阵。
• 单位矩阵：主对角线元素全为 1，其余全为 0 的方阵。
• 奇异矩阵：行列式为 0（等价于非满秩）的方阵。
• 非奇异矩阵：行列式不为 0（等价于满秩，可逆）的方阵。

2.2. 矩阵的秩 (Rank)

• 定义：矩阵中最大线性无关行向量（或列向量）的数量。
• 核心性质：
  • 矩阵的行秩一定等于其列秩。
  • 行列式不为零与矩阵满秩互为充分必要条件。

2.3. 特征值与特征向量

对于 $n$ 阶方阵 $A$，如果存在非零向量 $v$ 和标量 $\lambda$，使得：

$$Av = \lambda v$$

则称 $\lambda$ 是矩阵 $A$ 的一个 特征值，$v$ 是对应的 特征向量。

[!info] 几何意义 特征向量在矩阵 $A$ 的线性变换下，其 方向保持不变，仅在原方向上被拉伸或缩放了 $\lambda$ 倍。

---

3. 算法：奇异值分解 (SVD)

奇异值分解（Singular Value Decomposition, SVD）是线性代数中一种重要的矩阵分解方法。任何实矩阵 $A \in \mathbb{R}^{m \times n}$ 都可以分解为：

$$A = U \Sigma V^T$$

其中，$U$ 是 $m$ 阶正交矩阵，$\Sigma$ 是由降序排列的非负奇异值组成的 $m \times n$ 对角矩阵，$V$ 是 $n$ 阶正交矩阵。

注意

关键结论

• 任意实矩阵的奇异值分解一定存在，但当存在相同奇异值时分解形式不唯一。
• SVD 是矩阵数据降维与压缩（如主成分分析 PCA）的核心底层算法。

3.1. SVD 的分类

• 紧凑奇异值分解 (Compact SVD)
  • 定义：去除对角矩阵 $\Sigma$ 中为 0 的奇异值以及 $U$ 和 $V$ 中对应的列。
  • 维度：$U \in \mathbb{R}^{m \times r}$，$\Sigma \in \mathbb{R}^{r \times r}$，$V \in \mathbb{R}^{n \times r}$（其中 $r = \text{rank}(A)$）。
  • 特点：与原矩阵等秩的无损分解。
• 截断奇异值分解 (Truncated SVD)
  • 定义：在紧凑 SVD 的基础上，只保留前 $k$ 个（$k < r$）最大的奇异值及其对应的向量。
  • 特点：比原矩阵低秩的近似分解，实际数据压缩与降噪中通常指此种分解。

3.2. SVD 的几何意义

奇异值分解将一个复杂的线性变换分解为三个相继的简单几何变换：

1. 旋转 / 反射 ($V^T$)：将输入向量从原空间旋转到特征空间。
2. 缩放 ($\Sigma$)：在新的坐标轴方向上按照奇异值大小进行拉伸或缩放。
3. 旋转 / 反射 ($U$)：将缩放后的向量旋转到输出空间的最终位置。

---

4. 教程与资源

4.1. 本地 PDF 教材

../../attachment/pdf/高等代数 第4版_13425757.pdf

4.2. 习题答案

../../attachment/pdf/高等代数 第四版 （习题提示与答案）王萼芳.pdf