机器学习数学基础

1. 简介

本笔记全面总结了机器学习与大模型开发所依赖的数学基础知识，包括 微积分与极限基础、初等/高级函数性质、随机事件与概率分布 以及 数理统计与估算理论，旨在提供结构清晰的数学参考字典。

实数 (Real Number)：与数轴上的点一一对应。有理数与无理数在实数集上是稠密的（即任何两个实数之间都存在无数个有理数和无理数）。
乘方与对数转换：
- 加法与乘法转换：$a^{c+d} = a^c \cdot a^d$
- 乘法与加法转换：$\ln(c \cdot d) = \ln c + \ln d$

有界数列：存在常数 $M > 0$，使得对所有项有 $|x_n| \le M$。

注意数列的上下界是不唯一的。
数列极限：
- 核心性质：
  - 唯一性：收敛数列的极限是唯一的。
  - 有界性：收敛数列必定是有界的。
  - 夹逼准则（Squeeze Theorem）：若 $y_n \le x_n \le z_n$ 且 $\lim y_n = \lim z_n = A$，则 $\lim x_n = A$。
  - 单调有界原理：单调且有界的数列必有极限。

指数函数：$y = a^x \quad (a > 0, a \neq 1)$，定义域 $\mathbb{R}$，值域 $(0, +\infty)$。
对数函数：$y = \log_a x \quad (a > 0, a \neq 1)$，定义域 $(0, +\infty)$，值域 $\mathbb{R}$。
幂函数：$y = x^{\mu}$（$\mu$ 为常数）。当 $\mu$ 为无理数时，通过 $x^{\mu} = e^{\mu \ln x}$ 定义，定义域为 $(0, +\infty)$。
三角函数：
- 常用转换恒等式： $$\sin^2 x + \cos^2 x = 1$$ $$\cos 2x = \cos^2 x - \sin^2 x$$ $$\sin 2x = 2 \sin x \cos x$$ $$\sin(x \pm y) = \sin x \cos y \pm \cos x \sin y$$ $$\cos(x \pm y) = \cos x \cos y \mp \sin x \sin y$$
双曲函数：
- 双曲正弦：$\sinh x = \frac{e^x - e^{-x}}{2}$
- 双曲余弦：$\cosh x = \frac{e^x + e^{-x}}{2}$
- 常用转换恒等式： $$\cosh^2 x - \sinh^2 x = 1$$ $$\cosh 2x = \cosh^2 x + \sinh^2 x$$ $$\sinh 2x = 2 \sinh x \cosh x$$ $$\sinh(x \pm y) = \sinh x \cosh y \pm \cosh x \sinh y$$ $$\cosh(x \pm y) = \cosh x \cosh y \pm \sinh x \sinh y$$

$\Gamma$ 函数 (伽马函数)：它是阶乘在实数和复数域上的延展。 $$\Gamma(\alpha) = \int_{0}^{\infty} x^{\alpha-1} e^{-x} , dx \quad (\alpha > 0)$$

函数极限定义

对于单变量函数，梯度等同于普通导数 $f’(x)$。
对于多元变量函数 $f(x_1, x_2, \dots, x_n)$，梯度是各变量偏导数构成的向量： $$\nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right)^T$$
几何意义：梯度向量指向函数值增长最快的方向，其模长代表该方向的最大变化率。

相互独立：若 $P(AB) = P(A)P(B)$，则事件 $A$ 与 $B$ 相互独立。
随机变量映射：将随机试验的结果与实数建立映射关系。
集合分配律：
- $A \cup (B \cap C) = (A \cup B) \cap (A \cup C)$
- $A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$
德·摩根定律 (De Morgan’s Laws)：
- $\overline{A \cup B} = \overline{A} \cap \overline{B}$
- $\overline{A \cap B} = \overline{A} \cup \overline{B}$
全概率公式与贝叶斯公式：

离散分布：
- 二项分布：$P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$
- 泊松分布：$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}$
连续分布：
- 分布函数 (CDF) $F(x) = P(X \le x)$：
- 概率密度 (PDF) $f(x)$：
- 随机变量映射定理：
- 经典连续分布：
  - 均匀分布：
  - 指数分布：
  - 正态分布：
  - 伽马分布：

联合分布律与分布函数：
边缘分布：
经典二维分布与变换：
- 二维正态分布（$\rho$ 为相关系数）：
- 随机变量之和 $Z = X+Y$（卷积公式）：
- 商与积分布（$Z = X/Y$, $Z = XY$）：
- 极值分布（$M = \max{X,Y}$, $N = \min{X,Y}$）：
条件分布与独立性定义：
- 离散型条件分布：
- 连续型条件分布：
- 独立性判断：