SGD

1. 待完善：随机梯度下降法 (SGD)

本笔记旨在记录 SGD 的基本原理、学习率调节及与批量梯度下降 (BGD) 的性能对比。

1.1. 核心关注

• 随机采样对收敛路径的影响。
• 动量法 (Momentum) 与变体算法。