随机梯度下降法（Stochastic gradient descent | SGD）

打不死的小强

6年前

维基百科版本

随机梯度下降（通常缩短为SGD），也称为增量梯度下降，是用于优化可微分目标函数的迭代方法，梯度下降优化的随机近似。

2018年的一篇文章暗示Herbert Robbins和Sutton Monro在其1951年题为“随机近似方法”的文章中发展SGD。有关更多信息，请参阅随机近似。它被称为随机的因为样本是随机选择（或混洗）而不是作为单个组（如标准梯度下降）或按训练集中出现的顺序选择的。