维基百科版本

随机梯度下降(通常缩短为SGD),也称为增量梯度下降,是用于优化可微分目标函数的迭代方法,梯度下降优化的随机近似。

2018年的一篇文章暗示Herbert Robbins和Sutton Monro在其1951年题为“随机近似方法”的文章中发展SGD。有关更多信息,请参阅随机近似。它被称为随机的 因为样本是随机选择(或混洗)而不是作为单个组(如标准梯度下降)或按训练集中出现的顺序选择的。

查看详情

easyai公众号