无论是什么优化算法，最后都可以用一个简单的公式抽象：
是参数，而
是参数的增量，而各种优化算法的主要区别在于对
的计算不同，本文总结了下面十个优化算法的公式，以及简单的Python实现：
SGD Momentum Nesterov Momentum AdaGrad RMSProp AdaDelta Adam AdaMax Nadam NadaMax
虽然有凑数的嫌疑，不过还是把SGD也顺带说一下，就算做一个符号说明了。常规的随机梯度下降公式如下：
其中 是学习率，
是损失关于参数的梯度（有的资料中会写成
等形式），不过相比SGD，用的更多的还是小批量梯度下降（mBGD）算法，不同之处在于一次训练使用多个样本，然后取所有参与训练样本梯度的平均来更新参数，公式如下：
其中 是第
次训练中
个样本损失关于参数梯度的均值，如无特别声明，下文所出现
也遵循该定义。
另外 或者
在下面的优化算法中，只是作为一个传入的变量，其具体的计算是由其他模块负责，可以参考下面两个链接：
Numpy实现神经网络框架(3)——线性层反向传播推导及实现：
https://zhuanlan.zhihu.com/p/67854272
卷积核梯度计算的推导及实现：
https://zhuanlan.zhihu.com/p/64248652
import numpy as npclass Momentum(object):def __init__(self, alpha=0.9, lr=1e-3):self.alpha = alpha # 动量系数self.lr = lr # 学习率self.v = 0 # 初始速度为0def update(self, g: np.ndarray): # g = J'(w) 为本轮训练参数的梯度self.v = self.alpha * self.v - self.lr * g # 公式return self.v # 返回的是参数的增量，下同
那么Nesterov Momentum就提前使用这个梯度进行更新：
class AdaGrad(object):def __init__(self, eps=1e-8, lr=1e-3):self.r = eps # r_0 = epsilonself.lr = lrdef update(self, g: np.ndarray):r = r + np.square(g)return -self.lr * g / np.sqrt(r)
class RMSProp(object):def __init__(self, lr=1e-3, beta=0.999, eps=1e-8):self.r = epsself.lr = lrself.beta = betadef update(self, g: np.ndarray):r = r * self.beta + (1-self.beta) * np.square(g)return -self.lr * g / np.sqrt(r)
class AdaDelta(object):def __init__(self, beta=0.999, eps=1e-8):self.r = epsself.s = epsself.beta = betadef update(self, g: np.ndarray):g_square = (1-self.beta) * np.square(g) # (1-beta)*g^2r = r * self.beta + g_squarefrac = s / rres = -np.sqrt(frac) * gs = s * self.beta + frac * g_squaretmp # 少一次乘法。。。return res
class Adam(object):def __init__(self, lr=1e-3, alpha=0.9, beta=0.999, eps=1e-8):self.s = 0self.r = epsself.lr = lrself.alpha = alphaself.beta = betaself.alpha_i = 1self.beta_i = 1def update(self, g: np.ndarray):self.s = self.s * self.alpha + (1-self.alpha) * gself.r = self.r * self.beta + (1-self.beta) * np.square(g)self.alpha_i *= self.alphaself.beta_i *= self.beta_ilr = -self.lr * (1-self.beta_i)**0.5 / (1-self.alpha_i)return lr * self.s / np.sqrt(self.r)
class AdaMax(object):def __init__(self, lr=1e-3, alpha=0.9, beta=0.999):self.s = 0self.r = 0self.lr = lrself.alpha = alphaself.alpha_i = 1self.beta = betadef update(self, g: np.ndarray):self.s = self.s * self.alpha + (1-self.alpha) * gself.r = np.maximum(self.r*self.beta, np.abs(g))self.alpha_i *= self.alphalr = -self.lr / (1-self.alpha_i)return lr * self.s / self.r
class Nadam(object):def __init__(self, lr=1e-3, alpha=0.9, beta=0.999, eps=1e-8):self.s = 0self.r = epsself.lr = lrself.alpha = alphaself.beta = betaself.alpha_i = 1self.beta_i = 1def update(self, g: np.ndarray):self.s = self.s * self.alpha + (1-self.alpha) * gself.r = self.r * self.beta + (1-self.beta) * np.square(g)self.alpha_i *= self.alphaself.beta_i *= self.beta_ilr = -self.lr * (1-self.beta_i)**0.5 / (1-self.alpha_i)return lr * (self.s * self.alpha + (1-self.alpha) * g) / np.sqrt(self.r)
class NadaMax(object):def __init__(self, lr=1e-3, alpha=0.9, beta=0.999):self.s = 0self.r = 0self.lr = lrself.alpha = alphaself.alpha_i = 1self.beta = betadef update(self, g: np.ndarray):self.s = self.s * self.alpha + (1-self.alpha) * gself.r = np.maximum(self.r*self.beta, np.abs(g))self.alpha_i *= self.alphalr = -self.lr / (1-self.alpha_i)return lr * (self.s * self.alpha + (1-self.alpha) * g) / self.r参考资料：
[4]: An overview of gradient descent optimization algorithms(https://ruder.io/optimizing-gradient-descent/index.html)
学术分享，知乎
https://zhuanlan.zhihu.com/p/81020717
