模型训练笔记 Loss，optimizer，lr_scheduler

模型训练时loss不收敛、不下降原因和解决办法
torch.optim优化算法理解之optim.Adam()
torch.optim.lr_scheduler：调整学习率

Python-torch.optim优化算法理解之optim.Adam()
torch.optim是一个实现了多种优化算法的包，大多数通用的方法都已支持，提供了丰富的接口调用，未来更多精炼的优化算法也将整合进来。
为了使用torch.optim，需先构造一个优化器对象Optimizer，用来保存当前的状态，并能够根据计算得到的梯度来更新参数。
要构建一个优化器optimizer，你必须给它一个可进行迭代优化的包含了所有参数（所有的参数必须是变量s）的列表。 然后，您可以指定程序优化特定的选项，例如学习速率，权重衰减等。

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。它的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

• params(iterable)：可用于迭代优化的参数或者定义参数组的dicts。
• lr (float, optional) ：学习率(默认: 1e-3)，更新梯度的时候使用
• betas (Tuple[float, float], optional)：用于计算梯度的平均和平方的系数(默认: (0.9, 0.999))
• eps (float, optional)：为了提高数值稳定性而添加到分母的一个项(默认: 1e-8)
• weight_decay (float, optional)：权重衰减(如L2惩罚)(默认:0)，针对最后更新参数的时候，给损失函数中的加的一个惩罚参数，更新参数使用

Adam的特点
1、结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点;
2、对内存需求较小;
3、为不同的参数计算不同的自适应学习率;
4、也适用于大多非凸优化-适用于大数据集和高维空间。