信息与控制

作者：张珂, 杨歆豪, 张嘉慧, 倪俊芳

关键词：指数移动平均算法, 自适应, 学习速率, 二阶动量

针对自适应算法存在的不收敛问题，提出了一种Adam改进算法.通过引入多个超参数，并进行多次指数平滑，来弥补一次指数平滑的不足.此外，对二阶动量计算加以修正，预防了二阶动量数据发生不良的波动，从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对cifar10和cifar100数据集进行了对比实验.从实验可以看出，所提算法适用于不同的模型结构和不同数据集，与Adam算法相比，其准确率平均提升了1.3%，同时为收敛问题提供了一种有效的解决方案.

来源：2021年第6期

《信息与控制》期刊编辑部

查看信息与控制杂志2021年第6期