信息与控制

作者：郜天柱

关键词：激活函数, 神经网络, 线性整流函数(ReLU), LeafSpring

针对神经网络中ReLU激活函数存在返回值非负及神经元未激活等问题，提出了一种全新的类ReLU激活函数——LeafSpring.LeafSpring既继承了ReLU的优势，又可以返回负值，通用性更强.LeafSpring函数的推导及函数性质也会被讨论.该激活函数还引入了刚度系数k，可以通过训练主动调节相邻两层的权重系数.为了减少计算量，LeafSpring可以在一定情况下简化为ReLU或Softplus.为了展现LeafSpring激活函数的性能，还将其与ReLU、Softplus及Sigmoid在4种不同类型的数据集上进行拟合精度对比.对比结果表明，LeafSpring在不同的数据集上均能兼顾拟合精度和收敛速度且在小网格规模可以更快、更准确地拟合复杂非线性函数.

来源：2020年第3期

《信息与控制》期刊编辑部

查看信息与控制杂志2020年第3期