信息与控制

作者：谈咏东, 王永雄, 陈姝意, 缪银龙

关键词：时空信息融合, 人体行为识别, (2+1)D卷积残差神经网络, 感受野, 卷积神经网络

针对常规的卷积神经网络时空感受野尺度单一，难以提取视频中多变的时空信息的问题，利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性，提出了（2+1）D多时空信息融合的卷积残差神经网络，并用于人体行为识别.该模型以3×3空间感受野为主，1×1空间感受野为辅，与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息，提取更丰富的人体行为特征，因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法，该方法能够同时在空间信息和时间序列扩充视频数据集，丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.

来源：2019年第6期

《信息与控制》期刊编辑部

查看信息与控制杂志2019年第6期