基于DenseNet和深度运动图的行为识别算法
2020年信息技术与网络安全第1期
张健，张永辉，何京璇
（海南大学，海南 海口 570228）
摘要：结合深度信息以及RGB视频序列中丰富的纹理信息，提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构，首先获取彩色纹理信息和光流信息，然后从同步的深度视频序列获取深度信息，以增强特征互补性；再将空间流、时间流和深度流三种特征信息分别作为网络的输入；最后通过LSTMs进行特征融合和行为分类。实验结果表明，在公开的动作识别库UTDMHAD数据集上，该算法识别准确率为 92.11%，与该领域中的同类算法相比表现优异。
中图分类号：TP391.4
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2020.01.012
引用格式：张健，张永辉，何京璇。基于DenseNet和深度运动图的行为识别算法［J］。信息技术与网络安全，2020,39（1）：63-69.
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2020.01.012
引用格式：张健，张永辉，何京璇。基于DenseNet和深度运动图的行为识别算法［J］。信息技术与网络安全，2020,39（1）：63-69.
Action recognition algorithm based on DenseNet and depth motion map
Zhang Jian,Zhang Yonghui,He Jingxuan
（Hainan University,Haikou 570228,China）
Abstract：This paper proposes a human behavior recognition algorithm based on DenseNet and DMM,which integrates depth information and rich texture information in RGB video sequence.Based on the DenseNet network structure,the algorithm firstly obtains color texture information and optical flow information,and then obtains depth information from synchronous depth video sequence to enhance feature complementarity.Three kinds of characteristic information are used as the input of spatial flow network,temporal flow network and deep flow network.Then LSTMs is used for feature fusion and behavior classification.Experimental results show that the recognition rate of UTDMHAD data set is 92.11%,which is an excellent performance compared with similar algorithms in this field.
Key words :action recognition;depth motion maps;DenseNet;optical flow
0 引言
近年来，有关人体行为识别的研究层出不穷，现如今已成为计算机视觉研究中日益关注的热点。其中，对视频中目标的行为识别一直以来都是一个非常活跃的研究领域。虽然在对于静止图像识别的研究上取得了很大的成功，但是对视频类的行为识别如今仍是一个富有挑战性的课题。
在行为识别领域中，卷积神经网络得到了广泛的应用。早期的研究人员主要尝试融合光流与RGB视频帧来提高行为识别准确率。RGB视频内的细节信息非常丰富，但缺乏深度信息，其识别准确率常常受光照变化、阴影、物体遮挡等因素的干扰。如文献［2］在2014年首次提出了创造性的双流网络，通过从RGB视频序列提取时空信息进行识别；文献［3］用基于长短期记忆的多尺度卷积神经网络来提取多层次表观特征，从而学习长周期的高层时空特征；文献［4］使用在ImageNet上进行预训练的DenseNet来搭建双流卷积神经网络，从中提取空间和时间特征，然后微调来进行单帧活动预测。
本文详细内容请下载：http://www.chinaaet.com/resource/share/2000003117
作者信息：
张健，张永辉，何京璇
（海南大学，海南 海口 570228）
此内容为AET网站原创，未经授权禁止转载。