文献标识码:A
DOI:10.16157/j.issn.0258-7998.200844
中文引用格式:倪伟健,秦会斌. GSDCPeleeNet:基于PeleeNet的高效轻量化卷积神经网络[J].电子技术应用,2021,47(3):22-26,30.
英文引用格式:Ni Weijian,Qin Huibin. GSDCPeleeNet:efficient lightweight convolutional neural based on PeleeNet[J]. Application of Electronic Technique,2021,47(3):22-26,30.
0 引言
随着深度学习理论的提出和硬件设备计算速度的不断突破,卷积神经网络在近年来得以迅速发展。2012年,AlexNet[1]在ImageNet大规模视觉识别挑战赛中获得了图像分类冠军。之后,为了提高网络模型的准确率,研究人员不断地加深卷积网络的深度,相继提出了性能更加优越的卷积神经网络,如VGG16[2]、GoogLeNet[3]和DenseNet[4]等。
这些网络准确率普遍较高,但是有着非常复杂的模型和很深的层次,参数量十分巨大。在实际生活的应用中,模型往往需要在资源有限的嵌入式设备和移动设备上运行。因此,研究人员开始着手研究,并且相继提出了更高效的轻量级卷积神经网络。它们保持了网络的性能,大大减少了模型的参数量,从而减少计算量,提升了模型速度。
旷视科技的ShuffleNet在ResNet[5]单元上进行了改进,有两个创新的地方:逐点分组卷积和通道混洗[6]。WANG R J等提出的PeleeNet是一种轻量级网络,它在DenseNet基础上进行了改进和创新,主要有五个方面的结构改进[7]。ZHANG J N等提出了一种卷积核及其压缩算法,通过这种卷积方法,ZHANG J N等发明了轻量卷积神经网络SDChannelNets[8]。
可以看出,上述轻量卷积神经网络均存在一定不足。在使用分组卷积时,为了解决分组卷积导致的信息丢失问题,需要增加额外的操作。在运用1×1卷积时,会导致1×1卷积的参数量在网络总参数量中占据大部分。通过分析,这些网络需要通过调整相应的超参数来提高网络识别精度。这些操作往往会大大增加网络模型参数量。
为了解决这个不足,本文结合参数共享、密集连接的卷积方法和分组卷积,基于PeleeNet网络,提出了轻量级卷积神经网络架构GSDCPeleeNet。适当调节超参数,在损失较小准确度甚至拥有更高准确度的情况下,减小了模型的参数量。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003403
作者信息:
倪伟健,秦会斌
(杭州电子科技大学 电子信息学院 新型电子器件与应用研究所,浙江 杭州310018)