文献标识码:A
DOI:10.16157/j.issn.0258-7998.200263
中文引用格式:肖国麟,杨春玲,陈宇. 基于权值交互思想的卷积神经网络量化算法[J].电子技术应用,2020,46(10):39-41.
英文引用格式:Xiao Guolin,Yang Chunling,Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique,2020,46(10):39-41.
0 引言
随着深度学习的飞速发展,卷积神经网络(CNN)被越来越多地应用于各个领域,如图像识别[1-2]和目标检测[3-4]。然而,随着应用要求的提高,CNN的结构越来越深,导致其对于计算力和内存的需求大大提高。同时由于移动端设备的飞速发展,设备小型化的需求和市场不断扩大,将CNN应用到小型移动端设备的需求也随之增加。然而,受限于电源、内存及功耗,移动端平台无法满足高性能CNN对于硬件性能、功耗及内存的要求,因此优化CNN模型从而降低其对于计算资源的要求非常必要[5]。
CNN权值量化是目前一种主流的CNN模型优化方法,而三值量化其中一种能够将权值由32位量化到2位(0,±α)从而达到16倍压缩比的低位量化方法。自从2016年三值化网络被LI F等人提出以来[6],其方法不断改进,性能不断提高。其中MELLEMPUDI N等人于2017年提出的细粒度三值化网络[7],将激活函数量化到8或4位,将权重量化至2位,将每N个权值分为一个组,分组量化,两组之间相互独立,其中N=2,4,8,16,…。该方法主要通过尝试不同的分组和暴力搜索解空间以及二次训练的方式得到最优解,但相比原精度的32位卷积网络仍有较大性能差距。目前的三值量化网络性能不佳的其中一个问题在于都使用对称均匀量化操作,只考虑了单个权值的量化,忽视了相邻权值量化之间的相互关系,量化噪音直接相互累加,导致每一层网络的噪声积累过高,使得量化模型的预测准确率有极大的下降。
针对此问题,本文提出一种新的CNN模型三值量化算法,基于权值交互思想,在同一卷积核内,将先前量化产生的积累噪声作为一个负变量加入到下一个权值的量化操作中,使得对下一个权值朝着能减小积累噪声的方向进行量化。然后,通过层级贪婪搜索算法逐层搜索局部最优解,得到效果近似最优解的优化解,降低搜索算法复杂度,极大减少搜索所需时间。实验证明,相比于其他使用对称均匀量化操作的算法,本文的算法极大地减小了由于量化操作导致的模型预测准确率的损失。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003017
作者信息:
肖国麟,杨春玲,陈 宇
(哈尔滨工业大学 电气工程及自动化学院,黑龙江 哈尔滨150001)