文献标识码:A
DOI:10.19358/j.issn.2096-5133.2020.12.007
引用格式: 彭昆福,王子磊,王磊,等. 基于深度回归的指针仪表读数识别方法[J].信息技术与网络安全,2020,39(12):37-43.
0 引言
随着数字化、智能化的普及,大部分工业场景都采用数字仪表,但是对于电力行业,指针仪表由于其稳定性、抗干扰性优势,仍广泛应用于我国的电力实际监控中[1]。但大部分指针仪表的读取仍依靠人工进行,要求工作人员到现场进行数据记录,费时费力、容易出错。因此,指针仪表读数自动识别技术的研究具有重要意义[2]。
关于指针仪表自动识别的研究早期已经出现,这些工作[3-6]主要基于传统计算机视觉技术。参照人工仪表读数的原理,传统方法大致由仪表检测、仪表分类、仪表校正、预处理、指针检测、刻度检测、读数计算几个步骤组成,但由于采用表征能力比较弱的人工图像描述方法,同时又依赖比较强的先验信息,因此对图像质量要求较高,在复杂条件下的识别性能不尽人意。
当前,深度学习因其强大的表征能力已经开始应用于指针仪表自动识别领域。文献[7]较早采用Faster R-CNN进行仪表检测,然后通过自适应阈值分割、连通域分析和中心投影来检测指针和刻度,最终根据指针与刻度之间的角度计算读数。在此基础上,文献[8]对Faster R-CNN结构进行针对性优化,并融入表盘镜面反射消除方法,从而提升模型的鲁棒性。与此类似,文献[9]利用9层卷积神经网络进行仪表检测,然后利用椭圆变换进行仪表校正,接着利用Hough变换检测指针;文献[10]通过全卷积网络(Fully Convolutional Network,FCN)检测仪表,然后进行图像滤波和校正,最后通过极坐标径向灰度统计的方法检测指针;文献[11]利用YOLO9000检测仪表,然后利用EAST(Efficient and Accurate Scene Text detector)算法识别仪表刻度数值,并根据数值位置提取指针。相比于传统方法,这些方法的性能有所提升,但深度神经网络都只应用在仪表检测阶段,后续读数识别流程仍基于传统计算机视觉方法,没有充分发挥深度学习的优势,因此仍然存在传统方法读数不精确的问题。
近期,一些方法开始在读数识别阶段应用深度学习方法。文献[12]提出利用基于PrRoIPooling(Precise RoI Pooling,精确感兴趣区域池化)的Mask R-CNN同时完成仪表检测和表盘、指针分割,并对分割出的表盘进行椭圆变换从而得到指针方向,但是该方法只适用于圆形仪表。文献[13]提出先对图像进行去雾、补全、超分辨等一系列预处理,然后用Mask R-CNN进行仪表检测和指针分割,但是该预处理过程比较复杂。文献[14]提出利用Mask R-CNN对仪表图像进行指针关键点和刻度关键点检测,然后从指针和关键点计算仪表读数,该方法能够适应不同形状的仪表,也无需复杂的预处理,但关键点检测性能容易受到表盘模糊、反光、脏污、泛黄等条件的干扰,因此性能仍有待提升。文献[15]提出采用Faster R-CNN进行仪表和指针区域检测,然后利用U-Net对检测出的仪表和指针区域分别进行刻度和指针分割,最后利用仿射变换校正仪表,但是该方法的采用网络较大,特征冗余度较高。
针对指针仪表读数的这些问题,受到场景文本识别工作TextSnake[16]的启发,本文提出一种新的基于深度回归的仪表读数识别方法,该方法不显式地检测指针和关键点,而是将指针检测、刻度识别、干扰抑制隐式地结合起来,通过回归方法实现对仪表图像的端到端处理。具体地,给定一张仪表图像,先通过ResNet50[17]获取图像特征,然后利用一个方向回归模块从特征回归仪表指针方向,最后根据指针角度获取仪表读数。实验证明,本文方法对表盘模糊、反光、脏污、泛黄等抗干扰性强,读数识别精度相比于基于Mask R-CNN的仪表读数识别方法显著提高。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003224
作者信息:
彭昆福1,王子磊1,王 磊2,顾 杨2
(1中国科学技术大学 信息科学技术学院,安徽 合肥230027;
2.国网安徽省电力有限公司检修分公司,安徽 合肥231131)