智能检测与信号处理「电力检测领域 一种基于深度学习的输出电设备缺陷自动识别方法」

今天带来智能检测与信号处理「电力检测领域 一种基于深度学习的输出电设备缺陷自动识别方法」，关于智能检测与信号处理「电力检测领域 一种基于深度学习的输出电设备缺陷自动识别方法」很多人还不知道，现在让我们一起来看看吧！

电力系统有别于其他行业，维护不能随意中断生产，这会在事故发生之前做好充分的预测一在事故发生之前解决故障，重点是输电线路的预防性巡检工作。担负高电压大电流的长期工作，随着全球危险的辐射气象天候频发，对电网安全运行形成越来越大的影响。

随着伴随着天空平原的不断提高，各地巡检被越来越多的采用。每一次巡视任务完成后产生大量的巡检图片。方式，大都是基于人工判​读的方式来完成目标的确定和缺陷的分类，人工判读方式读入劳动强度大、工作效率低。细节因素的影响，往往会漏判或错误判别很多缺陷。以上两方面的功能不能存在的巡检方式，随心所欲的诊断电子设备的缺陷，而且还带有巡检效果，从而导致线路状态状态欠缺。位，这些都带着输电线路巡检工作效果大打折扣，给输电线路安全隐患工。

问题拆分

首先采用F-Rcnn算法自动从远程巡检照片中识别出需要检测的输运设备，然后将输电设备送入针对该设备的缺陷分类，判断该设备是否具有缺陷以及缺陷类型。若有缺陷，则在图片中进行缺陷设备自动定位位置以及缺陷类型，最终生成缺陷报告，给潜在人员提供缺陷信息。本发明的分析过程具有准确率高、处理速度快、好等优点，实现了输电线路巡检照片的自动分析，无需人工参与。

问题解决

首先使用多目标识别算法从无人机巡检照片或视频中识别出目标设备，然后使用 深度学习分类器对目标设备的是否有缺陷以及缺陷类型进行判断。

[0045] 具体的说，如图2所示，将每次无人机巡检得到的输电线路设备照片首先送入 Faster-Rcnn模型提取出其中包含输电设备的区域，并判断每块区域所包含的输电设备的 种类，然后依据其种类将其送入该种设备的缺陷分类模型(缺陷分类器），判断其是否具有 缺陷以及缺陷类型。如果有缺陷，则将缺陷设备所在位置以及缺陷类型在输电线路设备照 片中标注出来。

[0046] 其中，Faster-Rcnn模型及缺陷分类模型的构建如图1所示，

[0047] (I) Faster-Rcnn样本制作。将一定规模的无人机输电线路巡（10万张以上)进行人 工标注，标出图中所有的输电设备名称和位置，从中随机选取总数9/10的图片作为训练数 据集，另外的1/10图片作为测试数据集。

[0048] (2) Faster-Rcnn模型训练。将步骤⑴的带有标签的数据输入到Faster-Rcnn中对 模型训练。训练使用随机梯度下降方法对模型参数进行更新，迭代20万步，最终完成模型训 练。

[0049] (3) Faster-Rcnn模型测试与修正。使用步骤（1)的测试数据集对训练完成的 Faster-Rcnn模型进行测试，得到其准确率。依据准确率高低判断是否要添加数据和更改训 练参数继续训练模型。

[0050] ⑷输电设备缺陷分类器样本制作。针对每一种输电设备，收集包含正常输电设备 的和存在缺陷的输电设备样本，并为每张图片打上缺陷种类标签。取总数9/10的图片作为 训练数据集，另外的1/10图片作为测试数据集。

[0051] (5)训练输电设备缺陷分类器。针对每一种输电设备训练分类器使用步骤(4)中制 作的训练样本数据训练分类器。分类器的深度网络模型选用Deep Residual Neural Networks。

[0052] (6)输电设备缺陷分类器测试与修正。针对每一中输电设备的缺陷分类器，使用步 骤⑷中的测试数据测试器准确率。依据准确率高低，判断接下来是否需要添加样本或修改 训练参数继续进行训练。

[0053] (7) Faster-Rcnn模型及缺陷分类模型构建后，并经过实际使用，在新增的机器识 别的结果中抽取部分典型的图片，重新制作新的训练样本。在原有模型的基础上不断更新 模型参数，使得模型不断优化，准确率不断提高。

[00M] 对于Faster-Rcnn模型，其算法具体步骤如图4所示，为：

[0055] (11)、使用卷积神经网络从原始图片中提取图片的卷积特征；

[0056] (12)、使用RPNNet (结构如图5所示)提取可能存在目标设备的候选区域；

[0057] 其中所述RPNNet结构如图5所示，特性为：在卷积之后得到的特征图上使用3*3的 卷积核进行卷积，那么这个3*3的区域卷积后可以获得一个η维的特征向量。因为这个3*3的 区域上，每一个特征图上得到一个1维向量，η个特性图即可得到η维特征向量。3*3滑窗中心 点位置，对应预测输入图像3种尺度（128,256,512)，3种长宽比（1:1，1:2,2:1)的region proposal，这种映射的机制称为anchor，产生了k = 9个anchor。即每个3*3区域可以产生9个 region proposal。所以对于这个40*60 的f eature map，总共有约 20000 (40*60*9)个 anchor，也就是预测20000个region proposal。

[0058] 后边接入到两个全连接层，S卩cls_layer和reg_layer分别用于分类和边框回归； cls_layer包含2个元素，用于判别目标和非目标的估计概率;Reg_layer包含4个坐标元素 (x，y,w，h)，用于确定目标位置;cls:正样本，与真实区域重叠大于0.7,负样本，与真实区域 重叠小于〇.3;reg:返回区域位置。

[0059] (13)、针对步骤⑴中提取的候选区域，使用ROIpooling layer从原始图片的卷积 特征图中提取特征向量，将每个候选区域的特征向量送入分类器进行分类，判断其所属的 设备种类，同时精确回归出包含输电设备的矩形区域的坐标。，其中ROIpooling layer层将 每个候选区域的特征图均勾分成MXN块，对每块进行max pooling操作。

[0060] 其中使用的卷积神经网络的特征如下：

[0061] (21)卷积神经网络模型属于多层的神经网络，每一层的神经网络由多个二维平面 构成，每一个平面又包含多个神经元。一般包含卷积操作和池化操作。卷积神经网络的输入 是数字图像，之后卷积层和池化层交替进行，如图3所示。

[0062] (22)卷积操作。卷积层得到的特征图是输入图像和卷积核运算之后再加上一个偏 置然后通过激活函数所得。公式表示如下：

[0063]

I

[0064] 其中1表示第几层，k代表卷积核，b代表偏置，Mj代表第j个特征图。

[0065] (23)池化操作。池化层对有对卷积层中的特征进行局部平均的作用，通常池化层 尺寸大小为n*n，对于卷积层中n*n个相邻单元取最大值或平均值，分别对应了max-pooling 和mean-pooling两种下采样方法，可以减少特征图的分辨率，减少对位移形变的敏感程度。 卷积的公式表示如下：

[0066] 9

[0067] 其中，Pooling (*)表示池化函数，一般对输入图像的n*n邻域的像素求平均或者最 大值，每个特征图包含参数β和b。

[0068] (24)卷积神经网络的训练

[0069] 前向传播:对于每一个训练样本输入到神经网络中，然后按照网络结构与当前权 值计算出输出值。

[0070] 反向传播:依据前向传播得到值计算与真实值之间的误差，反向计算出卷积神经 网络中的各个参数的对于误差函数的梯度，并且依据该梯度更新各个层的权重值，使得计 算误差越来越小。

[0071] 前向传播和反向传播交替进行，不断更新模型参数，使得模型在训练样本上误差 函数值逐渐减小，模型准确率逐渐提高。

[0072] 前面所述卷积神经网络有三种可能的结构：VGG (如图6所示），ResNet (如图7所 示），PvaNet (如图8所示）。

[0073] 对于缺陷分类模型，是采用深度卷积神经网络进行分类，可能的网络结构包括 Alexnet (如图9所示），GoogleNet (如图10所示），ResNet (如图7所示），可以对输电设备是否 有缺陷以及缺陷类型进行判断。

[0074] 下面将以开口销缺失的识别方法构建为例子对本发明进行进一步说明，在输电设 备中关键部位的螺钉都会有开口销进行加固，开口销脱落为常见的一种缺陷，如图11左侧 为正常螺钉，右侧螺钉的开口销脱落为不正常螺钉。

[0075] 首先使用多目标识别算法从无人机巡检照片或视频中识别出需要开口销的螺钉 (例如绝缘子金具上的螺钉），然后使用深度学习分类器对所有识别出的需要开口销的螺钉 进行判断，看其开口销是否缺失，如缺失则自动标出该螺栓的位置以及开口销缺失的文字 说明。该工作过程如图12所示。

[0076] 所述的多目标物体识别方法，采用Faster-Rcnn算法，可以同时从一张无人机巡检 图片中识别出所有需要进行缺陷识别的设备。

[0077] 所述的深度学习分类器则采用ResNet或者AlexNetGoogleNet，可以对输电设备 是否有缺陷以及缺陷类型进行判断。

[0078] 所述Faster-Rcnn算法主要分为三个步骤：（a)使用卷积神经网络从原始图片中提 取特征。（b)使用RPNNet提取可能存在需要开口销的螺钉的区域。（c)对步骤(b)中提取的可 能含有需要开口销的区域的卷积特征图使用ROIpooling层提取特征向量，计算出其在图片 中的精确位置。

[0079] 关于需要开口销的螺钉缺陷识别的Faster-Rcnn算法模型以及深度学习分类器所 使用的缺陷分类模型的构建使用过程如下：

[0080] (101) Faster-Rcnn样本制作。将一定规模的无人机输电线路巡检照片（10万张以 上)进行人工标注，标出图中所有的需要开口销的螺钉位置，从中随机选取总数9/10的图片 作为训练数据集，另外的1/10图片作为测试数据集。

[0081] (102) Faster-Rcnn模型训练。将步骤（101)的带有标签的数据输入到Faster-Rcnn 中对模型训练。训练使用随机梯度下降方法对模型参数进行更新，迭代20万步，最终完成模 型训练。

[0082] (103) Faster-Rcnn模型测试与修正。使用步骤（101)的测试数据集对训练完成的 Faster-Rcnn模型进行测试，得到其对螺钉定位的准确率。依据准确率高低判断是否要添加 数据和更改训练参数继续训练模型。

[0083] (104)输电设备缺陷分类器样本制作。针对每一种输电设备，收集包含正常螺钉和 开口销缺失的螺钉样本，并为每张图片打上缺陷种类标签。取总数9/10的图片作为训练数 据集，另外的1/10图片作为测试数据集。

[0084] (105)使用（104)中制作的训练样本训练开口销缺失分类器，该分类器能够自动区 分开口销缺失的和正常的螺钉。

[0085] (106)输电设备缺陷分类器测试与修正。针对步骤（105)的缺陷分类器，使用步骤 (104)中的测试数据测试器准确率。依据准确率高低，判断接下来是否需要添加样本或修改 训练参数继续进行训练。

[0086] (107)模型使用。将（101)到（106)步骤训练好的能够精确定位螺钉在图片中位置 的Faster-Rcnn模型以及开口销缺失分类器组合使用。将每次无人机巡检得到的输电线路 设备照片首先送入Faster-Rcnn提取出其中包含需要开口销的螺钉区域(采用矩形区域的 对角线点坐标描述该区域），然后将该区域中的图片切片送入开口销缺失分类器，判断其开 口销是否缺失。如果开口销缺失，则将该螺钉所在位置在输电线路设备照片中标注出来。

[0087] (108)模型参数更新。在已有的机器识别的结果中抽取部分典型的图片，重新制作 新的训练样本。在原有模型的基础上不断更新模型参数，使得模型不断优化，准确率不断提 尚。

[0088] 本发明针对无人机巡检产生的大量图片，利用深度学习技术虽无人机巡检所产生 的图片进行分析，经分析结果及时预警给监控人员，提高监控智能水平和监控质量、及时 性、准确性、增强输电线路的使用寿命。

[0089] 本发明通过深度学习技术对输电设备的照片进行自动处理，识别其中有缺陷的设 备并且判断所属的缺陷类型，最后在图片中自动标注出来，将分析结果反馈给输电线路巡 检人员。另外，通过不断的添加新的训练样本，不断更新模型参数，能够使得模型的精度不 断提尚。