(12)发明专利申请
(10)申请公布号 CN 105426930 A (43)申请公布日 2016.03.23
(21)申请号 201510755488.3(22)申请日 2015.11.09
(71)申请人国网冀北电力有限公司信息通信分
公司
地址100031 北京市西城区枣林前街32号
院
申请人国家电网公司 南京南瑞集团公司
南京南瑞信息通信科技有限公司(72)发明人吴佳 苏丹 郝小龙 袁卫国
彭启伟 李环媛 罗旺 刘超余磊 高崧 冯敏(74)专利代理机构南京纵横知识产权代理有限
公司 32224
代理人董建林 母秋松
权利要求书1页 说明书3页 附图1页
(51)Int.Cl.
G06K 9/66(2006.01)
(54)发明名称
一种基于卷积神经网络的变电站属性分割方法(57)摘要
本发明公开了一种基于卷积神经网络的变电站属性分割方法，建立一个包含七类图像的变电站图像数据库，将图像进行构建属性表和手工标注语义分割，预训练、学习属性分类和属性分割卷积神经网络，再通过卷积神经网络对图像进行属性分类和属性分割。本发明提供的一种基于卷积神经网络的变电站属性分割方法，可以有效地预防和排除输电故障，保证供电的安全和畅通；同时，有效缓解人力监控的压力，达到真正意义上的智能监控。在建立变电站图像数据库上，进行了大量测试，结果表明本发明提出的基于深度卷积神经网络的新型技术具有非常高的实用性和可行性。
C N 1 0 5 4 2 6 9 3 0 A CN 105426930 A
权 利 要 求 书
1/1页
1.一种基于卷积神经网络的变电站属性分割方法，其特征在于：包括步骤如下：
步骤一：构建数据库，通过提取监控视频资料的视频帧以及搜索互联网上相关图像，构建了一个专门的用于属性分割的图像库；所述图像库中所有图像与变电站；所述图像分为七类属性，每幅图像至少包含一种属性；
步骤二：构建属性表和手工标注语义分割，所述构建属性表根据每幅图像包含的属性类别，对每幅图像构建二值属性表，每张二值属性表包括七位数值，每位数值1代表有，0代表没有；所述手工标注语义分割根据每幅图像包含的每个属性，手工标注出该属性在图像中占据的所有像素点；
步骤三：预训练属性分类卷积神经网络和属性分割卷积神经网络，为避免过拟合现象，在图片库ImageNet上预训练属性分类卷积神经网络和属性分割卷积神经网络模型，所述图片库ImageNet包括1000类不同的图像，所述属性分类卷积神经网络和属性分割卷积神经网络的第8层参数均设置为1000；
步骤四：学习属性分类卷积神经网络，根据步骤二中构建的二值属性表对步骤三中预训练的属性分类卷积神经网络进行学习；
步骤五：学习属性分割卷积神经网络，根据步骤二中手工标注的语义分割对步骤三中预训练的属性分割卷积神经网络进行学习；
步骤六：利用属性分类卷积神经网络和属性分割卷积神经网络对图像进行属性分类和属性分割，包括如下步骤：
6a：将属性分类卷积神经网络和属性分割卷积神经网络的第8层参数均设置为7；6b：在属性分割卷积神经网络的卷积层后面设置反卷积层，用于恢复待分割图像像素间的空间关系；
6c：根据步骤四中学习的属性分类卷积神经网络模型，完成图像的属性分类任务，得到二值属性表；根据二值属性表，采用步骤五中学习的属性分割卷积神经网络模型，再将图像进行分割，得到二值属性表中每一类属性的图像像素分割结果。
2.根据权利要求1所述的一种基于卷积神经网络的变电站属性分割方法，其特征在于：所述图像七类属性包括变电站、变压器、刀闸、输电线路、绝缘子、营业厅、人。
3.根据权利要求1所述的一种基于卷积神经网络的变电站属性分割方法，其特征在于：所述每类图像数量设置为60-140张。
4.根据权利要求1所述的一种基于卷积神经网络的变电站属性分割方法，其特征在于：所述二值属性表七位数值依次代表是否有变电站、变压器、刀闸、输电线路、绝缘子、营业厅、人。
2
CN 105426930 A
说 明 书
一种基于卷积神经网络的变电站属性分割方法
1/3页
技术领域
本发明涉及一种基于卷积神经网络的变电站属性分割方法，属于属性分割的新型神经网络技术领域。
[0001]
背景技术
近年来，图像分类任务对于整幅测试图像只给出一个结果标签，例如对于一幅待
测的变电站图片，图像分类任务就是要准确地给该幅测试图片输出“变电站”这么一个标签，从而可以理解为：这是一幅变电站图像；而属性分割则不同，属性分割需要为图像的每一个像素都分配一个标签，进而将具有相同标签的像素聚成一块，从而可以将图像分成多个块，即给图像赋予多个属性，例如上面提到的待测变电站图像，可以将其解释为：这是一幅具有变电站、变压器、刀闸等多个属性的图像。[0003] 现实生活中得到的图像往往受姿态、尺度、光照等变化影响，导致属性分割任务变得很困难，传统的关于属性分割的算法主要采取的策略是对图像的每个像素分配单个标签，这样不符合人类对图像理解的要求。
[0002]
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种基于卷积神经网络的变电站属性分割方法。[0005] 技术方案：为解决上述技术问题，本发明采用的技术方案为：[0006] 一种基于卷积神经网络的变电站属性分割方法，其特征在于：包括步骤如下：[0007] 步骤一：构建数据库，通过提取监控视频资料的视频帧以及搜索互联网上相关图像，构建了一个专门的用于属性分割的图像库；所述图像库中所有图像与变电站；所述图像分为七类属性，每幅图像至少包含一种属性；[0008] 步骤二：构建属性表和手工标注语义分割，所述构建属性表根据每幅图像包含的属性类别，对每幅图像构建二值属性表，每张二值属性表包括七位数值，每位数值1代表有，0代表没有；所述手工标注语义分割根据每幅图像包含的每个属性，手工标注出该属性在图像中占据的所有像素点；[0009] 步骤三：预训练属性分类卷积神经网络和属性分割卷积神经网络，为避免过拟合现象，在图片库ImageNet上预训练属性分类卷积神经网络和属性分割卷积神经网络模型，所述图片库ImageNet包括1000类不同的图像，所述属性分类卷积神经网络和属性分割卷积神经网络的第8层参数均设置为1000；[0010] 步骤四：学习属性分类卷积神经网络，根据步骤二中构建的二值属性表对步骤三中预训练的属性分类卷积神经网络进行学习；
[0004]
步骤五：学习属性分割卷积神经网络，根据步骤二中手工标注的语义分割对步骤
三中预训练的属性分割卷积神经网络进行学习；[0012] 步骤六：利用属性分类卷积神经网络和属性分割卷积神经网络对图像进行属性分
[0011]
3
CN 105426930 A
说 明 书
2/3页
类和属性分割，包括如下步骤：[0013] 6a：将属性分类卷积神经网络和属性分割卷积神经网络的第8层参数均设置为7；
[0014] 6b：属性分割卷积神经网络的卷积层后面设置反卷积层，用于恢复待分割图像像素间的空间关系；[0015] 6c：根据步骤四中学习的属性分类卷积神经网络模型，完成图像的属性分类任务，得到二值属性表；根据二值属性表，采用步骤五中学习的属性分割卷积神经网络模型，再将图像进行分割，得到二值属性表中每一类属性的图像像素分割结果。[0016] 所述图像七类属性包括变电站、变压器、刀闸、输电线路、绝缘子、营业厅、人。[0017] 所述每类图像数量设置为60-140张。
[0018] 所述二值属性表七位数值依次代表是否有变电站、变压器、刀闸、输电线路、绝缘子、营业厅、人。
[0019] 有益效果：本发明提供的一种基于卷积神经网络的变电站属性分割方法，利用一个和变电站相关的图像数据库，该数据库包括了和变电站相关的各类属性的图像，所有图像在背景、角度、光照、尺度等方面都具有很大的差异性；基于的卷积神经网络，具有数以百万计的参数，为避免在规模太小的数据库上训练得到的模型过拟合，故在大型数据库预训练，从而获得模型参数；本发明可以有效地预防和排除输电故障，保证供电的安全和畅通；同时，有效缓解人力监控的压力，达到真正意义上的智能监控。在建立变电站图像数据库上，进行了大量测试，结果表明本发明提出的基于深度卷积神经网络的新型技术具有非常高的实用性和可行性。附图说明
图1为本发明属性分割流程示意图；
[0021] 图2为本发明图像属性分割示意图。
[0020]
具体实施方式
[0022] 下面结合附图对本发明作更进一步的说明。[0023] 如图1、图2所示，首先，建立一个包含七类图像的变电站图像数据库，该七类图像分别为变电站、变压器、刀闸、输电线路、绝缘子、营业厅、人，所有图像均来自互联网和现实的监控设备，每一类图像个数为60至140之间，并且每一类图像在背景、角度、光照、尺度上具有很大的差异性。针对每一幅图像，通过手工标注得到了一个二值属性表，该属性表表明了该幅图像所包含的属性类别，例如，{1,0,0,1,0,0,1}表明该幅图像中包含变电站、输电线路、人这三类属性；同时对于每一幅图像，为其每一种属性都手工标注得到一个语义分割，每一个语义分割都代表该属性在图像中真实占据的像素范围，并将该语义分割与属性分割卷积神经网络的结果对比，作为批判的图像属性分割准确率。为了提高属性分割任务的挑战性，对变电站数据库设定了以下几个难点：1.选取的图像背景相对复杂；
[0025] 2.有些属性在图像中占据的像素点个数非常少；[0026] 3.大部分图像包含的属性个数大于等于3。
[0024]
4
CN 105426930 A[0027]
说 明 书
3/3页
对建立好的数据库中的每一幅图像都做一些预处理，首先将所有图像随机对等地划分为训练图像集和测试图像集，再将每一张图片的大小进行归一化。[0028] 在对模型进行学习之前，需要解决训练模型参数过多带来的过拟合现象。为此，在大型图像公开库上预先训练神经网络模型，再使用建立的变电站数据库继续学习该模型直至收敛，在该训练过程中，定义一个能量损失函数，使用误差反向传播算法和梯度下降算法迭代更新模型参数，直至能量损失函数达到最小，此时得到的模型即为最优。[0029] 为完成图像属性分类和属性分割两个任务，提出一种结构比较新颖的卷积神经网络，该网络包含两个神经网络，其中一个是属性分类卷积神经网络，该网络的结构设置和传统的神经网络一样，用于对的图像进行属性分类；另外一个是属性分割卷积神经网络，考虑到传统的CNN结构中的池化层会忽略掉图像像素间的空间信息，本发明提出使用反卷积层来恢复图像像素间的空间信息，这是一种简单而有效的网络结构。在提出的卷积神经网络结构中，将两个不同的神经网络进行串联，依次完成对图片的属性分类和属性分割。在训练阶段，对两个不同的网络分别地进行训练，对于属性分类卷积神经网络，使用所有训练图像的属性表来训练该卷积神经网络；对于属性分割卷积神经网络，使用所有属性的手工标记语义分割来训练该卷积神经网络。在测试阶段，给定一幅测试图像，先将其裁剪成大小为224×224的图像，再基于所有训练图像的均值将测试图像归一化，紧接着输入到训练好的属性分类卷积神经网络中得到预测属性表，最后将预测属性表传递到属性分割卷积神经网络中得到了属性能量谱，即对于预测属性表中每一个值为1的属性都得到了一个最终的分割结果。
[0030] 本发明采用的是Caffe深度学习框架，这是一个非常清晰且高效的深度学习框架，该框架能够运行极其优秀的模型以及大规模的数据，对于要解决的问题具有很强的适应性。
[0031] 本发明采用的属性分割准确率评判标准为交除并(IoU)，定义如下：
[0032]
其中，g是人工标定的语义分割的面积，代表着该属性在测试图片中真实占据的大小，f是采用本发明提出的卷积神经网络分割的面积，g和f对应的是同一种属性，g∩f代表的是预测结果和真实值的公共部分，g∪f代表的是预测结果和真实值的总和，IoU值越大则代表预测结果越接近真实值，说明提出的属性分割算法越好；反之，则越差，所以用IoU值能很好地反义出算法的性能。
[0034] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0033]
5
CN 105426930 A
说 明 书 附 图
1/1页
图1
图2
6
因篇幅问题不能全部显示，请点此查看更多更全内容