一种暗光条件下GIS隔离接地开关视频图像采集系统

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112528983A(43)申请公布日2021.03.19(21)申请号202011482889.3G06K9/00(2006.01)(22)申请日2020.12.16G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人国网江苏省电力有限公司检修分公H04N5/225(2006.01)司H04N5/235(2006.01)地址211102江苏省南京市江宁开发区苏H04N7/18(2006.01)源大道58号-5(72)发明人赵文翰　褚周健　季克松　卞超　姚庆悦　盛智蕾　陈昊　张兆君　(74)专利代理机构宿迁市永泰睿博知识产权代理事务所(普通合伙)32264代理人陈臣(51)Int.Cl.G06K9/20(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种暗光条件下GIS隔离/接地开关视频图像采集系统(57)摘要本发明公开了一种暗光条件下GIS隔离/接地开关视频图像采集系统，包括：视频传感器、上位机和搭载于上位机的图像处理模块；其中，视频传感器包括辅助光源模块和CMOS感光元件，置于GIS隔离开关的光学观察窗的有机玻璃上，CMOS感光元件在辅助光源模块照射下采集GIS隔离开关的视频图像，上位机获取所述视频图像，搭载于上位机的图像处理模块基于区域分割和深度学习方法对视频图像信息进行数据处理，得到隔离开关动触头，隔离开关起始位置与终止位置。本发明解决了黑暗密闭条件下难以采集GIS中隔离开关视频图像的问题，并能够准确地识别隔离开关区域。CN112528983ACN112528983A权　利　要　求　书1/2页1.一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，包括：视频传感器、上位机和搭载于上位机的图像处理模块；所述视频传感器包括MCU信号输出模块，辅助光源模块和CMOS感光元件，所述辅助光源模块和CMOS感光元件置于GIS隔离开关的光学观察窗的有机玻璃上；所述CMOS感光元件用于在辅助光源模块照射下采集GIS隔离开关的视频图像；所述MCU信号输出模块用于将CMOS感光元件采集的视频图像传输至上位机；所述上位机用于获取所述视频传感器传输的视频图像；所述搭载于上位机的图像处理模块用于对上位机获取的视频图像信息进行数据处理，得到隔离开关动触头，隔离开关起始位置与终止位置。2.根据权利要求1所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述视频传感器还包括隔离电源模块和浪涌保护器，所述隔离电源模块，MCU信号输出模块和浪涌保护器置于传感器外壳内；所述辅助光源模块和CMOS感光元件置于光学观察器外壳内，所述光学观察器外壳与传感器外壳下部紧密连接；所述光学观察器外壳与光学观察窗采用螺纹连接。3.根据权利要求2所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述视频传感器还包括无线充电模块，所述无线充电模块用于为隔离电源模块供电。4.根据权利要求1所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述上位机采用Wifi方式与所述MCU信号输出模块进行通信，获取视频图像。5.根据权利要求2所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述视频传感器外壳还设有接插件，所述接插件用于提供有线传输数据的连接口。6.根据权利要求1所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述搭载于上位机的图像处理模块具体用于，依次对视频图像进行灰度处理，滤波处理，二值化处理，以及进行区域连通域标记；将区域连通域返回至原视频图，得到相互独立的各个目标图像；为分割后的目标图像绘制最小外接矩形框；将原视频图像按照目标图像所在的最小外接矩的矩形框进行分割，并重塑数据格式后依次存储；将存储的目标图像集输入预先构建的识别模型，最终输出目标图像所属的开关动触头，开关起始位置和终止位置类别。7.根据权利要求6所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述重塑数据格式是指通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式。8.根据权利要求6所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，所述搭载于上位机的图像处理模块还用于，通过CMOS感光元件采集不同光亮条件下的若干隔离开关视频图像，经灰度处理，滤波处理，二值化处理，以及进行区域连通域标记后得到连通区域，将连通区域返回原视频图像，得到分割后的各个目标图像；为分割后的目标图像绘制最小外接矩形框；2CN112528983A权　利　要　求　书2/2页将原视频图像按照目标图像所在的最小外接矩形框分割，并通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式后依次存储，并标注每个目标图像所属类别：开关动触头、开关起始位置和开关终止位置，得到数据集，并划分训练集和验证集；基于yolov4框架建立目标检测网络，网络包括backbone、neck和head；backbone用于特征提取；neck用于特征重组；head用于目标检测；根据训练集和验证集构建数据加载器；利用构建的数据加载器，按照批次读取训练集中的数据并送入到目标检测网络中，根据得到的预测结果以及相应的真实标注信息计算卷积神经网络的损失，并通过反向传播算法对卷积神经网络参数进行修正；然后加载下一批数据进行训练，直至卷积神经网络学会输入图像中目标的位置以及类别属性，保存训练得到的参数；在网络权重更新过程中，当循环预设数量的epoch时，采用验证集进行验证，并记录最佳性能参数，当网络达到最佳性能时保存模型参数，得到训练出的识别模型。9.根据权利要求8所述的一种暗光条件下GIS隔离/接地开关视频图像采集系统，其特征在于，将数据集打乱顺序后按照2：8的比例进行划分，其中20％作为验证集，80％作为训练集。3CN112528983A说　明　书1/6页一种暗光条件下GIS隔离/接地开关视频图像采集系统技术领域[0001]本发明涉及图像识别技术领域，特别涉及一种暗光条件下GIS隔离/接地开关视频图像采集系统。背景技术[0002]电力GIS设备是由断路器、隔离开关、接地开关、互感器、避雷器、母线、连接件和出线终端等组成的组合电器的简称，这些设备或部件全部封闭在金属接地的外壳中，在其内部充有一定压力的SF6缘气体，故也称SF6全封闭组合电器。与常规变电站(AIS)相比，GIS具有结构紧凑，安装方便，以及不受污染及雨、盐雾等大气环境因素的影响等优点。[0003]由于GIS隔离/接地开关所处环境复杂，电磁波或者其他形式的干扰会对信号传输产生影响，GIS内部是无光源黑暗密闭空间，图像采集设备难以捕捉清晰触头画面，这些都会引起采集到的图像成像质量不佳，包含噪点或不良曝光等。低质量的图像不仅对人的视觉带来影响更是对计算机的识别分析带来极大挑战。发明内容[0004]本发明的目的在于提供一种暗光条件下GIS隔离/接地开关视频信号采集系统，解决黑暗密闭条件下难以采集GIS中隔离开关视频图像并通过图像实现开关动触头和开关起始位置与终止位置的区域分割，从而确定图像中的开关区域。[0005]为达到上述目的，本发明采用的技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 如下：[0006]本发明提供一种暗光条件下GIS隔离/接地开关视频图像采集系统，包括：视频传感器、上位机和搭载于上位机的图像处理模块；[0007]所述视频传感器包括MCU信号输出模块，辅助光源模块和CMOS感光元件，所述辅助光源模块和CMOS感光元件置于GIS隔离开关的光学观察窗的有机玻璃上；[0008]所述CMOS感光元件用于在辅助光源模块照射下采集GIS隔离开关的视频图像；[0009]所述MCU信号输出模块用于将CMOS感光元件采集的视频图像传输至上位机；[0010]所述上位机用于获取所述视频传感器传输的视频图像；[0011]所述搭载于上位机的图像处理模块用于对上位机获取的视频图像信息进行数据处理，得到隔离开关动触头，隔离开关起始位置与终止位置。[0012]进一步的，所述视频传感器还包括隔离电源模块和浪涌保护器，所述隔离电源模块，MCU信号输出模块和浪涌保护器置于传感器外壳内；[0013]所述辅助光源模块和CMOS感光元件置于光学观察器外壳内，所述光学观察器外壳与传感器外壳下部紧密连接；所述光学观察器外壳与光学观察窗采用螺纹连接。[0014]进一步的，所述视频传感器还包括无线充电模块，所述无线充电模块用于为隔离电源模块供电。[0015]进一步的，所述上位机采用Wifi方式与所述MCU信号输出模块进行通信，获取视频图像。4CN112528983A说　明　书2/6页[0016]进一步的，所述视频传感器外壳还设有接插件，所述接插件用于提供有线传输数据的连接口。[0017]进一步的，所述搭载于上位机的图像处理模块具体用于，[0018]依次对视频图像进行灰度处理，滤波处理，二值化处理，以及进行区域连通域标记；[0019]将区域连通域返回至原视频图，得到相互独立的各个目标图像；[0020]为分割后的目标图像绘制最小外接矩形框；[0021]将原视频图像按照目标图像所在的最小外接矩的矩形框进行分割，并重塑数据格式后依次存储；[0022]将存储的目标图像集输入预先构建的识别模型，最终输出目标图像所属的开关动触头，开关起始位置和终止位置类别。[0023]进一步的，所述重塑数据格式是指通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式。[0024]进一步的，所述搭载于上位机的图像处理模块还用于，[0025]通过CMOS感光元件采集不同光亮条件下的若干隔离开关视频图像，经灰度处理，滤波处理，二值化处理，以及进行区域连通域标记后得到连通区域，将连通区域返回原视频图像，得到分割后的各个目标图像；[0026]为分割后的目标图像绘制最小外接矩形框；[0027]将原视频图像按照目标图像所在的最小外接矩形框分割，并通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式后依次存储，并标注每个目标图像所属类别：开关动触头、开关起始位置和开关终止位置，得到数据集，并划分训练集和验证集；[0028]基于yolov4框架建立目标检测网络，网络包括backbone、neck和head；backbone用于特征提取；neck用于特征重组；head用于目标检测；[0029]根据训练集和验证集构建数据加载器；[0030]利用构建的数据加载器，按照批次读取训练集中的数据并送入到目标检测网络中，根据得到的预测结果以及相应的真实标注信息计算卷积神经网络的损失，并通过反向传播算法对卷积神经网络参数进行修正；然后加载下一批数据进行训练，直至卷积神经网络学会输入图像中目标的位置以及类别属性，保存训练得到的参数；[0031]在网络权重更新过程中，当循环预设数量的epoch时，采用验证集进行验证，并记录最佳性能参数，当网络达到最佳性能时保存模型参数，得到训练出的识别模型。[0032]进一步的，将数据集打乱顺序后按照2：8的比例进行划分，其中20％作为验证集，80％作为训练集。[0033]本发明的有益效果为：[0034]本发明将辅助光源模块和CMOS感光元件置于GIS隔离开关的光学观察窗的有机玻璃上，通过CMOS感光元件在辅助光源模块照射下采集GIS隔离开关的视频图像；采用辅助光源模块直接与有机玻璃接触向下照射一方面可以降低系统功耗，另一方面，可以降低由于有机玻璃窗反光带来的对图像识别结果的影响，解决黑暗密闭条件下难以采集GIS中隔离开关视频图像的问题。5CN112528983A说　明　书3/6页[0035]本发明基于区域分割的快速目标定位算法，并采用卷积神经网络确定图像中开关动触头与开关起始位置与终止位置，避免了特征提取的复杂过程，通过卷积过程获得的目标特征可以更全面地反映目标本身的特征，识别精度更高。附图说明[0036]通过参照附图详细描述其示例实施例，本公开的上述和其他目标，特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。[0037]图1是根据一示例性实施例示出的一种基于深度学习算法的暗光条件下GIS隔离/接地开关视频图像采集系统图。[0038]图2是根据一示例性实施例示出的一种基于深度学习算法的暗光条件下GIS隔离/接地开关视频图像采集系统中视频传感器的结构图。[0039]图3是根据一示例性实施例示出的一种基于深度学习算法的暗光条件下GIS隔离/接地开关视频图像采集系统的图像处理 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图。[0040]图4是根据一示例性实施例示出的一种基于深度学习算法的暗光条件下GIS隔离/接地开关视频图像采集系统的多目标同时识别原理图。具体实施方式[0041]现在将参考附图更全面地描述示例实施例。然而示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。[0042]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述里，提供许多具体细节从而给对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其他的方法、组元、装置、步骤等。在其他情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。[0043]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或者不同网络和/或处理器装置和/或微处理器装置中实现这些功能实体。[0044]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。[0045]应理解，虽然本文中可能使用术语图像处理、图像采集等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。如本文中所使用的。术语“及/或”包括相关的列出项目中的任一个及一或多者的所有组合。[0046]本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。[0047]图1是根据一示例性实施例示出的一种基于深度学习算法的暗光条件下GIS隔离/6CN112528983A说　明　书4/6页接地开关视频图像采集系统。如图1所示，本实施例提供一种基于深度学习算法的暗光条件下GIS隔离/接地开关视频图像采集系统，包括视频传感器、上位机和搭载于上位机的图像处理模块。[0048]具体的，视频传感器结构如图2，包括：传感器外壳1，置于传感器外壳内的隔离电源模块2，MCU信号输出模块10和浪涌保护器9，还包括光学观察器外壳3和置于光学观察器外壳3内的辅助光源模块6和CMOS感光元件11。光学观察器外壳3与传感器外壳1下部紧密连接。[0049]隔离电源模块为视频传感器内部各元件供电，CMOS感光元件和MCU信号输出模块通USB连接。MCU信号输出模块用于将CMOS感光元件采集的视频图像传输至上位机。[0050]更进一步地，传感器外壳外部设有无线充电模块13，为隔离电源模块供电。[0051]GIS隔离开关带有光学观察窗，观察窗通过有机玻璃12密封，辅助光源模块6和CMOS感光元件11置于有机玻璃12上。光学观察器外壳3与光学观察窗采用螺纹5连接。[0052]光学观察器外壳3设O型密封圈4。[0053]采用螺钉把连接法兰8和传感器壳体1连接，接插件7安装在连接法兰上。连接法兰连接的是传感器壳体与顶层盖板，接插件用于提供有线传输数据的连接口。[0054]本发明中，辅助光源模块6采用光亮强度较低光源，直接与有机玻璃12接触向下照射，一方面可以降低系统功耗，另一方面，可以降低由于有机玻璃窗反光带来的对图像识别结果的影响。[0055]本发明中，在辅助光源模块6的照射下CMOS感光元件11可采集到GIS动触头的视频信号进行编码，并通过MCU信号输出模块送出传感器壳体，实现对GIS壳体内部触头的视频监测，为GIS中隔离开关触头位置监测提供了有效的监测手段。[0056]具体的，上位机采用Wifi方式与MCU信号输出模块进行通信，获取视频图像信息。[0057]具体的，搭载于上位机的图像处理模块用于对上位机获取的视频图像信息进行数据处理，得到隔离开关动触头，隔离开关起始位置与终止位置，进而确定图像中的开关区域。[0058]更进一步的，图像处理模块基于区域分割和深度学习方法实现，如图3所示，包括：[0059](1)对视频图像进行灰度处理。[0060]灰度是一种图像亮度的表示方法，采用下式计算：[0061][0062](2)滤波处理。[0063]滤波处理采用中值滤波方式，中值滤波是指将图像中某像素点周围的卷积核内像素点按顺序排成一列，取中位数代替区域内中心像素点的值。[0064](3)二值化处理。[0065]二值化是将图像使用黑和白两种颜色表示的方法，采用大津二值化算法，即最大类间方差法，自动确定二值化中阈值。[0066](4)区域连通域标记。[0067]区域连通域标记是指将图像中的各个连通区域找出并标记，采用种子填充方法实现区域连通域标记，选取一个前景像素点作为种子，然后根据连通区域的两个基本条件(像7CN112528983A说　明　书5/6页素值相同、位置相邻)将与种子相邻的前景像素合并到同一个像素集合中，最后得到的该像素集合则为一个连通区域。[0068](5)训练识别模型[0069]采集不同光亮条件下的若干隔离开关视频图像，经上述步骤处理后得到连通区域，将连通区域返回原图，得到分割后的各个目标图像；[0070]为分割后的目标图像绘制最小外接矩形框；[0071]将原视频图像按照目标图像所在的最小外接矩形框分割，并通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式后依次存储，并标注每个目标图像所属类别：开关动触头、开关起始位置、开关终止位置，得到数据集；[0072]将数据集打乱顺序后按照2：8的比例进行划分，其中20％作为目标检测模型验证集，80％作为目标检测模型训练集；[0073]基于yolov4框架建立起目标检测网络结构，网络结构主要包含三个部分，分别为backbone、neck和head三个部分。其中backbone部分主要负责特征提取，包括语义特征、全局特征等；neck部分负责特征重组，重组不同层的特征，实现网络的多尺度；head部分负责目标检测，根据数据集中的目标类别以及其他信息搭建；[0074]根据划分的数据集，分别构建起训练集和验证集的数据加载器，并在网络训练过程中提供输入数据；[0075]利用搭建的数据加载器，按照批次读取数据并送入到目标检测网络结构中，根据得到的预测结果以及相应的真实标注信息计算卷积神经网络的损失，并通过反向传播算法对卷积神经网络参数进行修正；然后加载下一批数据进行训练，直至卷积神经网络学会输入图像中目标的位置以及类别属性，保存训练得到的参数；[0076]在网络权重更新过程中，当循环一定数量的epoch时，对模型性能进行验证，并记录最佳性能指标，当网络达到最佳性能时保存模型参数，得到训练出的识别模型。[0077]本发明中，识别模型基于卷积神经网络算法实现，卷积神经网络中负责特征提取的层为卷积层，选择卷积核大小为1，步长为1时，通道数为1时，构建全连接网络如下：[0078][0079]其中，b为偏差量，Zl和Zl+1表示第l+1层的卷积输入和输出，Ll+1为Zl+1的尺寸，表示经过重塑的目标图像(i,j)位置的像素，(i,j)为像素点位置，[0080]卷积层1(Cov1)：该层输入图像大小为重塑后的32×32×1的RGB图像，第一个卷积层过滤器的尺寸为32×32×1，深度为32，使用全0填充，步长为1个像素；[0081]池化层Pool1：这一层的输入为上一层的输出，上层输出为32×32×32的节点矩阵，使用全0填充，本层过滤器的尺寸为3×3，步长为2像素；[0082]卷积层Cov2：这一层的输入为上一层的输出，上一层的输出为16×16×32的节点矩阵，这一卷积层过滤器的尺寸为5×5×32，深度为64，使用全0填充；[0083]池化层Pool2：这一层的输入为上一层的输出，上一层输出为16×16×64的节点矩阵，本层过滤器的尺寸为3×3，步长为2像素，使用全0填充。[0084](6)目标识别。8CN112528983A说　明　书6/6页[0085]识别过程如图4所示，将实时采集的隔离开关视频图像经过上述处理后得到连通区域，将连通区域返回原视频图像，得到分割后的各个目标图像；[0086]为分割后的目标图像绘制最小外接矩形框；[0087]将原视频图像按照目标图像所在的最小外接矩的矩形框分割，并通过填充像素值为255的像素点，将最小外接矩形框重塑为32x32x1大小的图像数据格式后依次存储；[0088]将存储的目标图像输入预先构建的识别模型，最终输出目标图像所属的开关动触头，开关起始位置和终止位置类别。[0089]本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。[0090]此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。[0091]以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。9CN112528983A说　明　书　附　图1/3页图110CN112528983A说　明　书　附　图2/3页图211CN112528983A说　明　书　附　图3/3页图3图412