智能变电站通信网络阻塞故障及其防范措施分析

第 35 卷 第 11 期 电 网 技 术 Vol. 35 No. 11 2011 年 11 月 Power System Technology Nov. 2011    文章编号：1000-3673（2011）11-0007-05 中图分类号：TM 73 文献标志码：A 学科代码：470·4054 智能变电站通信网络阻塞故障及其防范措施分析 欧阳帆，刘海峰，赵永生，荀吉辉，陈宏 （湖南省电力公司科学研究院，湖南省 长沙市 410007） Analysis on Communication Network Congestion Occurred in Smart Substation and Preventive Measures OUYANG Fan, LIU Haifeng, ZHAO Yongsheng, XUN Jihui, CHEN Hong (Hunan Electrical Power Corporation Research Institute, Changsha 410007, Hunan Province, China) ABSTRACT: A communication network congestion fault occurred during the commissioning of secondary network for 110kV Zengjiachong smart substation and the measures to cope with it are described in detail, and the on-site troubleshooting of the fault is presented and the predisposition led to the communication network fault is analyzed. Inappropriate connection with devices of outer network and insufficient consideration of security prevention for device configuration of inner network were main causes leading to the network congestion. At the beginning, this fault was induced by the broadcast message sent by unauthenticated device in outer network and inappropriate network response mechanism of smart component in inner network aggravated the extent of network congestion, thus under the combined action of the both, finally the network congestion of whole substation occurred. With regard to security protection of secondary network for smart substation, following suggestions such as starting the use of PRL and STP functions, improving the receiving and sending mechanism of smart component network, standardizing the connection with the network being operated, are put forward. KEY WORDS: network congestion; fault analysis; smart substation; safety precaution 摘要：详细介绍了在 110kV 曾家冲智能变电站二次网络调 试期间发生的一起网络阻塞故障及其处理情况，介绍了故障 现场排查方法，分析了引发网络故障的诱因。外网设备的不 当接入与内网设备网络机制配置对安全防范考虑不足是导 致此次网络阻塞的主要原因。此次故障是由外网有害设备向 站内网络发送广播攻击报文诱发，而内网智能组件网络响应 机制失当又进一步加剧了网络阻塞的程度，在两者共同作用 下最终导致了全站网络阻塞。最后就智能变电站二次网络安 全防护提出了启用网络抑制功能、改进智能组件网络收发机 制、规范运行网络接入等措施和建议。 关键词：网络阻塞；故障分析；智能变电站；安全防范 0 引言 智能变电站是坚强智能电网的重要基础和支 撑，是变电站自动化领域技术发展的方向。在国网 公司标准《智能变电站技术导则》中指出“全站信 息数字化、通信平台网络化”是智能变电站的基本 特征。智能变电站通信的重要性日益突出，对作为 通信载体的二次网络也提出了明确要求[1]。 长沙 110 kV 曾家冲智能变电站是国网公司建 设坚强智能电网的第 1 批智能变电站新建试点项目 之一，在站内二次网络结构的设计上做了大胆创新 和尝试，取得了很好的效果，调试中也发现并解决 了一些问题。本文基于该智能变电站调试过程中的 一起网络阻塞故障，对其进行故障发展过程描述和 故障原因分析，并在二次网络的安全防范上提出相 应的解决措施。 1 二次网络结构 在设计上，曾家冲智能变电站采用了多种创新 的设计方法，其中二次站内通信网络采用了“四网 合一、三层一网”方式——即面向通用对象的变电 站事件 (generic object oriented substation event， GOOSE)报文、采样测量值(sampled measurement value，SMV)报文、制造报文规范 (manufacturing message specification，MMS)报文和 IEEE1588 对时 报文的同网传输方式，过程层报文与站控层报文的 同网传输方式。在这种方式下，110 kV 侧各段内桥 母线电压采样报文经由交换机与各回出线间隔的 电流采样报文实现同步，间隔层设备 GOOSE 报文 经由交换机与过程层智能组件实现测控功能。网络 基金项目：国家电网公司坚强智能电网建设第一批试点项目 (110 kV 曾家冲智能变电站新建项目)。 8 欧阳帆等：智能变电站通信网络阻塞故障及其防范措施分析 Vol. 35 No. 11    采样、测控方式相对于传统变电站的交流模拟量点 对点直连采样、开关量电缆直连跳闸方式，节约了 大量的连接端口，优化了网络资源。 在站内网络结构上，曾家冲智能变电站采用图 1 所示的单环网结构。4 台 RUGGEDCOM 交换机 以手拉手方式构成单环，其中：2 台 RSG2288 透明 交换机直接互联，接入 110 kV 电压等级间隔层智能 组件与过程层电流、电压采集和控制智能组件信 息；1 台 RSG2100 交换机接入站控层后台监控和对 实时性要求相对较低的智能二次设备； 1 台 RSG2300 交换机接入 10 kV侧的各出线智能组合开 关和二次设备。 RSG2100 110 kV 间 隔层智能 设备 1588 时钟 远动 装置 站控后台 监控 网络记录 分析装置 网络打印 服务器 RSG2288 RSG2288 110 kV 间 隔层智能 设备 … … 110 kV 间 隔层智能 设备 110 kV 间 隔层智能 设备 RSG2300 图 1 110 kV 曾家冲智能变电站网络结构 Fig. 1 Network topology of the 110 kV Zengjiachong smart substation 由于采用单环网结构和应用“四网合一”功能，变 电站整站二次设备可靠运行、保护、测量、控制、 计量等各项功能的正确实现均依赖于站内二次网 络。二次网络的健康度和可靠性的变化，直接影响 到局部乃至整个智能变电站的安全，因此必须加以 重视[2-7]。 2 故障现象 2010 年 12 月 18 日 23:00 左右，曾家冲变电站现 场调试人员发现后台监控与间隔层设备的通信突然 中断且不能自行恢复，进一步检查发现，间隔层和过 程层各智能组件的通信口均不响应，站内网络报文记 录分析装置显示网络流量接近 90%，整站网络通信 呈瘫痪状态。调试人员及厂家技术人员进行紧急分析 处理，断开环网并重新启动交换机，23:05，网络流 量正常，各装置通信恢复正常，故障解除。 通过分析网络报文记录分析装置的数据，对故 障发生时间前后 1 h 内的记录文件进行检查发现， 从 22:50:10 开始至 23:02:00 之间的记录文件 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 现异 常，见表 1。一方面，记录文件大小都达到了配置 所设置的上限(50 MB/个)；另一方面，除故障开始 阶段的第 1 个记录文件外(记录时段为 5 min40 s)， 所有文件的记录时段均只有 5 s 左右。而在正常情 况下，记录文件大小和记录时间都是相对固定的， 单个文件记录时间可达时间上限(5 min/个)，文件大 小在 10~20 MB 之间。据此可以确定，网络异常正 是发生在该时间段内。 表 1 故障期间记录文件序列表 Tab. 1 Record files list during the fault 序号 文件开始时刻 文件大小/MB 记录时长/s 1 22:50:10 43.6 300 2 22:55:10 49.6 280 3 22:59:50 50.2 14 4 23:00:04 49.8 7 5 23:00:11 49.7 18 6 23:00:29 50.0 32 7 23:01:01 49.7 58 8 23:01:59 49.6 40 9 23:02:39 49.8 5 10 23:02:44 50.0 6 11 23:02:50 50.5 4 12 23:02:54 50.4 5 13 23:02:59 50.1 4 14 23:03:03 49.8 4 15 23:03:07 50.1 6 16 23:03:13 50.3 38 17 23:03:51 49.7 5 18 23:03:56 49.9 5 19 23:04:01 50.2 7 20 23:04:08 49.9 5 21 23:04:13 49.8 7 22 23:04:20 49.9 6 23 23:04:26 49.7 10 24 23:04:36 49.9 9 25 23:04:45 49.3 132 26 23:06:57 16.9 300 3 故障过程回放 通过对该时间段内的报文进行详细分析，整个 过程可分为异常起始、异常发展、网络阻塞和网络 恢复 4 个阶段。 1）起始阶段。 起始阶段从 22:54:54 开始，到 22:55:07 进入发 展阶段。 在 22:50:10 生 成 的 记 录 文 件 显 示 ， 22:54:54.380261 之前的网络通信过程尚属正常，被 监控端口的网络流量很小，占流比不到 1%。该时 间点之后，网络中一台媒体访问控制(media access control，MAC)地址为 00:21:86:5a:59:78 的设备开始 向组播地址 239.255.255.250 频繁发送简单服务发 第 35 卷 第 11 期 电 网 技 术 9   现 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 (sinple service discovery protocol，SSDP)报 文，发送频率为 30 µs/次，持续时间约 13 s，此阶 段网络流量跳跃到 50 Mb/s，如图 2 所示。图中实 线为总流量，虚段线为 00:21:86:5a:59:78 节点发送 的报文流量，“后台及远动流量”是指监控后台及 远动装置接点发送的报文流量。 流 量 /(M b/ s) 100 0 50 22:54:30 100 0 50 100 0 50 总流量 外部接入流量 后台及远动流量 22:54:50 22:55:10 时刻 图 2 异常开始阶段的网络流量 Fig. 2 Network flow in beginning stage 在此期间，除夹杂极少量的地址解析协议 (address resolution protocol，ARP)报文外，全是 SSDP 报文，而 ARP 报文则是由于这种大流量引起 的网络连接中断而产生。正是这类报文的频繁发 送，导致网络负荷一度接近 70%，并导致监控后台 和远动装置与间隔层设备失去联系，迫使其短时间 内大量发出 TCP RST 重连和 ARP 请求报文，引发 了持续的网络异常[8-9]。 2）发展阶段。 异常发展阶段从 22:55:07 开始，到 22:59:45 为 止，延续了将近 5 min。 在这一阶段，SSDP 报文间断性发送，网络流 量基本恢复为正常水平(见图 3)。在此期间，后台 监控和远动装置持续对站内各间隔层装置发送 ARP 请求(频率约 1 ms/次)。尝试与其它间隔层装置 取得联系，但始终无应答。 流 量 /(M b/ s) 100 0 50 22:55:20 100 0 50 100 0 50 总流量 外部接入流量 后台及远动流量 22:55:40 22:56:00 时刻 图 3 异常发展阶段的网络流量 Fig. 3 Network flow in development stage 3）网络阻塞阶段。 从 22:59:45 开始，后台监控和远动装置的 ARP 请求发送频率突然加快，达到 10 µs/次；而此时， SSDP 报文也重新开始频繁发送，两者流量交替上 升，见图 4(a)，并最终使网络流量长期达到 90%占 用率，见图 4(b)。整个网络已经处于瘫痪状态，进 入网络阻塞阶段。此时的网络特征主要表现在以下 几点：①大量的 SSDP 报文重发；②大量的 TCP 重 连(无应答)；③大量的 ARP 报文重发。网络无法自 行恢复，直至采取干预措施断开网络连接。 流 量 /(M b/ s) 100 0 50 22:59:50 100 0 50 100 0 50 总流量 外部接入流量 后台及远动流量 23:00:10 23:00:30 时刻 (a) 报文风暴交替发生 流 量 /(M b/ s) 100 0 50 23:03:33 100 0 50 100 0 50 总流量 外部接入流量 后台及远动流量 23:04:13 23:04:53 时刻 (b) 网络流量持续饱和 图 4 网络阻塞阶段的网络流量 Fig. 4 Network flow in block stage 4）恢复阶段。 23:05 左右，调试人员采取了退出外网设备、 断开环网、重启交换机的紧急措施。后台监控、远 动装置与各间隔层智能单元的 TCP 握手正常，通信 得以恢复建立，网络恢复正常。 4 故障排查方法和原因分析 4.1 故障排查方法 调试人员认为，在故障发生时，应主要从以下 3 点可能性依次分析：1）交换机硬件故障，如掉电、 死机等。2）发生网络风暴，网络风暴通过报文在 以太网交换机中自激爆发，是在环网结构中比较容 易发生的故障。3）发生网络阻塞，当存在外在诱 因时，如果安全策略应用不当，有可能激发 SYN Flood 风暴、ARP 请求风暴，最终导致网络流量被 这些垃圾报文占用，并影响终端设备通信机制。 当发现故障时，调试人员按上述原则，首先检 查交换机设备完好，指示灯正常，排除了硬件问题； 10 欧阳帆等：智能变电站通信网络阻塞故障及其防范措施分析 Vol. 35 No. 11    接着，考虑是否网络风暴，采取了解除环网的措施， 将单环网一端解开，成为总线型网络，但通信并未 就此恢复，网络风暴的可能性也被排除；于是最终 确认为网络阻塞，采取了进一步措施，退出所有外 网设备，将网络逐步解列，故障解除。 4.2 故障原因分析 分析整个异常过程可以确定，此次网络异常是 外部计算机接入网络，并产生 SSDP 攻击引起的， 原因是： 1）在异常出现之前，网络中未出现过 SSDP 报文。SSDP 作为简单服务发现协议，本身存在漏 洞而易成为网络攻击手段，通常被屏蔽，不是内网 应有的报文。 2）在异常出现前，网络中从未存在过发出 SSDP 报文的该节点(MAC 和 IP)，只能是外网设备接入。 此次异常中SSDP报文的发送频率高(30 µs/次)， 完全不同于常规的报文信息发送，因此可以进一步 认定为恶意攻击报文，很可能该节点遭受了病毒感 染，而对其接入的任何网络进行攻击。经调查，确 认该节点设备为网络交换机厂家技术人员的调试笔 记本电脑，并了解到其操作系统中过蠕虫病毒。 外 网 设 备 对 239.255.255.250(IP 地 址 ) 、 33:33:00:00:*(MAC 地址)等节点发送报文，构成拒 绝服务(denial of service，DoS)攻击，引起瞬间网络 流量突变，局域网内组播地址均受到影响[10-14]，见 图 5(a)。首先间隔层智能单元受到较大冲击，导致 网络接口无响应。间隔层智能单元的以太网通信模 块通常是智能组件厂家开发，由以太网控制器芯片 及其缓存构成，因其应用环境单纯，其网络机制也 相对简单。分析认为，在异常开始阶段，各间隔层 装置受到组播报文频繁冲击后，其缓存溢出，迫使 装置停止与后台的联系，于是导致后台联络无响应。 远动装置和监控后台与下面间隔层装置失去 联系后，开始主动发出 ARP 扫描。由于间隔层装 置无响应，远动装置和监控后台开始发送 TCP RST 重连报文，无响应则引发了重建 ARP 表的行为。 这些报文针对 ff:ff:ff:ff:ff:ff 地址，也都是广播报文， 见图 5(b)。不久 ARP 扫描发展成为不正常的 ARP 请求风暴和 SYN FLOOD 风暴，也占用了大量的网 络资源(其机制与后台及远动装置的网络策略设置 有关)；而 SSDP 发送源并未退出，受到激发，参与 网络阻塞过程。此时阻塞的源头由 SSDP 源、监控 后台和远动装置构成。一般来说，网络占用率应保 00-0A-DC-4C-95-01(1) 01-1B-19-00-00-00(1) 52-47-51-10-1A-11(1) 33-33-00-00-00-0C(1) 52-47-51-10-0D-71(1) 52-47-51-10-0D-91(2) 00-0A-DC-4C-95-01(2) 52-47-51-10-08-E1(1) 52-47-51-10-07-91(1) 52-47-51-10-08-01(1) 00-21-86-5A-59-78(5) 33-33-00-01-00-02(1) 52-47-51-10-07-01(1) 00-0A-DC-4C-6B-A8(1) 01-80-C2-00-00-00(2) 01-00-5E-7F-FF-FA(1) 6C-62-6D-6B-CB-77(10) 52-47-51-10-07-41(1) 33-33-00-00-00-02(1) 52-47-51-10-08-61(1) FF-FF-FF-FF-FF-FF(3) 00-0A-DC-4C-95-07(1) (a) 外网设备报文风暴指向图 00-0A-DC-4C-95-01(1) 01-1B-19-00-00-00(1) 52-47-51-10-1A-11(1) 33-33-00-00-00-0C(1) 52-47-51-10-0D-71(1) 52-47-51-10-0D-91(2) 00-0A-DC-4C-95-01(2) 52-47-51-10-08-E1(1) 52-47-51-10-07-91(1) 52-47-51-10-08-01(1) 00-21-86-5A-59-78(5) 33-33-00-01-00-02(1) 52-47-51-10-07-01(1) 00-0A-DC-4C-6B-A8(1) 01-80-C2-00-00-00(2) 01-00-5E-7F-FF-FA(1) 6C-62-6D-6B-CB-77(10) 52-47-51-10-07-41(1) 33-33-00-00-00-02(1) 52-47-51-10-08-61(1) FF-FF-FF-FF-FF-FF(3) 00-0A-DC-4C-95-07(1) (b) 后台和远动装置报文风暴指向图 图 5 报文风暴指向矩阵图 Fig. 5 Figure of message flood toward physical nodes in the network 持在 60%以下，可确保通信顺畅，超过该限度则有 可能造成网络阻塞，而 2 种报文风暴交替发生，最 终导致占用率长时间超过 90%。 5 防范措施和建议 虽然此次网络阻塞是外部有害节点接入引起的， 但此次网络异常故障也暴露出站内二次网络相对薄 弱、智能组件缺乏应对网络攻击的安全防范措施、外 网设备接入需要规范等问题。针对此次故障，调试人 员通过分析，采取了并认为应采取以下防范措施： 1）启用广播/组播抑制功能和生成树策略。 通常网络交换机都具有针对广播/组播报文攻 击的端口流量抑制(port rate limiting，PRL)设置，以 及针对环状网络风暴的生成树策略(spanning tree protocol，STP)的设置。PRL 功能可有效抑制广播 报文洪滥流量和某些端口的组播报文洪滥流量(对 站内基于组播报文发布的端口则效果较差)；STP 对网络风暴有很好的抑制作用。正确设置上述功 能，可有效抑制非法报文的流量，且不影响到其他 正常报文的发送。 2）改进智能组件网络收发机制。 此次异常也暴露了设备厂家开发智能组件固 件时考虑不周：缓存容量偏小，对接收的报文采用 第 35 卷 第 11 期 电 网 技 术 11   顺序排队方法而未做区分对待，以至于缓存被非法 报文填满，拒绝接纳新报文。这种立足于正常通信 的设计，不足以应付网络异常状态。将报文按来源 和类型分类，排入不同的缓存，能够降低非法报文 和无用报文对智能组件接口的冲击风险。 3）增补运行检修条款，规范运行网络接入。 智能变电站的二次网络安全防护应严格遵照 《电力二次系统安全防护总体 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 》和《变电站二 次系统安全防护方案》的要求，进行安全分区[15] ， 任何外设接入网络都须经过认真检查。有关运行检 修规程中应增补相应条款，对外网设备(有线、无线) 接入运行内网加以明确规定，严格规范接入设备、 方式和节点。比如，在分支交换机或末端节点交换 机上设置专门端口，外网设备只允许从此接入，并 对该端口采取相应安防措施，使外网设备与核心交 换机之间具备一定缓冲。 与传统变电站二次回路故障调查不同，网络故 障具有不直观、不透明的特点，对网络故障的调查 须要依赖专业软件和硬件。因此继保技术人员需要 尽快掌握并熟练使用网络记录分析仪、WireShark 等工具及软件。 6 结语 智能电网建设是社会经济发展的必然需要，是 大势所趋。智能变电站属于新生事物，特别是试点 工程，应允许其应用的技术处于初期应用和规范阶 段，在实践中得到验证。 本文主要介绍了在 110 kV 曾家冲智能变电站 二次网络调试过程中发生的一例网络阻塞故障及 其解决办法，分析并指出此次故障是外部设备诱 发、内部智能组件配置不当而共同作用导致的网络 阻塞故障，给出了针对性的防范措施和建议，希望 对于今后处理和预防智能变电站中网络阻塞故障 及相关的网络风暴故障提供参考。 参考文献 [1] Q/GDW 383—2009 智能变电站技术导则[S]． [2] 原伟利，贺丹丹．网络安全之 TCP/IP 协议安全性研究[C]//第十五 届全国青年通信学术会议论文集( 上册 三年级上册必备古诗语文八年级上册教案下载人教社三年级上册数学 pdf四年级上册口算下载三年级数学教材上册pdf )．昆明：2010：385-389． [3] 方熙，陈会周．智能化全数字化变电站调试浅析[J]．安徽电力， 2010，27(3)：20-23． Fang Xi，Chen Huizhou．Brief analysis of the digital substation's commissioning[J]．Anhui Electric Power，2010，27(3)：20-23(in Chinese)． [4] 易永辉，王雷涛，陶永健．智能变电站过程层应用技术研究[J]．电 力系统保护与控制，2010，38(21)：1-5． Yi Yonghui，Wang Leitao，Tao Yongjian．Process level application scheme in smart substation[J]．Power System Protection and Control， 2010，38(21)：1-5(in Chinese)． [5] 张清枝，左群业，何刚，等．智能变电站网络对时测试研究[J]．电 力系统保护与控制，2010，38(21)：237-240． Zhang Qingzhi，Zuo Qunye，HE Gang，et al．Research of networked correction time test on smart substation[J]．Power System Protection and Control，2010，38(21)：237-240(in Chinese)． [6] 高翔．数字化变电站应用技术[M]．北京：中国电力出版社，2009： 77． [7] 侯伟宏，张沛超，胡炎．数字化变电站系统可靠性与可用性研究 [J]．电力系统保护与控制，2010，38(14)：34-38． Hou Weihong，Zhang Peichao，Hu Yan．Reliability and availability study of the digital substation system[J]．Power System Protection and Control，2010，38(14)：34-38(in Chinese)． [8] 杨文征，郭创新，曹一家，等．数字化变电站信息安全分析及其 防范措施研究[J]．机电工程，2007，24(9)：94-97． Yang Wenzheng，Guo Chuangxin，Cao Yijia，et al．Study on the information security analyze and countermeasure in digital substation [J]．Mechanical and Electrical Engineering Magazine， 2007，24(9)： 94-97(in Chinese)． [9] 吴国威．数字化变电站中信息处理及网络信息安全分析[J]．继电 器，2007，32(12)：18-22． Wu Guowei．Information disposal and network security analysis in digital substation[J]．Relay，2007，32(12)：18-22(in Chinese)． [10] 丁代勇，王利平，王晓茹．多播技术在低压变电站通信中的应用 [J]．电网技术，2007，31(17)：26-29． Ding Daiyong，Wang Liping，Wang Xiaoru．Research on application of multicast in low voltage substation communication[J]．Power System Technology，2007，31(17)：26-29(in Chinese)． [11] 张斌，倪益民，马晓军，等．变电站综合智能组件探讨[J]．电力 系统自动化，2010，34(21)：91-94． Zhang Bin，Ni Yimin，Ma Xiaojun，et al．A study on integrated intelligent components for smart substation[J]．Automation of Electric Power Systems，2010，34(21)：91-94(in Chinese)． [12] 高翔，张沛超．数字化变电站的主要特征和关键技术[J]．电网技 术，2006，30(23)：67-71，87． Gao Xiang，Zhang Peichao．Main features and key technologies of digital substation[J]．Power System Technology，2006，30(23)：67-71， 87(in Chinese)． [13] 张沛超，高翔．全数字化保护系统的可靠性及元件重要度分析 [J]．中国电机工程学报，2008，28(1)：77-82． Zhang Peichao，Gao Xiang．Analysis of reliability and component importance for all-digital protective systems[J]．Proceedings of the CSEE，2008，28(1)：77-82(in Chinese)． [14] 李兰欣，苗培青，王俊芳．基于 IEC 61850 的数字化变电站系统 解决方案的研究[J]．电网技术，2006，30(S1)：321-324． Li Lanxin，Miao Peiqing，Wang Junfang．Analyze and implementation of substation automation system based on iec 61850 standard [J]．Power System Technology，2006，30(S1)：321-324(in Chinese)． [15] Q/GDW 441—2010 智能变电站继电保护技术规范[S]． 收稿日期：2011-05-24。 作者简介： 欧阳帆(1979)，男，博士，工程师，研究方向 为电力系统继电保护及自动化技术，E-mail： qqwjwww@163.com； 刘海峰(1980)，男，硕士，工程师，研究方向 为电力系统继电保护及自动化技术； 赵永生(1963)，男，学士，高级工程师，研究 方向为电力系统继电保护及自动化技术。 （责任编辑 李兰欣） 欧阳帆