IPRAN项目培训胶片

null杭电IPRAN项目培训杭电IPRAN项目培训周源 廊坊RSRC 2010年3月null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结IPRAN简介IPRAN简介RAN（radio access network）即从无线基站到基站控制器之间的传送网络。RAN通常为基于电路交换的网络，多以MSTP,微波等传统传输产品组网为主。 随着无线业务的发展，数据、视频、非实时语音等新业务的出现，RAN对带宽的需求越来越高，而移动运营市场竞争不断加剧，利润逐年下降。为了满足终端用户不断提高的带宽需求，同时降低投资成本，具有统计复用功能，同时每bit价格低廉的IP网络，成为了越来越多运营商的新选择。 IPRAN解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 及为RAN的IP化，聚焦于移动回传领域，重在解决该领域的网络平滑演进和设备互联互通性，以及端到端时钟方案的实现。IPRAN解决方案介绍IPRAN解决方案介绍 杭电IPRAN项目用的为ATN910+CX+SR的组网方式，为以上几种方案中最接近IP化的方案，是传说中真正的IPRAN。null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结杭电IPRAN项目背景杭电IPRAN项目背景浙江公司作为IPRAN试点省份，将根据集团公司城域网全业务承载能力提升试点的统一部署及本省实际情况在杭州,宁波和金华开展相应试点工作，以试点来验证IPRAN的承载能力，逐步推进RAN IP化承载的进程，为移动数据业务的发展和未来向LTE演进承载网发展奠定基础。 同时以IPRAN试点为契机，杭州电信想把IPRAN这张网络打造成城域网的精品第二平面，验证IP RAN承载网上承载部分电信自营封闭类业务如AG、L2/L3 VPN等的可行性，寻求电信的多业务承载的思路。杭电IPRAN项目规模杭电IPRAN项目规模城域网部分: 萧山两台SR路由器（NE40E），萧山11台CX600-X3。 BTS接入部分: 59台基站路由器ATN910。 BSC接入部分: 武林两台CE路由器（NE40E）。 其他系统：一套U2000和一套BITS时钟系统。 无线侧：新增一台BSC 本次项目共割接59个BTS到IPRAN网络承载。 null梅花楼M320体育路M320体育路新增SR梅花楼新增SR杭州原城域网武林EVDO－NE40E-1武林EVDO－NE40E-2武林新增CE-1武林新增CE-2城东CX600新塘CX600螺山CX600御前CX600来苏CX600所前CX600临浦CX600崇化CX600黄家河CX600曹家桥CX600高桥CX600景芳SRIPRAN网管服务器U2000IPRAN报表服务器武林BSC12BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910实际组网结构BITS主时钟BITS备时钟null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结null杭州原城域网OSPF AREA 01000100050001000100010001000100010005000500050005000500050005000100010005000500010001000OSPF规划OSPF AREA 153/NSSAAS号：64740null杭州城域网PEPEPEPEPEPEPEPEPEPEPEPEPEPEPEPEPEPEPPCECECECEVRF: IPRANMANServerClientRoute: GlobleMPLS L3VPN网管组网模型网管的实现网管的实现在OSPF组成的IGP域上配置管理L3VPN。网管从景芳SR接入网络，把景芳SR的面向网管侧的FE业务口添加入管理L3VPN私网侧，使得网管系统接入到该L3VPN。 对于所有新增CX设备和NE40E设备均通过管理L3VPN用snmp 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 来进行管理，便于安全性并与业务VPN隔离。 对于所有ATN910设备，通过DCN协议进行管理： 1、对于ATN环边缘节点的ATN设备，在对端的CX或者NE40E的端口上添加vlan子接口，vlan ID为52（与ATN侧DCN的vlan一致即可）。将这些vlan子接口添加入管理L3VPN私网侧，并配置IP地址。在每个ATN与CX设备直连的端口上使能网管DCN并修改DCNvlan为52，并配置网管子接口的IP地址，使之与对端的子接口在同一网段，即可实现与网管的互通。 2、对于ATN环上没有与CX设备或NE40E设备直连的ATN设备，只需要把环上所有端口ETHDCN使能，并且配置与CX设备或NE40E设备直连的ATN设备为主管理网关和备管理网关。null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署FE组网总体规划FE组网总体规划梅花楼M320体育路M320体育路新增SR梅花楼新增SR杭州原城域网武林EVDO－NE40E-1武林EVDO－NE40E-2崇化CX600黄家河CX600曹家桥CX600高桥CX600武林BSC12BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910BITS主时钟BITS备时钟裸IPMPLS L3VPNFEEth PW核心网BSC侧城域骨干网IPRAN汇聚层IPRAN接入层BTS侧IGP路由规划IGP路由规划城域网部分内的设备(CX及以上，武林SR及以上网络设备，CX之间)的IGP协议为OSPF（城域网OSPF域），放入城域网OSPF骨干，遵循城域网IGP规划原则。 1、每条链路cost值设置见基础路由规划部分。 2、萧山SR至M320的多条链路采用OSPF的负载分担模式。 BTS接入网络部分内的设备（CX及以下，ATN及以上网络；CX之间）的IGP协议为ISIS。 1、全网ISIS路由采用多进程设计，新增路由器针对每一个接入的ATN环采用一个独立的ISIS进程，共同组成Level2区域。 2、CX之间metric值设置为100，CX与ATN之间和ATN与ATN之间metric值设置为10。 IPRAN接入层采用新增CX设备终结L2VPN入L3VPN方式，新增CX设备针对每一个ATN接入环启用一个ISIS实例，每个ATN接入环之间路由相互隔离，L2VPN域之间路由相互隔离，L2VPN和L3VPN之间路由相互隔离，网络路由规划清晰明了，便于后续网络扩容。null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署MPLS TE部署示意图MPLS TE部署示意图黄家河CX600（主）曹家桥CX600（备）BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910图中双向箭头表示一对tunnel 同种颜色为一对tunnel保护组MPLS TE 部署详述MPLS TE 部署详述注：上图及以下描述只针对一个基站的FE业务。 ATN节点起三条tunnel：一条用作到主CX的主路径（红）、一条用作到主CX的备路径（红）、一条用作到备CX的路径（黄）。其中前两条tunnel构成保护组。 主CX节点起四条tunnel：一条用作到目标ATN的主路径（红）、一条用作到目标ATN的备路径（红）、一条用作到备CX节点的主路径（绿）、一条用作到备CX节点的备路径（绿）。其中前两条tunnel构成一个保护组，后两条tunnel构成一个保护组。 备CX节点起三条tunnel：一条用作到目标ATN的路径（黄）、一条用作到主CX的主路径（绿）、一条用作到主CX的备路径（绿）。其中后两条tunnel构成一个保护组。 所有的tunnel均使用松散显示路径规定下一条指向规定方向。L2VPN部署示意图L2VPN部署示意图黄家河CX600（主）曹家桥CX600（备）BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910图中PW的颜色对应为上图中TUNNEL的颜色业务主PW业务备PW业务vrrp心跳PW管理vrrp心跳PWL2VPN部署详述L2VPN部署详述CX上起vpls，ATN上起vll（专线），通过相同的PW ID号进行对接。 CX之间通过vpls的vsi实例进行对接；CX上起两个vsi实例，一个用作跑业务（CX和ATN间，CX与CX间），一个仅用作跑管理vrrp心跳（CX与CX间）。 这里面涉及了四条PW： 1、业务主PW：绑定了两条LSP，有两条路径 2、业务备PW：只绑定了一条LSP，只有一条路径 3、业务vrrp心跳PW：绑定了两条LSP，有两条路径 4、管理vrrp心跳PW：与业务vrrp使用相同的tunnel策略，和业务vrrp公用两条LSPnull第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署MPLE OAM部署示意图（主节点到ATN）MPLE OAM部署示意图（主节点到ATN）黄家河CX600（主）曹家桥CX600（备）BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910正向通道正向通道反向通道主节点到ATN MPLS OAM 部署详述主节点到ATN MPLS OAM 部署详述CX主节点上配置了三条mpls oam： 1、一条ingress，用于检测主用lsp中CX到ATN的tunnel，指定了备用lsp中ATN到CX的tunnel为反向通道（红色） 2、一条egress，用于检测 主用lsp中ATN到CX的tunnel，指定了备用lsp中CX到ATN的tunnel为反向通道（绿色） 3、一条ingress，配置的正向通道为备用lsp中ATN到CX的tunnel，未指定反向通道。（黄色） ATN上配置全了主用备用lsp的四条mpls oam，并都指定的反向通道 注：原则上CX和ATN之间只要前两条oam就可以满足整网的检测需求了，具体现网的配置为什么这么做还有待考证。关于CX上的第三条配置，研发给出的解释是为了让ATN的备用lsp上oam检测保持正常而起的。MPLS OAM部署示意图（主备CX间）MPLS OAM部署示意图（主备CX间）黄家河CX600（主）曹家桥CX600（备）BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910正向通道反向通道CX之间 MPLS OAM 部署详述CX之间 MPLS OAM 部署详述CX间配置了两条mpls oam用于检测CX间心跳PW的tunnel状态 以下以主CX上的配置为例来介绍： 1、一条ingress，用于检测主用lsp中主CX到备CX的tunnel，指定了备用lsp中备CX到主CX的tunnel为反向通道（绿色） 2、一条egress，用于检测 主用lsp中备CX到主CX的tunnel，指定了备用lsp中主CX到备CX的tunnel为反向通道（红色） null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署业务部署示意图业务部署示意图VSI: admin12ATN：黄家河ATN：曹家桥ATN：朝阳村CX：黄家河CX：曹家桥ID:48ID:49ID:57VRF:IPRANVRF:IPRANMANVSI:ring12 VSI-ID:12VE1/0/0VE1/0/1VE1/0/0VE1/0/1VRRP:112VE1/1/0Group12VSI: admin12VSI: ring12 VSI-ID:2012Group1012VE1/1/1VE1/1/0Group1012VE1/1/1Group12m-VRRP:12VRF:IPRANG1/1/0.12 binding admin12G1/1/0.52G1/1/1.52G1/1/1.12 binding admin12VRF:IPRANMANVE Group12(1/0/1:l3 1/0/0:l2) VE1/0/1承载IPRAN，业务VRRP:112 VE1/0/1绑定业务VSI :ring12VE Group1012(1/1/1:l3 1/1/0:l2) VE1/1/1承载IPRAN，mVRRP:12 VE1/0/1绑定管理VSI :admin12BFD单跳链路检测为了管理ATN环下面的设备，G1/1/0.52子接口绑定管理VPN，并加入到VLAN52中业务VSI track mVRRP两个vsi互通 ATN—CX配置VLL Vll的VC ID需要和VSI-ID一致，通道方可建立BFD单跳链路检测当备节点掉电的时候，不配这条命令会有问题，流程如下： 备节点掉电 -> 管理vsi的pw置down -> 管理vsi down -> 主节点的二层VE口 down -> 主节点的ve-group会不可用 -> 主节点m-vrrp down -> 业务vsi感知后通知ATN主节点的pw不可用 -> 业务中断所用技术简介所用技术简介VPLS接入L3VPN VRRP over vpls L2VPN over MPLS TE 业务VSI track 管理VRRP VRRP track BFD PW-Redundancy MPLS OAM技术详述技术详述CX上起两个VE group：一组用用来跑业务（业务vsi和业务vrrp使用）；一组用来监控设备状态（管理vsi和管理vrrp使用） 业务组VE group的二层VE口绑定业务vsi，三层VE口绑定L3VPN起业务vrrp，用作基站的网关。用作基站业务通过PW接入城域网的vpn实例 管理组VE group的二层VE口绑定管理vsi，三层VE口绑定L3VPN起管理vrrp。用来监控CX对的主备状态 其中管理vsi的建立纯粹是为了跑管理vrrp的心跳，管理和业务vrrp 状态都track CX之间起的BFD peer的状态，业务vsi的主备PW track 管理vrrp的状态。null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署BSC侧接入示意图BSC侧接入示意图武林EVDO-NE40E-1武林EVDO-NE40E-2GEEth-tru 2GE武林 BSCGEBFD+VRRP over VlanifBSC侧接入技术介绍BSC侧接入技术介绍BSC通过两条电口GE链路双归到武林NE40E上 PE下挂BSC的接口绑定vlan，在vlanif接口下配置ip地址与BSC单板接口地址对接 两个PE之间起VRRP协议，PE之间的互联端口起ETH-TRUNK绑定2GE链路二三层混跑，主接口为二层端口，透传VRRP的心跳报文 BSC主备单板配置一个单板接口ip地址，与CE的vlanif口对接 CE上配置BFD for VRRP保护 整体的由VRRP over VLANIF 对BSC业务进行保护 BSC的业务流量由该vlanif口进相应的vpn实例与BTS通信null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署FE业务保护机制示意图FE业务保护机制示意图杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2武林BSC12黄家河CX600（主）曹家桥CX600（备）BTS朝阳村 ATN910曹家桥ATN910黄家河ATN910主PW备PWBFD+VRRP over Vlanif主PW主LSP主PW备LSPBTS侧保护机制介绍BTS侧保护机制介绍FE业务在ATN910上启用两条VLL分别到达两个CX设备，建立主备两条PW BTS侧上行业务的保护通过在CX上部署MVRRP over VPLS，确定CX设备主备和ATN的PW主备 对于主PW的外层LSP隧道，建立1：1主备LSP，采用MPLS OAM进行检测，当LSP中间链路或者节点出现故障后，MPLS OAM会上报故障通知ATN设备进行LSP隧道切换 对于备PW的外层LSP隧道，未建立保护组，只有唯一路径 为避免CX间VRRP Advertisement报文(心跳)链路中断造成双主，对心跳链路部署1:1主备LSP，备用链路从ATN910环穿通，同时采用MPLS OAM进行检测BSC侧保护机制介绍BSC侧保护机制介绍当武林EVDO NE40E和BSC间的GE链路发生故障时，由于两台NE40E间心跳报文可达，VRRP设备主备不进行切换，BSC设备进行链路主备切换，从BSC发出的流量从VRRP备设备转发至VRRP主设备，回程流量到达VRRP主设备后至VRRP备设备，然后到达BSC设备； 当主用武林EVDO NE40E设备故障时，VRRP心跳报文不可达，VRRP主备状态进行切换，同时BSC设备也进行主备链路切换，流量全部切换至新主用设备。 当BSC主用单板故障时，由于两台NE40E间心跳报文可达，VRRP设备主备不进行切换，BSC设备进行链路主备切换，从BSC发出的流量从VRRP备设备转发至VRRP主设备，回程流量到达VRRP主设备后至VRRP备设备，然后到达BSC设备；null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署FE业务模型FE业务模型ATN910CX600NE40ELABELLABELETHPHYVLANETHIPBTSBSCETHPHYVLANIPLABELLABELETHPHYIPETHPHYIPL2VPNL3VPNDHCP RELAY BSC的接口地址添加到BSC单板的静态路由添加到BTS单板的静态路由FEGE电DHCP RELAY原理DHCP RELAY原理空基站接上来后就会不断发出DHCP DISCOVER请求广播报文。 基站收到从直连ATN设备tag端口过来的含有有效VLAN的任何MAC报文，都会学习VLAN。 基站学习到VLAN后，发出的DHCP DISCOVER请求报文就会含有此VLAN，从而可以穿越ATN设备的tag端口。 DHCP DISCOVER请求报文由基站广播至二层终结设备CX600后，由CX600将此报文单播RELAY到BSC的端口。 BSC跟踪到基站ESN后，下发命令MOD BTSBOOTP修改BOOTP信息。 BSC匹配基站ESN后会回复DHCP OFFER应答消息，单播至三层终结BTS网关设备，之后经ATN广播至BTS。 BTS收到DHCP OFFER后核对ESN号，若与自身ESN号不符则丢弃，如果是自己的则接受报文并解析信息获得IP，开始通信交互。null第四章　FE业务部署 第1节 总体规划 第2节 MPLS L2VPN部署 第3节 MPLS OAM部署 第4节 BTS侧业务部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 DHCP RELAY技术 第8节 QOS部署QOS部署规划QOS部署规划设备上应用的QOS模板设备上应用的QOS模板ATN910应用的QOS模板： --------ATN910只让报文入相应的队列，不改变报文的dscp值 :ethn-cfg-create-cosprimap:2,"杭州电信" :ethn-cfg-set-incosprimap:2,ip-dscp,50,cs6 :ethn-cfg-set-incosprimap:2,ip-dscp,54,cs6 :ethn-cfg-set-incosprimap:2,ip-dscp,49,af41 :ethn-cfg-set-incosprimap:2,ip-dscp,24,be :ethn-cfg-set-incosprimap:2,ip-dscp,40,be :ethn-cfg-set-incosprimap:2,ip-dscp,47,be :ethn-cfg-set-outcosprimap:2,ip-dscp,af41,34 --------ATN AF41默认的dscp优先级不是34，所以要修改 CX600/NE40E使用的QOS模板：----CX上报文入口进相应的队列，出口修改报文的dscp值 diffserv domain IPRAN ip-dscp-inbound 24 phb be green ip-dscp-inbound 40 phb be green ip-dscp-inbound 49 phb af4 green ip-dscp-inbound 50 phb cs6 green ip-dscp-inbound 54 phb cs6 greenQOS配置QOS配置ATN910上所有的接口应用“杭州电信”QOS模板 CX600的业务三层VE口上信任“IPRAN”域 武林的NE40E绑vlanif的物理口上信任“IPRAN”域 其他物理主接口信任默认域，配置“port-queue af4 pq outbound”，把AF4设置成PQ调度，保证语音的带宽QOS实现机制QOS实现机制BTS的流量通过FE接口接入ATN，在ATN入口对业务的DSCP优先级部署简单流分类，按照配置的模板进行优先级调度，保证拥塞的时候高优先级的业务得到优先调度。ATN的出口不修改流量的dscp值。 流量在ATN接入CX时，在CX的流量入口（L3VE口）对业务的DSCP优先级部署简单流分类，按照配置的模板进行优先级调度，保证拥塞的时候高优先级的业务得到优先调度。CX设备的出口处根据默认模板修改流量的DSCP值，并对AF4队列进行PQ调度，保证语音的带宽。 城域网内部，按照城域网的默认配置部署简单流分类，提取DSCP优先级映射到网络侧MPLS EXP，保证高优先级业务都能得到优先的调度。 BSC侧，流量通过vlanif口接入NE40E，在NE40E绑定vlanif的物理口上对业务的DSCP优先级部署简单流分类，按照配置的模板进行优先级调度，保证拥塞的时候高优先级的业务得到优先调度。NE40E的出口处根据默认模板修改流量的DSCP值，并对AF4队列进行PQ调度，保证语音的带宽。 null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署CES业务总体规划CES业务总体规划梅花楼M320体育路M320体育路新增SR梅花楼新增SR杭州原城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910BITS主时钟BITS备时钟核心网BSC侧城域骨干网IPRAN接入层BTS侧武林新增NE40E-1武林新增NE40E-2TDM PWMPLS L2VPNE1/ cSTM-1仿真E1null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署OVERLAY技术示意图OVERLAY技术示意图体育路新增SR梅花楼新增SR杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910武林新增NE40E-1武林新增NE40E-2VLLVLL图例： 为ISIS路径 为外层隧道 为内层隧道ISIS主PW备PWOVERLAY技术详述OVERLAY技术详述所谓OVERLAY技术就是隧道套隧道。 城域网部分的设备的IGP协议为OSPF，COST规划见“第11页胶片”。 分别在梅花楼NE40E和武林EVDO NE40-1、体育路NE40E和武林EVDO NE40-2之间建立L2VPN，通过VLL建立点到点的隧道，将BTS侧和BSC侧打通。此时的城域网就像个交换机，二层透传两侧的IGP协议。 武林新增的两台NE40E和ATN之间跑ISIS协议： 1、全网ISIS路由采用多进程设计，新增路由器针对每一个接入的ATN环采用一个独立的ISIS进程，共同组成Level2区域。 2、NE40E之间metric值设置为100，NE40E与ATN之间和ATN与ATN之间metric值设置为10 ATN与NE40E之间再通过IGP协议起L2VPN over MPLS TE，建立PW穿越城域网，就构成了隧道套隧道的OVERLAY技术。null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署MPLS TE部署示意图MPLS TE部署示意图体育路新增SR梅花楼新增SR杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910武林新增NE40E-1武林新增NE40E-2VLLVLL图中双向箭头表示一对tunnel 同种颜色为一对tunnel保护组MPLS TE 部署详述MPLS TE 部署详述注：上图及以下描述只针对一个基站的CES业务。 ATN节点起三条tunnel：一条用作到主NE的主路径（红）、一条用作到主NE的备路径（红）、一条用作到备NE的路径（黄）。其中前两条tunnel构成保护组。 主NE节点起两条tunnel：一条用作到目标ATN的主路径（红）、一条用作到目标ATN的备路径（红）。这两条tunnel构成一个保护组。 备NE节点起一条tunnel：用作到目标ATN的路径（黄）。 所有的tunnel均使用松散显示路径规定下一条指向规定方向。 注意：tunnel路径中要排除FE业务中的不相关网段，防止tunnel路径绕行。L2VPN部署示意图L2VPN部署示意图体育路新增SR梅花楼新增SR杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910武林新增NE40E-1武林新增NE40E-2VLLVLL主PW备PW图中PW的颜色对应为上图中TUNNEL的颜色L2VPN部署详述L2VPN部署详述NE上起vll，ATN上起vll（专线），通过相同的PW ID号进行对接。 这里面涉及了两条PW： 1、业务主PW：绑定了两条LSP，有两条路径 2、业务备PW：只绑定了一条LSP，只有一条路径null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署MPLS OAM部署示意图MPLS OAM部署示意图体育路新增SR梅花楼新增SR杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910武林新增NE40E-1武林新增NE40E-2VLLVLL正向通道反向通道正向通道MPLS OAM 部署详述MPLS OAM 部署详述NE主节点上配置了三条mpls oam： 1、一条ingress，用于检测主用lsp中NE到ATN的tunnel，指定了备用lsp中ATN到CX的tunnel为反向通道（红色） 2、一条egress，用于检测 主用lsp中ATN到NE的tunnel，指定了备用lsp中NE到ATN的tunnel为反向通道（绿色） 3、一条ingress，配置的正向通道为备用lsp中ATN到NE的tunnel，未指定反向通道。（黄色） ATN上配置全了主用备用lsp的四条mpls oam，并都指定的反向通道 注：原则上NE和ATN之间只要前两条oam就可以满足整网的检测需求了，具体现网的配置为什么这么做还有待考证。关于NE上的第三条配置，研发给出的解释是为了让ATN的备用lsp上oam检测保持正常而起的。null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署BSC侧接入示意图BSC侧接入示意图武林新增-NE40E-1武林新增-NE40E-2CPOSGE武林 BSCCPOSPGPwork portprotect portMC-APSK1K2K1K2MC-APS ：Muti-chassis Auto Protection Switching PGP ：Protect Group ProtocolBSC接入技术介绍BSC接入技术介绍BSC通过CPOS口两条STM-1的链路双归到武林侧新增的两台NE40E上。 两台NE40E和BSC上起MC-APS协议，配置1:1的MC-APS保护进行协商对接. NE40E之间通过PGP协议报文协商APS状态，NE40E和BSC之间的CPOS链路跑K1/K2报文检测链路及设备的状态 一旦主链路上有链路故障、节点故障或BSC单板故障，发送K1/K2告警，进行主备链路的切换。null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署CES业务保护机制示意图CES业务保护机制示意图体育路新增SR梅花楼新增SR杭州城域网武林EVDO－NE40E-1武林EVDO－NE40E-2汽车东站ATN910农技学校ATN910金盛酒店ATN910武林BSC12BTS曾家桥 ATN910吕才庄ATN910良种场ATN910武林新增NE40E-1武林新增NE40E-2VLLVLL主PW备PWMC-APS图例： 为主PW 为备PW 为主PW的主lsp路径 为主PW的备lsp路径CES业务保护机制介绍CES业务保护机制介绍从ATN启用vll分别到达两台武林新增NE40E设备，建立两条端到端的PW作PW冗余主备保护； BSC侧两台武林新增NE40E启用vll到ATN，同时在两台设备上配置MC-APS，在BSC设备上配置1：1APS，由MC-APS确定武林新增NE40E的主备，同时确定PW的主备； 对于主PW的外层LSP隧道，建立1：1主备LSP，采用MPLS OAM进行检测，当LSP中间链路或者节点出现故障后，MPLS OAM会上报故障通知ATN设备进行LSP隧道切换； 当武林新增NE40E和BSC间的cPOS链路发生故障时，通过MC-APS进行NE40E设备的主备切换，同时BSC通过1:1APS协议在主备单板间切换；然后武林新增NE40E设备通知ATN进行主备PW切换; 当主用武林新增NE40E故障时，通过MC-APS进行武林新增NE40E设备的主备切换，同时BSC通过1:1APS协议在主备单板间切换，然后武林新增NE40E设备通知ATN进行PW切换。 当BSC主用单板故障时，BSC通过1:1APS协议在主备单板间切换，同时武林新增NE40E设备通过MC-APS进行主备切换，然后武林新增NE40E设备通知ATN进行PW切换。null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署CES业务模型CES业务模型ATN910梅花楼NE40E武林EVDO-NE40E武林新增NE40ELABELLABELETHPHYPPP/MLPPPCtrl byteIPBTSBSCPPP/MLPPPE1IPLABELLABELETHPHYPPP/MLPPPIPCtrl byteOverlay LABELOverlay LABELLABELLABELETHPHYPPP/MLPPPCtrl byteIPPPP/MLPPPE1IPCES业务实现CES业务实现BTS出一至四对E1与ATN对接需要将CES业务帧为配置为非结构化，用于透传E1。 BSC侧NE40E CPOS口起cpos-trunk，绑定MC-APS，在cpos-trunk下起Trunk-Serial E1通道，E1通道号要与直连BSC上的配置一一对应。 ATN与武林新增NE40E的E1业务端口绑定vll，网络侧透传无线侧的CES业务，注意基站和BSC侧E1通道号的一一对应关系。 注：因为这种情况下无线侧的操作维护走在E1下，纯二层透传，所以无需DHCP RELAY功能的支持。null第五章　CES业务部署 第1节 总体规划 第2节 OVERLAY技术 第3节 MPLS L2VPN部署 第4节 MPLS OAM部署 第5节 BSC侧接入技术 第6节 保护技术 第7节 CES业务实现 第8节 QOS部署QOS部署QOS部署基站包含数据，语音和控制信息三种业务，语音和控制信息均为高优先级业务，通过E1接入ATN，数据业务为低优先级业务，通过FE接入ATN。 在ATN上面将E1接入的语音和控制信息业务强制指定为EF（默认），通过端到端的VLL管道直接透传到对端武林新增NE40E。在ATN网络侧部署简单流分类，按照指定的业务优先级进行优先级调度。 在城域网的核心overlay区域使用公网L2VPN承载业务PW，在新增SR上行公网l2vpn入接口，部署简单流分类进行优先级映射，从8021p提取优先级映射到MPLS EXP。 在城域网IGP区域部署简单流分类，对流量按照映射优先级进行转发。 在城域网overlay的BTS入口处，CES业务流量的8021P的优先级为5；BSC的入口处，CES业务流量的8021P的优先级为7(无线侧默认)，所以在NE40E上配置如下模板： 1、diffserv domain TDM --------------梅花楼NE40E的QOS模板 8021p-inbound 5 phb af4 green 2、diffserv domain CES --------------武林EVDO NE40E的QOS模板 8021p-inbound 7 phb af4 green 让CES业务的流量能按照AF4队列进行PQ调度，保证控制信息和语音的带宽。null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结1588v2时钟部署示意图1588v2时钟部署示意图主路径：绿色 备路径：红色BITS的时钟接入方式BITS的时钟接入方式1588v2时钟部署详述1588v2时钟部署详述整网部署1588v2传时钟，让所有的基站的时钟跟BITS，取代了传统每基站每GPS的模式。 时钟频率同步的方式可以是同步以太方式或者1588V2同步方式，传统频率同步方式具有很高的精准度，可达1ppb左右；相位的同步方式目前可用1588v2 逐跳部署的方式。 主备两台BITS设备分别挂在梅花楼与体育路两台SR设备上，梅花楼SR为Master接入，体育路SR为Slaver接入，各SR设备和ATN均设置为BC模式，各接口之间启用BMC算法。 若梅花楼SR设备硬件故障，则所有ATN设备都跟体育路SR设备时钟；若梅花楼SR设备与东门农贸之间链路故障，梅花楼时钟为BITS接入，所有ATN设备时钟都跟体育路SR设备时钟；若东门农贸与国际酒店之间的链路故障或设备故障，断点西向所有ATN设备时钟跟梅花楼SR设备，断点东向所有ATN设备跟体育路SR设备。1588V2时间精度测试方法1588V2时间精度测试方法【测试配置】： 选取测试用空基站，BBU与ATN910共机房，通过FE口传递1588时间信息； BBU拨码跳线，可免BSC启动； BBU通过1PPS输出时钟； 时间测试仪(示波器或TimeAcc)参考源接机房的GPS，输入源接BBU的1PPS接口。 【测试方案】： 配置SR路由器,基站接入路由器,BTS通过1588V2获取时间和频率； 配置SR路由器，基站接入路由器，BTS全网BC模式，各端口启动BMC算法； 时钟锁定后通过时间分析仪测量接入BBU的时间输出的精度（1PPS）； BBU输出的1PPS与同步参考源之间的最大相差在1.0us以内 。null第一章：IPRAN简介 第二章：项目背景及组网结构 第三章：基础规划 第四章：FE业务部署 第五章：CES业务部署 第六章：时钟部署 第七章：技术案例总结 第八章：工程交付总结案例一：DCNvlan导致基站学习不到正确的VLAN案例一：DCNvlan导致基站学习不到正确的VLAN现象描述： 割接某基站时，BSC和BTS版本均为V3R6C08，传输链路OK，BSC侧跟踪不到基站的ESN信息，导致基站无法完成DHCP自动侦听。 原因分析： 由于ATN配置了管理VLAN（VLAN 52），用于设备间的管理通信。BTS直连的ATN端口也允许VLAN 52通过，VLAN52的报文广播到BTS后，BTS学习到了VLAN52，因此发出的报文为VLAN 52，此报文发送至另外的接口，无法到达BSC，因此BSC侧无法跟踪到基站ESN。从而无法完成自动侦听。 解决方法： 将BTS直连的ATN端口设置为禁止VLAN 52的报文通过后，复位基站，BSC可以跟踪到基站ESN，基站自动侦听成功。案例二：ATN910设备单站调测时，PC连不上设备案例二：ATN910设备单站调测时，PC连不上设备现象描述： ATN910单站调测时，PC用网线直连ATN910的OAM口，PC的ip地址设为129.9.0.100/16，用Navigator登陆不了设备。 原因分析： 存在两种可能性： 1、PC的ip地址与ATN910不在同一个网段； 2、设备的硬件问题。 解决方法： PC用抓包工具获得ATN的管理ip，修改IP为相同网段后，再重新尝试设备。如果仍然连接不上设备则采取拨码的方式，重启ATN910设备后再重新登陆。案例三：ATN910设备时钟无法跟踪1588v2案例三：ATN910设备时钟无法跟踪1588v2现象描述： 主备BITS的GE接口的优先级相同，ATN910设备无法跟踪1588v2。 原因分析： ATN910设备跟踪1588v2必须为不同优先级，主备BITS的GE接口的优先级相同，ATN910设备无法跟踪1588v2。 解决方法： 1、更改主备BITS的优先级为不同。设置备节点BITS的优先级为3、4。（SYNLOCK T6020 GE接口的默认优先级为1、2） 2、在ATN910上进行相关的设置，让时钟跟优先级1。案例四：IPRAN网络全网IGP收敛，业务中断时间长达一分钟案例四：IPRAN网络全网IGP收敛，业务中断时间长达一分钟现象描述： 中断CX600或NE40E间的互联10G链路，全网IGP收敛，业务中断时间长达一分多钟。 原因分析： 现网存在VPNV4 RR（CISCO设备），所有的VPNV4路由通过RR优选反射，由于全网CX600和NE40E的RD值都相同。在RR上只能保留一条最优的路由，在该路由失效时，需要RR先选出当前最优路由再反射给所有Client才能恢复业务。 解决方法： 全网CX600和NE40E部署不同的RD值，这样所有的VPNV4路由在RR上都能被保留且反射。案例五：中断一对CX600间互联的物理链路，业务中断案例五：中断一对CX600间互联的物理链路，业务中断现象描述： 中断CX600间心跳物理链路，业务中断。（正常状况下，业务是不会中断的） 原因分析： 经查，CX600间的BFD检测时间设置为10ms。CX600间互联的物理链路断开时，由于BFD的故障检测时间大概率比mpls oam检测恢复时间快，导致BFD session down，误报给VRRP，导致业务中断。 解决方法： 把BFD的发包检测时间由原来的10ms改成50ms。CX600间互联的物理链路断开时， mpls oam先检测到物理链路的故障，通知tunnel进行切换。切换后，BFD检测报文跑在备份tunnel上，BFD不down，业务无中断。案例六：CES业务倒换的回切过程出现2ms的时延案例六：CES业务倒换的回切过程出现2ms的时延现象描述： 主节点CX600重启后，业务倒换的回切过程会出现2ms的时延 原因分析： ATN910设备时钟和频率都跟1588v2，1588v2的频率同步性能较差引起CES的时延 解决方法： ATN910设备时钟跟1588v2，频率跟同步以太，问题解决。案例七：CX600/NE40E部署1588v2后，光模块出现闪断案例七：CX600/NE40E部署1588v2后，光模块出现闪断现象描述： CX600/NE40E相关单板部署1588V2后，接口概率出现光模块被拔出告警，业务间歇性闪断。 原因分析： CX600/NE40E的BFD、OAM及1588v2都是基于硬件实现的，共用底层硬件 资源 人力资源管理制度人力资源战略合作框架协议人力资源工作计划人力资源总监岗位说明书人力资源部经理岗位说明书 ，导致光模块闪断。 解决方法： 当前版本规避方法全网去使能1588V2。后续，跟踪解决问题的版本，在需要1588v2部署时，需要升级。案例八：武林城域设备NE40E做为OverLay的PE节点，MPLS OAM FFD报文无法按照802.1p进队列案例八：武林城域设备NE40E做为OverLay的PE节点，MPLS OAM FFD报文无法按照802.1p进队列现象描述： 在途经链路拥塞时，新建BSC-SR与CX600之间MPLS OAM tunnel保护组出现状态振荡。 原因分析： 城域老设备作为Overlay的PE节点，使用VLL技术进行透传，因此QoS优先级只能通过802.1p映射进外层MPLS EXP的方式进行优先级保证。MPLS OAM FFD报文携带了802.1p=7的优先级，但由于硬件原因并不能映射成相应的MPLS EXP=7，而是缺省的值0。并且，由于该PE是老设备，当前软件版本不支持在VLL业务下配置pipe，所以在软件层面也无法解决。 解决方法： 升级城域老设备PE到支持VLL pipe 方式的版本，并配置pipe到相应的队列。案例九：ATN910设备软狗复位导致整环业务中断案例九：ATN910设备软狗复位导致整环业务中断现象描述： 2月9日15:26～15:31，杭州电信IPRAN网络的ATN梅BBU1、梅8楼、育才农贸、体2楼BBU1、邮电宾馆站点接入的基站业务中断，组网图示如下:null过程描述 0秒：梅BBU1软狗复位，通过梅BBU1转发的LDP、RSVP报文开始丢失。 40秒：梅BBU1、梅8楼等5个站点LDP Session超时，PW DOWN，业务中断。 2分30秒：梅8楼、育才农贸、体2楼BBU1、邮电宾馆等主用Tunnel Down（穿通梅BBU1），Tunnel倒换到备用方向（经体育路新增SR到梅花楼SR）。 5分钟：梅BBU1复位完成之后，LDP、RSVP报文转发恢复。PW重新UP起来，五台ATN910业务恢复。梅8楼、育才农贸、体2楼BBU1、邮电宾馆的主用Tunnel恢复，Tunnel保护组进入等待恢复状态。 10分钟：Tunnel保护组回切到主用通道，网络恢复正常状态。 原因分析： 当梅BBU1复位时，梅BBU1与梅花楼新增SR的RSVP信令中断，梅花楼新增SR站点经过与梅BBU1间链路的Tunnel会Down触发Tunnel的保护倒换。由于主PW是Down且不会触发PW冗余的保护倒换（需要VRRP或者MC_APS触发），因而业务中断。主PW在Tunnel倒换后仍然没有UP的原因在于PW LDP的建立依赖于ISIS路由，由于ATN设备ISIS的老化时间配置为60000秒(基于ATN能力的组网建议值)，因此在老化时间到达之前，LDP仍然选择原ISIS路由。 解决方法： 在ATN上改小ISIS HELLO的lost数目，同时改大ATN和CX的LDP HELLO PARA、KEEPALIVE时间可解决上述问题。增加此配置后如果再次发生类似LDP信令中断的情况，PW在上述时间内保持UP。对于Transit业务，会在进行Tunnel的切换，切换到保护通道上，之后可以一直正常工作，直到工作链路的故障节点恢复。对于故障节点，如果ldp超时之后仍然没有恢复，则PW down，业务中断。案例十：基站与ATN910对接,FE接口灯不亮案例十：基站与ATN910对接,FE接口灯不亮现象描述： 基站与ATN对接FE接口灯不亮；接口模式设置为自协商，基站通过DHCP自动侦听起来获得FE端口IP地址后，端口模式变成非自协商，端口down。 原因分析： 用PC连接ATN的FE口，接口亮灯，自协商为100m全双工；用PC连接基站FE口，接口灯不亮，定位为基站侧问题。 举例：萧山金盛大酒店站点的基站脚本中，基站CMPT单板FE端口的IP地址为：10