CMNET网络结构和路由策略PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第,#,页,CMNET,网络结构和路由策略,2012,年,6,月,目录,骨干网络架构与路由策略,省内网络架构和路由策略,省网组织结构与路由交换方式,高价值业务的区分、标识原则及保障方法,骨干网络架构与路由策略,网络概述,网络现状,路由组织策略,网络演进,骨干网络架构与路由策略,网络：中国移动的互联网网络发展情况,04,年,链路：,2.5G,、,155M,为主,节点：核心汇聚增设第二节点（一般骨干）,其他节点：双节点、双设备、双上联,节点：核心、汇聚,单节点、双设备,一般骨干,单节点、单设备、双上联,链路：少量,2.5G,、部分,155M,建设,3,大核心,5,大汇聚及一般骨干节点,双节点改造及设备替换,网内网间链路扩容,全网优化,涉及,31,个省份，设备替换、版卡扩容、网内、省网、出口链路扩容、全网优化,链路：,10G,、,2.5G,为主，少量,155M,节点：,核心、汇聚：单节点、双设备、建设第二节点,其他节点：双节点、双设备、双上联,技术及网络,结构,发展,时间,CMNET,一期,CMNET,二期,CMNET,三期至四期二阶段,CMNET5,期,全面建设移动骨干网,10,年,00,年,07,年,奥运,WLAN,网间互联,新奥,VPN,一期,CMNET5,期网络结构调整：,1,、北京、上海、广州分别设置,2,个节点，每节点,1,台集群路由器,2,、五大汇聚设置第二汇聚节点,3,、北京、西安、武汉、广州、上海设置独立的,IP RR,4,、除,8,大核心汇聚节点外其他,25,个一般骨干节点设置双节点,5,、北京、上海、广州国内互联设置双节点,6,、北京、广州国际互联设置双节点、上海设置单节点,奥运,WLAN:,涉及北京、上海、沈阳、青岛、天津、秦皇岛,6,个奥运城市，设置,WLAN,专用国内、国际出口，承载奥运,WLAN,业务,新奥,VPN,一期,:,涉及,13,个省份,31,个地市，新增,52,台,PE,设备路由器，上联至,CMNET,骨干网设备,CMNET,网间互联：,上海广州新增第二国内出口,T1600,广州新增第二国际出口,CRS-1,扩容国内、国际网间链路,全网大力建设,IDC,中心，主要包括,7,个一级,IDC,和,5,个二级,IDC,。,网络雏形,双节点改造,引入,10G,链路,建设,VPN,专用网,引入集群，大力发展,IDC,内容：中国移动的互联网内容发展情况,07,年,音乐随身听,全曲下载,飞信,音乐搜索,短信转移,/,过滤,/,仓库,基本语音，短信,前传等补充业务,以品牌为基础解决基本通信需求,增值业务提升用户体验,数据业务大爆炸,手机动漫,可视电话,MM,SP,截至,2009,年,9,月共有合作,SP7258,家,其中全网,SP,共,879,家，开展合作业务,8.3,万个,移动智能网,业务,种类,时间,基本业务：,9,种,补充业务：,7,种,话音增值业务：,18,余种,数据增值业务：,70,余种,条码识别,条码凭证,全业务运营,公共安全,绿色农业,工业监控,智能交通,环境监测,电子广告,远程医疗,智能家居,多媒体化、定制化,11,年,02,年,基地业务，互联网业务,互联网化,用户：中国移动的互联网用户发展情况,WAP,CSD,GPRS,WAP,CSD,GPRS,WLAN,专线,CSD,GPRS,WLAN,专线,家庭宽带,集团客户,TD,VIP,客户,2000,2012,2003,WAP,手机用户发展,：手机用户数从不足,2000,万增长到,4.5,亿。,宽带用户发展：,宽带用户数从,100,万左右发展到目前的近,1000,万，网络承载的流量增加超过,12,倍。,WLAN,大发展,：,WLAN,网络经历了巨大发展，,AP,数量,20,万到,200,万。,Wlan,用户从不足,10,万增长到,3000,万。,用户种类,骨干网络架构与路由策略,网络演进,网络现状,路由组织策略,网络演进,骨干网络架构与路由策略,CMNET,网络概况,骨干核心层,（,北京、上海、广州）,：,负责中转省际流量、网间流量；,骨干汇聚层,（,西安、成都、武汉、南京、沈阳,5,省）,：,负责中转省际流量；,骨干接入层,（,23,个省）,：,负责汇聚本省流量。,省网核心层,CMNET,网总体分为两层结构，分为,骨干网、省网,。,骨干,网按功能层次分为,骨干核心层、骨干汇聚层、骨干接入层,。,省网分为两种结构。其中,29,省采用一个自治域，分为,省网核心、省网接入、城域网接入,三层。,北京,广州,上海,成都,武汉,南京,沈阳,西安,骨干网,省网,省网,城域网,A,结构（,29,省）,B,结构（广东、江西）,AS9808,同一,AS,不同,AS,全网组网原则：无论骨干和省网、城域网，,一般接入节点至少连接两个上级节点（汇聚和核心）。城域网核心至少连接两个省网核心，省网核心至少连接两个以上骨干核心（或汇聚）。,城域网,接入,层,省网接入层,/,城域网核心,CMNET,骨干网的结构,总体分层,CMNET,骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三层结构,。另外与核心层还连接有国际出入口层、互联互通层。一般接入层及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）,骨干网按照地域分为,3,大片区，,3,大片区又细分为,8,个大区：,北京片区：北京大区、沈阳大区、西安大区,上海片区：上海大区、南京大区、武汉大区,广州片区：广州大区、成都大区,当前各片区向外发布路由,优选,情况如下（条数）：,电信互联，北京：上海：广州,=300:287:359,联通互联，北京：上海：广州,=374:223:393,9,CMNET,骨干网国内拓扑结构,核心层,北京、上海、广州,3,个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际,Internet,、国内其他运营商的互联。,CMNET,六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。,汇聚层,汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点（相当于中国电信的普通核心），负责本大区内省份流量之间的交换,原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点的一个或多个。只有杭州连接至三个核心，并连接到南京。,CMNET,六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。,接入层,接入层按照一个省份两个骨干接入节点设置，只负责汇聚本省省际流量和出网流量。,10,CMNET,骨干网络节点概述,网络节点：,2011,年底后，覆盖全国,31,个省（区市）,36,节点城市,划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量；,划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发,。,11,CMNET,骨干国际网络结构,国际出口层,北京、上海、广州的路由器组成，是国际网络的核心部分，面向国内连接骨干核心层，面向国外连接海外,POP,点，用来汇聚,CMNET,出入国内的国际流量，建立出国流量的缓冲区，设立这个层面的一个重要目的是方便国际出口配套工程实施。目前北京出口配套工程原因暂停使用。,国际接入层,国际接入层主要是指海外,POP,，主要用来接入海外网络，及与其他海外,ISP,间的互联链路（包括部分,PEER,电路和购买的,TRANSIT,电路）。它的主要作用是降低,PEER,互联成本和购买,Transit,的成本。每个节点规划两台路由器。,美国,POP,点：洛杉矶、旧金山的国际互联网接入。,香港,POP,点：负责香港本地和部分东南亚、欧洲的互联网接入。,伦敦,POP,点：英国伦敦，负责欧洲国际互联网接入。（目前,1,台，未启用）,12,CMNET骨干网,网络现状网间互联节点设置,国内互联节点：,北京、上海、广州，均为双节点设置。,国际互联路由器：,北京、上海、广州，均为双节点设置，由于安全配套尚未到位，故北京国际出口、上海国际出口,2,、广州国际出口,1,暂未上线。,NAP,互联路由器,：,北京、上海、广州；均为单节点设置。,海外,POP,点,由中国移动国际公司运营的,CMNET,国际网（,CMI,）提供，拥有独立的自制系统，为,CMNET,提供国际互联业务。现有北美,POP,点（单局址双设备）、香港,POP,点（单局址双设备）及欧洲,POP,点（尚未承载业务）,网间互联,电信、联通等国内运营商,北京,1,上海,1,广州,1,北京,2,北美,香港,Sprint,、,AT&T,、,DT,等国际运营商,核心节点,CMI,第,13,页,CMNET,六期工程建成后的结构,骨干节点网络结构调整,原核心骨干层和汇聚骨干层调整为,骨干核心层,，汇聚和疏通出网的业务量，实现跨省业务的有效疏通；北京、上海、广州、武汉、南京、四川、西安、沈阳；除西安、沈阳外，骨干核心节点之间全网状互联。,原一般骨干层调整为,骨干接入层,，用于汇接本省的出省的业务量，全网目前,23,个骨干接入节点，六期工程内容：,新增,1,个天津私有云节点作为骨干接入节点；,增加部分接入节点接入方向；,苏州城域网流量直连骨干网南京、上海节点，进行扁平化试点疏通方式；,国内出口节点结构调整方案,目前全网流量过于集中于北京、上海、广州三个核心，故障时影响面大且难以疏通，北京、上海、广州三个核心节点设备及机房的压力大。,本次工程新增武汉、南京、成都,3,个节点作为国内互联节点，分散北京、上海、广州三个核心节点的压力，降低故障时的影响面。,六期原设计于,2012,年,8,月完工，满足网络需求到,2012,年底，扩容后总带宽为,5.9T,；,14,155M,155M/2.5G,2.5G,2.5G/10G,接口,技术,10G,CMNET,骨干业务量和端口技术发展情况,业务量增长：,2003,年到,11,年，网络承载流量增长,175,倍，年均增长,90.7%,08,年到,11,年：,业务量增长,8,倍，年均增长,100%,，其中,IDC,流量贡献从,5G,发展到,240G,；用户数方面，宽带从,100,万户发展到,1000,万户；,WLAN,从不到,20,万发展到超过,800,万。,建设容量：,2003,年到,11,年，网络建设容量增长约,45,倍，年均增长,62.7%,骨干网总链路带宽：移动,1.8T,，电信,21T,，联通,16T,（互联网发展报告数据）,技术发展方面：从,08,年到,11,年，主流端口技术一直停留在,10G/Port,CMNET,承载流量增长情况,G,网络容量建设速度远低于业务量增长，且,10G,端口技术未升级，导致原有网络结构日趋不适应新的流量模型。,CMNET,网络量总容量建设情况,G,15,年均增长超过,90%,年均增长超过,100%,在业务高速增长情况下，,CMNET,工程期末拥塞状态,-,五期工程原计划于,2011,年,11,月份完工，推迟到今年,9,月份（预计），目前仍有,270,条骨干链路未到位（五期建设规划共,911,条）,-,六期原设计于,2012,年,8,月完工，目前未完成设备集采，预计工程将延后；,-2012,年,3,月全网省际链路,共,205,条,，,均值流量超过,40%,且峰值流量超过,80%,的链路共有,37,条（占,18%,）,，峰值利用率达到,100%,的共,31,条链路（占,15%,）,。,带宽：,Gbps,16,骨干承载总流量情况,骨干网承载总流量之和为,824Gbps,。,骨干网承载省际总流量为,555Gbps,，占全部流量的,67%,。,骨干网承载网间总流量为,269Gbps,，占全部流量的,33%,。,各省业务量发展不平衡。,骨干网承载总流量,=,骨干网承载的省际流量,+,骨干网承载的网间流量,17,骨干网承载的省际流量情况,骨干网承载的省际流量之和为,555Gbps,。,其中，排名前,10,省份的省际互访总流量之和为,421Gbps,，占出省际流量的,76%,。,Gbps,18,骨干网承载的网间流量情况,各省从骨干网疏通网间流量情况,Gbps,各省通过骨干网疏通网间流量之和为,269Gbps,。其中，排名前,10,的省份流量之和为,175Gbps,，占出全部流量的,65%,。,19,骨干网承载的网间流量情况,各省从骨干网到,电信方向,流量情况,Gbps,各省从骨干网到,中国电信,流量为,91.9Gbps,，排名前十省份流量总和为,59.5Gbps,，占,64.8%,。,各省从骨干网到,联通方向,流量情况,Gbps,各省从骨干网到中国联通流量为,75Gbps,，排名前十省份流量总和为,48.7Gbps,，占,65%,。,20,附录：省网第三方出口流量情况,第三方出口疏通流量峰值为,176Gbps,，平均流量为,88Gbps,，占全网出网流量的,24%,。,21,骨干网承载的省际流量,top10,省份的流量流向,Gbps,Gbps,Gbps,Gbps,浙江省际流量为,93.5Gbps,江苏省际流量,为,78.3Gbps,上海省际流量,为,61.8Gbps,山东省际流量,为,40Gbps,22,骨干网承载的省际流量,top10,省份的流量流向,Gbps,Gbps,Gbps,Gbps,江西省际流量,为,34.2Gbps,广东省际流量,为,25.6Gbps,河南省际流量,为,24.8Gbps,山西省际流量,为,29Gbps,23,骨干网承载的省际流量,top10,省份的流量流向,Gbps,Gbps,福建省际流量,为,18.5Gbps,四川省际流量,为,15.1Gbps,全国,31,省通过骨干网承载的省际流量详细情况参见：,24,CMNET,骨干网络流量中转的路由,CMNET,网络流量疏通遵照最短路径优先原则。,(,中国电信是按照角色转发，区分片区和大区，主要原因中国电信为多平面组网，路由更复杂。）,中国移动优先考虑距离，,metric,设置和距离成正比，在距离相等的情况下，才考虑考虑角色，按照跳数最小原则设计。,中国移动路由举例,每增加一跳,Metric,增加,300,：北京到海口：北京,-,广州,-,海口，而不是北京,-,武汉,-,广州,-,海口，增加一跳增加,metric,为,300,。,距离不同跳数相同走最短路径,：长春到哈尔滨：长春,-,沈阳,-,哈尔滨（,metric=11139,）；长春,-,北京,-,哈尔滨（,metric=13661,），,25,CMNET骨干网,网络现状设备配置情况,CMNET,骨干网设备配置情况,骨干网全网共设置,182,台路由器、,26,台三层交换机,设备配置,JUNIPER,CISCO,华为,TXP,集群,T1600,M320,CRS1-16,GSR 12008,三层,交换机,NE5000E,NE40E,核心骨干,6,汇接骨干,10,一般骨干,12,50,26,国内互联,6,国际互联,4,1,2,2,NAP,互联,3,IP/VPN RR,10,（,IP,）,4,（,VPN,）,VPN PE,72,合计,6,42,51,2,3,26,2,76,208,26,/11,内部资料，注意保密,2025/5/27 周二,CMNET骨干网,网络现状,国内网间互联电路,互联链路,对方运营商,CMNET,现状,设计到达端口能力,(,五期后,),实际开通（,2012,年,4,月）,北京,电信,8,10G,3,10G,联通,8,10G,2,10G,中国教育网,1,2.5G,1,2.5G,中国铁通,2,10G,2,2.5G+110G,世纪互联,1,2.5G,1,2.5G,合计,185G,70G,上海,电信,8,10G,3x10G,联通,8,10G,3,10G,中国教育网,1,10G,1,10G,中国铁通,2,10G,3x10G,合计,182.5G,70G,广州,电信,8,10G,3x10G,联通,8,10G+1G,2x0G,中国铁通,2,10G,2x10G,中国教育网,1,GE,合计,181G,70G,总计,548.5G,210G,27,/11,内部资料，注意保密,2025/5/27 周二,CMNET骨干网,网络现状,国际网间互联电路,国际出口节点,CMNET,骨干网国际互联,至内侧核心路由器（五期后）,至外侧互联,已具备端口,开通情况,上海,5x10G/,台，,共两台,至国际运营商直联,1155M,1155M,至北美,POP,点,2x10G/,台,2x10G,至香港,POP,点,3x10G/,台,2x10G,（尚未开通）,至欧洲,POP,点,1x10G/,台,1x10G,（尚未开通）,广州,7x10G/,台，,共两台,至北美,POP,点,2x10G/,台,2x10G,（尚未开通）,至香港,POP,点,5x10G/,台,5X10G,合计,130G+155M,120G+155M,第,28,页,骨干网络架构与路由策略,网络演进,网络现状,路由组织,网络演进,骨干网络架构与路由策略,总体网络规划：,IGP,协议,全网,IGP,采用,ISIS,全网所有核心、汇聚、一般骨干、出口路由器、业务交换机全网属于,ISIS Level2,ISIS,邻居间运行,MD5,认证,总体网络规划：,IGP,协议 流量路径规划,CMnet,骨干网节点间流量疏通基本原则是逐级向上疏通。在满足,该,原则的同时，优选传输距离较短的路径：,核心节点间流量,任何情况下都通核心节点间链路疏通,汇接节点间流量,优选通过汇聚节点间链路疏通,次选通过核心节点间链路疏通,接入节点间流量,优选通过接入节点间链路疏通,次选通过汇聚节点间链路疏通,再选通过核心节点间链路疏通,总体网络规划：,IGP,协议,Metric,规划,IGP Metric,规划方式一般包括两种：,链路,参考,带宽链路角色,即选择带宽最大的路径疏通流量，该方式比较适合对带宽敏感的业务，如互联网业务。,传输距离链路角色,即选择传输距离最短路径疏通流量，该方式比较适合时延敏感的业务，如语音业务。,CMnet,骨干网采用模式,2,“传输距离链路角色”规划,IGP Metric,。即两点间流量优选传输距离最短的路径。,总体网络规划：,IGP,协议,Metric,规划,Metric,规划,Metric=,链路角色,+,传输距离,类型,参考值,核心、汇聚路由器,CR,间链路,300,传输距离,1.,出口路由器至核心路由器,CR,间链路,2.,一般骨干至核心汇聚,CR,间链路,3.,业务交换机至核心汇聚,CR,间链路,4.VPN PE,至核心汇聚,CR,间链路,5000,传输距离,域名管控至国际出口,国际出口至,POP,点,300,传输距离,同省一般骨干路由器,BR,间,300,传输距离,同大区核心汇聚,CR,间链路,300+1,n,RR,到核心汇聚,CR,间链路,20000,同城,RR,间链路,20000,VPN PE,路由器至一般骨干路由器间链路,300,传输距离,同城,VPN PE,路由器间链路,200+1,n,总体网络规划：,BGP,规划,省网与骨干网间运行,EBGP,协议,骨干网在北京、上海、广州、武汉、西安设置,5,对,10,台,IP,路由反射器,10,台,RR,是,full mesh,的,BGP,关系，骨干网节点根据归属关系作为,RR,的客户端,国际出口、国内出口及,NAP,点路由器是北上广的,RR,的,Client,POP,点、国内互联运营商及,NAP,点互联与骨干网出口建立,EBGP,关系,总体网络规划：,VRR,设置,VRR,设置,：,北京、广州,分别设置两台,VRR,、全网共设置,4,台,VRR,；,4,台,VRR,之间构成,Full Mesh MP-iBGP,连接；,北京、广东所辖地市的,PE,路由器和本省所在核心节点两台,VRR,建立,BGP,关系；,其它省的所辖地址的,PE,路由器，根据,规划与相应,的,VRR,建立,BGP,关系。,总体网络规划：,LDP,规划,LDP,协议规划,全网所有骨干、核心、一般骨干间运行,LDP,协议,仅针对,PE,的,loopback,地址分配标签,LDP,邻居间运行,MD5,认证,端口启用,IGP,、,LDP,同步,总体网络规划：策略规划,至其他运营商：,CMNET,骨干网通告给出口路由器的路由包括,CMNET,省网路由及,CMNET,汇聚路由；,出口路由器向对端运营商及,POP,点通告路由时需要过滤掉私有,AS,号；,总体网络规划：策略规划,至省网：,骨干网向省网发送,CMNET,网内路由，缺省路由；,根据情况发送国内路由及国际,Internet,路由；,接受省网汇聚及细化路由，,掩码长度不大于,24,位,；,骨干网对接收的省网路由设置相应的,Community,总体网络规划：策略规划,国内出口策略：,通过,MED,值控制其他运营商进入,CMNET,的流量,；,本大区的流量优先从本大区的国内出口流回,CMNET,；,例如北京大区的国内出口通告路由时将携带北京大区,Community,的路由的,MED,宣告为,100,，上海、广州大区的路由,MED,宣告为,300,，则访问北京大区的流量优先从北京国内出口流回,CMNET,；,由于其他运营商发给,CMNET,的路由在各个出口是有差异的，故,出网流量由对端运营商控制,。,排除故障或调整流量时可以通过通告较低的,MED,控制某个省的流量从指定的出口流入,CMNET,。,总体网络规划：策略规划,国际出口策略：,通过附加,MED,的方式控制国际运营商进入,CMNET,的流量,；,本大区的流量优先从本大区的国际出口流回,CMNET,；,与国内互联策略类似，,北京大区的国内出口通告路由时将携带北京大区,Community,的路由的,MED,宣告为,100,，上海、广州大区的路由,MED,宣告为,300,，则访问北京大区的流量优先从北京国内出口流回,CMNET,；,由于,CMNET,国际网是由国际公司运营的有独立自制系统号的网络，故通过协商，国际公司在,POP,点接收对端运营商路由时根据,AS Path,等属性，对接收的路由标记相应的本地优先级。,由于,CMNET,和,CMI,间运行的是,EBGP,协议，本地优先级属性不会传递给,EBGP,邻居，,故,POP,点在向,CMNET,发送路由时应根据路由的本地优先级值打上相应的,Community,，,CMNET,国际出口接收路由后，根据,Community,还原本地优先级，以便出网国际业务可以选择最优路径。,骨干网络架构与路由策略,网络演进,网络现状,路由组织,网络演进,骨干网络架构与路由策略,CMNET,网络演进总原则：贴近内容分布规划,聚焦于互联网内容，规划中国移动的,CMNET,网络架构,以内容为核心,（,IDC/,出口互联,/CDN,），驱动,IP,网络架构的扁平化调整,先期以带宽弥补内容缺乏短板，逐步积累内容传送技术，最终形成,光,+IP+CDN,协同的内容传输平台，支撑超宽带业务发展,在网络确定的前提下,，,高密度内容，尤其是视频内容努力下沉到省网甚至城域网,，提升视频感知的同时，节省网络传输投资。低密度内容确保全网共享。,核心,核心,西安,北京,杭州,广东,武汉,天津,成都,重庆,安徽,福建,广西,湖南,江西,云南,南京,。,省网,1,省网,2,出网内容为主，内容集中在北上广,出口和互联路由器上,核心,核心,西安,北京,杭州,广东,武汉,天津,成都,重庆,安徽,福建,广西,湖南,江西,云南,南京,。,城域网,1,省网,2,以内容为核心扁平化,;,省网分裂为大,城域网,;,大内容城域网上联核心平面,城域网,2,核心,核心,西安,北京,杭州,广东,武汉,天津,成都,重庆,安徽,福建,广西,湖南,江西,云南,南京,。,城域网,1,省网,2,为高清视频和大带宽应用建设,CDN,城域网,2,互联出口,大型,IDC,CP,互联,互联出口,大型,IDC,CP,互联,扁平化,简单化,拓扑稳定,易于扩展,高转发效率,高清视频,内容本地化,42,网络结构问题,1,：骨干汇聚节点未设置国内出口，造成核心流量过集中,-,迂回和绕转造成端口和带宽浪费,随着业务的增长，由于汇聚节点未设置互联出口，流量过于集中于现有三个骨干核心节点，汇聚节点未充分发挥效率。,问题后果：导致核心节点的升级调整和故障影响大。,功能,大区,承载流量,占比,核心节点,北京,175,23%,上海,221,30%,广州,160,21%,汇聚节点,成都,20,3%,沈阳,11,1%,南京,65,9%,武汉,41,5%,西安,14,2%,武汉,41,5%,合计,748,100%,核心、汇聚节点承担的流量,网内,74.3%,骨干网流量需要通过核心节点承载，核心和汇聚节点之间,流量疏通不均衡,。,根本原因是因为,互联互通的节点只设置在北上广,，且,CMNET,对外网互访依赖较为严重。（中国电信：,10%,以内，中国移动,50%,）,数据来源：数据网管,北京,1,西安,1,太原,1,32G,/40G,太原,2,4.2G/,40G,电信,14.5G,其他省,西北大区省份,40G,10G,CMNET,骨干网,7.5G,4G,3G,现状,北京,1,西安,1,太原,1,18G,/40G,太原,2,18G,/40G,电信,联通,7G,其他省,西北大区省份,5G,CMNET,4.5G,2G,3G,电信,联通,铁通,西安升级为核心后,7G,5G,2G,20G,铁通,联通,铁通,网络结构现状：西安无国内出口，,山西省,36.2G,的流量,90%,通过北京疏通。为保障安全，西安,1,到北京,1,之间需预留,40G,备份带宽资源。,目标方案：西安增加国内出口,20G,后，西安,1,到北京,1,之间只需预留,20G,备份带宽。,解决方案：将西安等,5,个汇聚节点和浙江节点逐步按需增加网间出口,方案效果：,如果在西安增加疏通,20G,国内出口，就可节省北京到西安之间的传输链路,2,条,10G,，,4,个,10G,端口，同时也能提升北京到太原之间的质量。,网间互联出口并非越多越好，要有适当的度，每增加一个互联出口：,1,、跨运营商业务的路径增加，排障时间成倍增加,。,2,、多出口流量调控的难度增加，利用率和平衡效果变差,。同一个出口的链路负荷分担的效果非常好，不同出口之间负荷分担需依靠维护员手工不断尝试调整，由于,40,万条路由的复杂性，过多核心将导致同样的质量保障情况下，互联出口平均利用效率下降。,3,、,IP,技术采用统计复用原理，适当汇聚后的抗突发能力、冗余备份能力更强。,网络结构问题,1,：骨干汇聚节点未设置国内出口，造成核心流量过集中,-,迂回和绕转造成端口和带宽浪费,核心节点逐步增至,9,个,网络结构问题,1,解决方案：适当增加核心节点数量,将汇聚节点增加网间出口，升级为核心节点，同样也推动了骨干核心和汇聚节点扁平化，使得,CMNET,骨干从三层变为两层，减少了网内访问跳数,3,个核心,5,个汇聚节点,23,个接入节点,北京、上海、广州,武汉、沈阳、,西安、南京、成都,核心节点具备疏通,网间流量的能力,汇聚节点会转发,接入节点的流量,仅疏通本省流量,现状,核心扁平化,演进前：核心、汇聚、接入节点,9,个核心节点,23,个接入节点,北京、上海、广州、武汉、沈阳、西安、南京、成都、杭州,核心节点具备疏通,网间流量的能力,仅疏通本省流量,演进后：核心、接入节点,方案效果：,每个核心节点承担的流量将降低到,10%,以内,，有效减少网络升级和故障发生时的业务影响。,备注：定义核心节点的两个要素,1,、有汇聚转发周边省份流量的需求。,(,核心节点自身处于传输网汇聚点，且周边省份流量相对较小，有经过自身中转提升效率的需求）。,2,、由负责疏通网间流量的需求。,45,目标,网络结构问题问题,2,：部分大流量省际节点之间未设直达,-,当前结构造成大流量经过核心中转，效率低,调整直连的本质,：随着网内流量增大，接口技术未升级，使得部分大流量省之间经过核心转发不,再,合理，需要根据流量增长和端口技术不断优化直连链路。,解决方案：增加大流量省份之间的跨省直连链路。本质是骨干网层面扁平化，“该直连，就直连”。,网络结构现状：南昌,-,南京流量需中转，,在,2012,年中转流量超过,16G,后，上海需要为南昌多设置,4,个,10G,端口,。,目标方案：增加南京,-,南昌直连链路，,能够节省,4,个,10G,端口，在保障冗余能力的情况下，提高了中转效率。,南京,-,南昌流量疏通情况,上海,1,武汉,1,南昌,1,南昌,2,CMNET,16G/,20G,20G,南京,1,上海,1,武汉,1,南昌,1,南昌,2,CMNET,南京,1,16G/,30G,16G/,20G,30G,30G,30G,方案效果：增加跨省,直连后，能够节省端口，提高中转效率。,大流量时设置直连：,省端口、增加了骨干路由，减少了冗余程度。,小流量时设置直连：,费端口、增路由。,大流量和小流量的标准,随技术在不断变化，结构也要随之变化，通常设计一个超过,3,年的网络结构是没有意义的。,增加直连要保证一定程度的冗余：,要保证直连中断时，所归属的核心节点能够作一定的备份。,适度增加直连的原因：,网络结构问题,3,：出省流量大的城域网未直连骨干网,-,造成经过省网核心中转效率低,解决方案：增加出省流量大的城域网双跨省网和骨干的力度。本质是大流量的城域网扁平化，“该双跨，就双跨”。,方案效果：出省流量大的城域网双跨,，能够节省端口，提高中转效率。,网络结构现状：太原城域网出省流量超过,20G,后，,山西省网核心需要为之多设置,8,个,10G,端口。,目标方案：城域网双跨，,能够节省,8,个,10G,端口，在保障冗余能力的情况下，提高了中转效率。,CMNET,骨干网,太原城域网,其他城域网,B,山西省网核心,CMNET,省网,15G/,20G,15G/,20G,CMNET,骨干网,太原城域网,其他城域网,B,山西省网核心,CMNET,省网,15G/,20G,15G/,20G,解决方案：增加出省流量大的,IDC,双跨省网和骨干的力度。本质是大流量的,IDC,扁平化，“该双跨，就双跨”。,方案效果：出省流量大的,IDC,双跨,，能够节省端口，提高中转效率。,网络结构现状：北京,IDC,出省流量超过,20G,后，北京省,网核心需要为之多设置,8,个,10G,端口。,目标方案：城域网双跨，,能够节省,8,个,10G,端口，在保障冗余能力的情况下，提高了中转效率。,CMNET,骨干网,北京,IDC,其他接入节点,北京省网核心,CMNET,省网,15G/,20G,15G/,20G,CMNET,骨干网,北京,IDC,其他接入节点,北京省网核心,CMNET,省网,15G/,20G,15G/,20G,网络结构问题,4,：出省流量大,IDC,未直连骨干网,-,造成经过省网核心中转效率低,CMNET,演进原则总结,互联网组网结构是动态，伴随流量和端口技术等需要针对性优化。针对,CMNET,演进,优化建议如下：,增加骨干核心节点的数量：,将南京、武汉、成都、沈阳、西安,5,个汇聚节点和杭州节点升级为核心节点，推动扁平化，提高疏通效率。,增加骨干网网间出口：,在出网流量大于,30G,的汇聚节点增加网间出口，节省核心节点间的传输链路和端口资源。出口地点：南京、武汉、成都、沈阳、西安、杭州。,大流量省份骨干节点之间增设直连：,业务量大于,14G,的可设直连（阀值随技术变化，如,40G,应用后，阀值可相应提升；,14G=10,*,2,*,70%,）。省间直连仅疏通两省直达流量。同时考虑适度增加直连的原则，所在省的归属核心要能够实现业务备份（建议备份比例超过,50%,）。,大流量城域网节点增设和骨干网的直连，同时连接骨干网和省网：,大流量的城域和,IDC,节点（例如下期规划的南京、深圳），可以双连省网和骨干。,大流量,IDC,节点双跨骨干网和省网：,IDC,节点双跨,骨干,和省,网，即省外流量直接骨干,转发,，省内流量,由,省网核心,转发,。,推进三角型组网向口字型组网转变,，增强后期网络结构优化扩展性。满足业务发展需求。,目录,骨干网络架构与路由策略,省内网络架构和路由策略,省网组织结构与路由交换方式,高价值业务的区分、标识原则及保障方法,省内,CMNET,网络概况,省内,CMNET,网络路由规划,1,、,CMNET,省内网络,IGP,使用,ISIS,协议实现省内设备,loopback,和互联地址可达。,2,、省干核心,NE5KE-1,和,NE5KE-2,接收国干设备通过,EBGP,下发的默认路由。,3,、省干核心,NE5KE-1,和,NE5KE-2,同各个地市的出口设备,RT01,和,RT02,之间建立,IBGP,邻居关系，省干核心,NE5KE,作为路由反射器反射地市出口设备发布的,BGP,路由。,4,、地市核心设备,RT01/02,作为地市,SR,及,BRAS,设备的路由反射器反射从省干学来的,BGP,默认路由，转发地市内部,SR,及,BRAS,设备发布的,BGP,明细路由。,5,、侧挂在地市出口的防火墙作为,RT01/02,的客户机同,RT01/02,之间建立,IBGP,邻居关系，接收,RT01/02,反射的默认路由。,6,、,SR,及,BRAS,设备接收,RT01/02,反射的默认路由并通过在,BGP,中,network+,静态路由的方式发布下挂业务地址网段的路由。,7,、,SR,或,BRAS,上通过直连或静态路由方式实现到下挂业务地址的互通。,IBGP,IBGP,IBGP,EBGP,IGP,和,BGP,规划,BRAS,SR,IBGP,IBGP,IBGP,EBGP,NE5000E-1,NE5000E-2,RT02,IBGP,IBGP,1,、专线用户的上网流量通过接入侧交换机进行带,VLAN TAG,的二层透传，,SR,作为网关设备对到达设备的专线流量根据,VLAN TAG,进行三层终结。,2,、,SR,查找路由表进行数据报文的转发，将访问非城域网内部的流量上送至地市出口设备,RT01/02,。,3,、流量到达,RT01/02,的接口时执行入方向的策略路由，将流量重定向到侧挂的防火墙。,4,、防火墙对进入的报文进行,NAT,地址转换后查找路由表转发，将流量送回地市出口设备,RT01/02,。,5,、地市出口设备,RT01/02,收到防火墙发来的转换地址后的报文时，查找路由表进行转发，将流量上送至省干设备。至此完成城域网内部的流量上送。,私网地址上行流量,私网地址业务流量规划,SR/BRAS,私网地址业务流量规划,1,、目的地址为防火墙转换后的公网地址的回程流量回到省干设备,NE5KE-1/5KE-2,后查找路由表转发，将回程流量发送至地市出口设备,RT01/02,。,2,、盟市出口设备,RT01/02,收到回程流量后查找路由表，根据路由表将报文发送至侧挂的防火墙。,3,、防火墙收到报文后根据已经建立的,NAT SESSION,表进行公网到私网的地址转换并查找路由表进行转发。将转换后的报文发回地市出口设备,RT01/02,。,4,、,RT01/02,收到回程流量的报文（目的地址已经为私网），查找路由表后将报文转发至下挂的,SR,设备。,5,、,SR,收到报文后查找路由表进行转发，做相应的,VLAN,封装后将报文送至接入侧交换机。,6,、接入侧交换机进行二层流量转发，将流量送回专线用户。,私网地址回程流量,SR/BRAS,公网地址业务流量规划,1,、专线用户的上网流量通过接入侧交换机进行带,VLAN TAG,的二层透传，,SR,作为网关设备对到达设备的专线流量根据,VLAN TAG,进行三层终结。,2,、,SR,查找路由表进行数据报文的转发，将访问非城域网内部的流量上送至地市出口设备,RT01/02,。,3,、地市出口设备,RT01/02,收到报文后，查找路由表进行转发，将流量上送至省干设备。至此完成城域网内部的流量上送。,公网地址上行流量,SR/BRAS,公网地址业务流量规划,1,、目的地址为专线业务公网地址的回程流量回到省干设备,NE5KE-1/5KE-2,，省干设备查找路由表