互联网故障与投诉处理.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第,*,页,互联网故障与投诉处理,总部网络部,2012,年,5,月,目录,CMNET,网络管理规程,CMNET,投诉处理流程及案例,CMNET,故障定位方法,目录,CMNET,网络管理规程,维护组织机构与职责,系统的日常维护和管理,总部的相关流程,质量管理,CMNET,网络管理规程,中国移动互联网的维护管理采用统一领导、分级管理、分级负责的原则，在总部的统一领导下，总部及各省公司负责管辖范围内中国移动互联网的维护管理工作。,CMNET,网络维护管理规定主要内容：,维护组织机构与职责；,总部网络部主要职责；,各省公司网络维护部门主要职责；,地市公司网络维护部门主要职责；,（,具体内容见附件：互联网维护管理规定,(2011,修正版,）,CMNET,网络管理规程,CMNET,是各项数据业务的承载网络,CMNET,与其上承载的各业务系统维护分工界面如下：,对于,PS/IMS,业务系统，维护分工界面是下挂业务系统设备至,PS/IMS,业务系统,CE,的接口，接口内侧设备归属,CMNET,，接口外侧设备归属各业务系统；对于管理信息系统、网管支撑系统等支撑系统，维护分工界面是各支撑系统,CE,设备至,CMNET,路由器的接口，接口内侧设备归属,CMNET,，接口外侧设备归属各支撑系统。,CMNET,要积极配合完成与,GPRS,、彩信、,WAP,、,KJAVA,、,DSMP,、邮箱、短信网关等有关的网络调整工作，并配合进行相关测试。,目录,CMNET,网络管理规程,维护组织机构与职责,系统的日常维护和管理,总部的相关流程,质量管理,日常维护管理,中国移动互联网维护工作主要指设备网元和网络层面的维护，包括系统本身及相关连接设备的定期检测、数据备份、故障处理等。,系统维护作业计划的编制和实施,对于,CMNET,骨干网，总部参照本规定中所规定的维护监测项目、周期和要求,制定详细的作业计划，并将部分作业计划任务指派给设备所在省公司。总部和设备所在省公司按照分工职责分别执行作业计划，设备所在省公司根据总部要求定期上报作业计划执行情况和设备检测结果，在设备检测中一旦发现异常情况，应立即上报总部。,对于,CMNET,省网，省公司参照本规定中所规定的维护监测项目、周期和要求，编制日常维护作业计划并组织实施和定期检查。,对于,CMNET,城域网，各地市公司参照本规定及省公司维护管理实施细则编制并实施日常维护作业计划，并定期将维护作业计划的实施情况上报省公司。,互联网日常维护测试项目应包括以下内容,类别,项目,周期,备注,设备检查,硬件系统检查,日,设备资源利用率（,CPU,、内存、磁盘空间）检查,日,DNS,、,RADIUS,系统软件进程检查,日,DNS,服务器配置文件完整性检查,周,监测实时告警消息,实时监控,主备倒换测试,半年,系统各相关设备,链路检查,链路通断状态,日,链路利用率,日,网络检查,网络连通性,日,网络时延、丢包率检查,日,DNS,服务器解析成功率检查,日,DNS,服务器并发请求数（,QPS,）检查,日,DNS,服务器解析时延检查,日,DNS,服务器域名解析可用性检查,日,重点域名解析准确性检查,日,日常维护管理,日常维护管理,互联网日常维护测试项目应包括以下内容,数据备份,应用系统数据及用户数据备份,月,DNS,系统配置文件备份,季,DNS,系统域名解析日志备份,季,系统数据核查,季,日志文件备份,周,文件系统备份,半年,其他,配合集团公司进行设备倒换、安全演练,半年,IP,地址资料的检查核对,季,端口资料的检查核对,月,软件版本核对,月,系统日志和操作日志安全审计,月,系统和软件安全补丁安装,半年,安全扫描,半年,现场看护,机房电源、空调、温湿度检查,日,备品备件的清理核对,季,目录,CMNET,网络管理规程,维护组织机构与职责,系统的日常维护和管理,总部的相关流程,质量管理,总部开放的网管手段,给各省提供的总部网管手段,已分配：,骨干网设备查看权限,各省上联的骨干网设备查看权限账号和,SNMP,的读取口令字，集团通过工单调查下方责任人后下发,。（,5,月完成）,域名封堵系统,前期已完成分配，可以查询封堵的域名,;,详见,JT-001-110616-00032,，,JT-001-110928-00028;,即将分配：,数据网管账号,骨干网流量查看（网间、网内、省网上联）,;,各省第三方流量,;,IP,地址配置表,;,流控,(,包括骨干流控、第三方流控）,给各省分配查看权限，可以查看流量报表,;,IP,地址配置表,;,CMNET,维护交流飞信群：,53341031,管理员 刘博、樊川,涉及总部的日常维护常用流程,日常维护常用申请流程,1,域名和,IP,封堵查询办法，解封流程,流程：域名封堵登陆流控系统查询，,IP,封堵数据请查询网络部安全处工单。解封请联系广东不良信息监测中心。,宽广流控系统查询，,2011,年工单已经分配各省查询帐号，参见,JT-001-110616-00032,，,JT-001-110928-00028,）,广东不良信息监测中心，电话,13922220250,，邮箱,wnfjdxxjha,不良信息监测系统数据调整,流程,：各省日常维护割接涉及不良信息监测系统调整，需,通过,emos,派发通用任务工单,给所属大区中心省份处理,，抄送,集团。,网站备案系统上报地址变更流程,流程：网站备案系统由北京公司维护，各省上报,DNS,地址或涉及上报相关数据配置调整，需通过,emos,派发通用任务工单给北京公司处理，抄送集团。,DNS,域名解析数据制作的申请流程（含反向域名解析）,流程：请各省上报,OA,公文申请制作。,专线,用户接入等需骨干网配合完成路由策略的操作,流程：请各省上报,OA,公文申请制作，需包含详细方案。,要求：写明是否需穿透，是否独立,AS,号，是否是移动,IP,等信息。骨干路由器接收策略掩码长度不超过,24,位。,IDC,直连引入等需骨干网配合完成路由策略的操作,流程：请各省上报,OA,公文申请制作，需包含详细方案。,要求：集团对网内及铁通广播，不对外广播，骨干路由器接收策略掩码长度不超过,24,位。,涉及总部的日常维护常用流程,日常维护常用申请流程,2,vip,客户,保障,目前保障方式有两种,1.,各省骨干设备标记,Qos_Gold,标签方式：保障大段地址，掩码不超过,/24,，骨干出口设备优先广播路由，通过保障链路吸引流量。,2.,流控系统白名单保障方式：在出口流控设备优先转发，可保障单个,IP,源及目的地址。,申请流程：需提交工单申请,VIP,保障，提交客户地址及流量信息。,流量调整,本省出省流量各链路不均衡的情况，各省可以自行调整路由。,调整前需查看总部数据网管流量报表，确保上行至出口的带宽足够。,需上报,EMOS,工单申请。,新建业务系统,分配,IP,地址,接入省网的系统，由省公司负责分配,IP,地址,接入骨干网的系统，由集团分配。,国际公司涉及的流程,涉及国外网站投诉及故障，且定位为,9808,自治域外，由国际公司负责。国际公司,AS,为,58453,。,国际公司,EOMS,开通前通过,noc,投诉,抄送,nnoc,邮箱，开通,EMOS,后通过,EOMS,派发国际公司，抄送集团,。,IDC,引入资源未共享,每月集团会通报分析,IDC,引入资源服务全网率，各省可针对测试结果，在本省进行测试，发现,IDC,省份引入资源未共享本省使用的域名，可派发省际投诉工单，由集团集中质检。,涉及总部的日常维护常用流程,涉及到骨干网设备、链路的操作，不需要骨干网配合的（如链路调测、省内业务倒换测试、串接分光、流控等），需至少提前,2,个工作日提交,EOMS,通用工单上报，同时提交,工程告警预约表模板,。,涉及到骨干网设备、链路的操作，且需骨干网配合操作的（省干设备替换、端口调整），需至少提前,3,个工作日提交,EOMS,申请工单，同时提交,工程告警预约表模板,，涉及链路或设备资源更新的需提交,链路资源更新表模板,。,暂定模板如下：,割接管理,目录,CMNET,网络管理规程,维护组织机构与职责,系统的日常维护和管理,总部的相关流程,质量管理,质量管理要求,质量管理：为完善对互联网各个环节的质量控制，应建立各级检查体系。做到统一领导，分级管理，分工负责，层层到位，把好质量关。,总部网络部负责组织建立中国移动互联网的质量分析制度：,对于,CMNET,骨干网，总部网络部负责定期汇总运行质量、网络性能等指标，进行数据网运行质量分析，排除质量隐患，不断提高网络运行质量和服务质量。,对,CMNET,骨干网与国内国际其他运营商间的互联链路质量进行管理,对于,CMNET,省网和城域网，省公司负责组织汇总整理运行质量、网络性能等指标，进行质量分析，并将运行质量情况定期上报总部网络部。,CMNET,北京,DNS,山东,DNS,天津,DNS,吉林,DNS,四川,DNS,上海,DNS,骨干,DNS,北京节点,骨干,DNS,广州节点,从集团向所有省份和骨干,DNS,发起解析请求，判断引入资源是否正确指向和全网共享：,测试省份,IDC,引入资源列表,新浪,腾讯,北京,网内,联通,天津,网内,网内,山东,电信,网内,吉林,网内,网内,四川,网内,网内,上海,网内,网内,。,17,内容质量管理指标：服务全网率,某省网,CMNET,骨干,网,固定接入,移动接入,省网出口,第三方出口,地市接入,IDC,Cache,通过分析流量本网率指标，可以体现各省,IDC,、,Cache,、,CDN,等互联网流量疏通支撑系统的综合应用效果。,提升流量本网率指标，也需要加强对本省用户访问热点的分析，并加强,IDC,和,Cache,系统的流量协同。,全,网流量本网率,=1-,（,第三方出口入流量,+,骨干国际,国内出口入流,量）,/,全国地市下行总流量。,各,省流量本网率,=,1-,（本省第三,方出口入流量,+,本省在骨干,国际国内出口入流,量）,/,该省地市,下行总流量,数据网管,netflow,统计,其他运营商,其他运营商,数据网管省部接口上报,CMNET,性能管理报表省部接口上报统计,内容质量管理指标：流量本网率,从不同运营商接入点对引入资源以不同方式进行测试，对其质量进行比较，及时发现质量劣化,并督促提升；,MM/,飞信,/,梦网邮箱,CMNET,终端设备,接入及客户网络,TD/WLAN,接入及客户网络,CDMA2000,ADSL,骨干网,接入网,IDC,ChinaNET,IDC,网间链路,IDC,测试业务,Web cache,未来部署业务,注：为贴近用户感知，排除部分未引入网内质量较差页面元素影响，页面打开时延定义为,测试页面完成,90%,元素加载的时延。测试全部采用,Wlan,或固定宽度接入,进行测试，排除无线环境影响，每次测试均清除本端,Cache,。,内容质量管理指标：页面打开时延,目前数据部对各,IDC,省份下达的,TOP1000,网站列表，通过湖南做样本省统计各省,IDC,引入网站的流量比例计算引入深度，衡量各,IDC,省份任务完成情况。,腾讯引入深度计算,网站名称,内容引入深度,网站名称,内容引入深度,腾讯,45%,宜搜,17%,淘宝,93%,开心网,100%,百度,46%,搜狗,2%,ucweb,9%,搜狐,68%,新浪,85%,风行网,3%,人人网,79%,开心听,100%,360,安全中心,24%,世纪佳缘,62%,阿里妈妈,94%,皮皮网,100%,凤凰网,68%,盛大在线,0%,3G,门户,71%,猫扑,1%,金山毒霸,3%,太平洋电脑网,0%,华军软件,2%,红袖添香,0%,网易,17%,总计,54.40%,TOP25,网站引入深度,腾讯,的引入深度,注：网站引入深度，即某网站已引入子域名总流量占该网站所有流量的比例,后续分析指标：引入深度,ICP,引入深度,=,全国,IDC,该,ICP,全部子域名流量,/,（全国,IDC,该,ICP,全部子域名流量,+,网间出口统计该,ICP,全部子域名流量）。,IDC,省份引入深度,=,该省负责引入网站全部子域名在全国,IDC,中流量,/,（全国,IDC,该省负责引入网站全部子域名流量,+,网间出口统计该省负责引入网站全部子域名流量）。,IDC,流量样本计划从,IDC,流控系统统计，网间出口流控统计网间,TOP1000,网站子域名流量,.,后续工作,计划：,部署基于,BGP,属性的流量,统计,CMNET,骨干网的流量类型可以分为,全国,31,个省之间的互访流量,全国,31,个省到国内其他运营商（电信、联通、铁通、教育网等）的互访流量,全国,31,个省到国际运营商的流量,全国,25,个,IDC,与全国,31,个省、国内出口、国际出口之间的互访流量,对上述流量进行精确的统计分析，掌握,CMNET,骨干网承载的各种流量类型的流向、大小、特性，对,CMNET,未来的网络扩容规划、高级业务的优先保证、精细化的运营有重要作用,骨干网将会对上述流量进行精确的流量统计,相比,netflow,的采样，这种统计是针对每个数据包进行统计，非常精确,可以得出省网间、,IDC,间、出口各个运营商方向的流量矩阵,可以对各种流量进行基于内容的计费、,QOS,保证和限速的各种策略,21,CMNET,、,IDC,流量统计的输出流量矩阵,省维度,每个省到其他,30,个省的出入总流量,每个省到所有,25,个,IDC,之间的出入总流量,每个省到国内,4,大运营商方向的出入总流量,每个省到国际方向的出入总流量,IDC,维度,每个,IDC,到全国各省服务的出入总流量,每个,IDC,为国内其他运营商方向的出入总流量,每个,IDC,到国际方向的出入总流量,总计,CMNET,全网的总流量,每个省的总流量,每个,IDC,的总流量,国内每个运营商的总流量,国际总流量,各种类型流量的采集点,流量类型二：各省、各,IDC,国内出网流量，采集点在,CMNET,国内出口,BI,路由器,流量类型三：各省、各,IDC,的国际流量，采集点在,CMNET,国际出口域名管控设备,流量类型一：省间互访、,IDC,与省间互访的流量，采集点在,CMNET,骨干的,BC,节点,流量类型四：对于,IDC,通过省网上行的省份，本省用户访问本省,IDC,的流量，采集点在省网内部,CMNET,骨干,网,国内,运,营商网络,外部,IDC,国际运,营商网络,POP,点,POP,点,国际,BI,国际域名管控,国内,BI,省网,A,省,网,B,国内,BC,国内,BC,省内,IDC,不同颜色代表不同的采集点,各省需要配合的工作,IDC,机房的路由与省网路由单独向,CMNET,宣告，不能合并,各省向,CMNET,宣告的,IDC,机房路由，必须携带统一的路由属性：,Community,值,9808:2017,、,target:9808:10007,各省直连引入的外部,ISP,，也需要向骨干网广播时也需要携带上述,Community,以后,CMNET,将根据各省的,IDC Community,值来判断,IDC,机房路由,各省核对实际宣告的,IDC,网段，和以前向集团汇总的,IDC,网段是否有出入,IP,网段和前缀长度必须一样,以后各省,IDC,机房路由的更改，也需要携带条件,1,要求的的,Community,值,IDC,通过省网上联,CMNET,的省份，需要在省内部署流量采集策略，来统计本省用户访问本省,IDC,的流量（参考附件要求）,-,另行附带配置模板,目录,CMNET,网络管理规程,CMNET,投诉处理流程及案例,CMNET,故障定位方法,CMNET,投诉处理流程及案例,CMNET,骨干网故障处理流程,CMNET,投诉处理流程及案例,CMNET,省网和城域网故障处理流程,CMNET,投诉处理流程及案例,测试环境说明：,DNS,解析情况,业务测试抓包（可选，较复杂的故障需要进行此项测试）,业务,tracert,情况：（,tracert,截图）,ping,测试情况：,测试时间（请注意忙闲时）,CMNET,投诉工单填写要求,一、,现网测试情况,确定该,IP,和域名是否在集团封堵列表之内。,是否为,DNS,解析问题。,是否为缓存问题。,选取不同运营商电路测试，确定网站本身是否正常。,是否第三方电路问题。,是否骨干网问题。,是否互联互通出口问题。,二、,初步排查情况,CMNET,投诉处理流程及案例,初步结论：,(,故障原因为地址遭集团封堵,/DNS,问题,/web,缓存问题,/P2P,缓存问题,/,第三方问题,/,省网问题,/,骨干网问题。,),已采取措施：,(,已通过本地第三方处理,/,需要总部协助处理等,),CMNET,投诉工单填写要求,三、,预处理结论,CMNET,投诉工单填写方法,CMNET,投诉表（样例）,工单填写要求,工单填写示例,工单基本内容,投诉用户,IP,地址：,X.X.X.X,访问域名或,IP,地址：,WWW.X.COM,投诉内容：,无法打开,XX,网站，打开网站很慢等,用户网络接入情况：,专线、,GPON,，,WLAN,等,紧急程度：,非常紧急,/,紧急,/,一般,现网测试情况,测试环境说明：,操作系统,源地址等,DNS,解析情况,:,是否正常,业务测试抓包（可选，较复杂的故障需要进行此项测试）,抓包测试情况,业务,tracert,情况：,路由跟踪的路径,ping,测试情况：,ping,结果,测试时间（请注意忙闲时）,初步排查情况,该,IP,和域名是否在集团封堵列表之内。,是,/,否,是否为,DNS,解析问题。,是,/,否,是否为缓存问题。,是,/,否,选取不同运营商电路测试，确定网站本身是否正常。,是,/,否,是否第三方电路问题。,是,/,否,是否骨干网问题。,是,/,否,是否互联互通出口问题。,是,/,否,预处理情况,初步结论,地址遭集团封堵,/DNS,问题,/web,缓存问题,/P2P,缓存问题,/,第三方问题,/,省网问题,/,骨干网问题等,已采取措施,已通过本地第三方处理,/,需要总部协助处理等,CMNET,投诉处理流程及案例,通过多个运营商的网络对网站进行测试，,判断网站当前服务是否正常，如果均无法访问则测试域名是否存在。,查询网站是否被封堵：,查询域名是否被封堵；,查询,IP,是否被封堵；,检查网站域名是否能正常解析；,检查域名对应,IP,属于哪个运营商；,检查省公司上报的,Ping,测试结果；,检查省公司上报的,Tracert,结果；,检查路由情况：,检查,CMNET,骨干网地址资源表,，确认该,IP,所在的路由器设备；,登录相关设备检查下一跳的路由指向；,如果下一跳进入对方运营商网内，则通过,NNOC,邮箱向对方投诉，如果下一跳是,CMNET,网内设备，则登录该设备，检查去源地址的路由是否正常；,分析回程路由的问题，如发现回程路由到某点中断，则参照根据断点，参照第一步继续处理，直到问题解决；,案例,1,：用户无法访问网站,CMNET,投诉处理流程及案例,确认用户接入方式、访问的网站地址，以及下载的速度,。,分析省公司测试结果,：,分析,ping,测试结果；,分析,Tracert,结果；,对照资料表，查找延迟大对应的设备,：,调整后通知省公司再次测试，反馈测试情况。,案例,2,：用户投诉上网速度慢,首先检查该网站是否被封堵（宽广流控系统查询，,2011,年工单已经分配，,JT-001-110616-00032,，,JT-001-110928-00028,）；如果封堵，联系广东不良信息监测中心 电话,13922220250,邮箱,dwnfjdxxjha,。,如果未查到封堵记录，建议进行软件抓包，匹配目的地址的,TCP,报文，如果有检测到,RST,报文，可能是封堵，提供抓包结果并反馈总部协助定位,。,如果未检测到,TCP RST,报文，上报投诉工单联系集团公司排查网络侧、设备侧，定位故障原因。,建议同时在联通、电信网内进行测试，以排除是网站自身原因。,案例,3,：国际域名无法访问,CMNET,投诉处理流程及案例,目录,CMNET,网络管理规程,CMNET,投诉处理流程及案例,CMNET,故障定位方法,CMNET,故障定位方法,对于,CMNET,骨干,网,总部负责故障处理及指挥调度，对于需要设备所在省和南方基地进行处理的故障，通过工单方式通知设备所在省和南方基地。设备所在省和南方基地负责配合总部进行故障处理或根据总部的工单要求进行相关故障处理,。,各,省公司和南方基地若发现全国,CMNET,骨干网设备故障，应立即上报总部协调处理,。,对于,CMNET,省,网,由各省公司负责组织故障处理，必要时可商总部网络部和其他省公司进行配合。,对于,CMNET,城域网,各地市公司接收省公司的故障工单，负责故障的处理工作。,故障处理中的职责划分,CMNET,故障定位方法,业务故障,由于,CMNET,设备不能正常运行、局数据设置错误、互联互通故障、人为差错等各种原因，造成,CMNET,相关业务质量下降甚至中断,。,设备故障,CMNET,的主备用设备由于各种原因不能正常运行，对业务正常的运行造成隐患，但尚未影响业务。,在业务故障和设备故障同时出现的情况下，定义为业务故障,故障,分类,CMNET,故障定位方法,上报要求,故障发现省必须在,10,分钟内上报到总部网络部。,故障通报,总部网络部在发现紧急故障或接到省公司报告后，应将紧急故障通报业务受影响的省。,故障跟踪及处理,总部和省公司按照分工职责，协调相关资源，抢通业务。若业务在短期内无法恢复，故障升级为重大故障，应按照重大故障的要求上报和处理。,紧急故障：,CMNET,骨干网承载的某项或若干项业务中断，造成全网或部分省用户无法正常使用业务，称为紧急故障,CMNET,故障定位方法,以下情况发生任意一种即为重大,故障,由于各种原因，造成全国,CMNET,骨干网或各省,CMNET,网络所承载的某项或若干项业务中断（如国际,/,国内出入口互联业务中断、骨干网域名服务中断、认证计费服务中断、省内,/,地市出入口互联业务中断、省内域名服务中断等），在凌晨,1,时至凌晨,6,时，业务故障历时超过,60,分钟；在其他时间段，业务故障历时超过,30,分钟,。,由于各种原因，造成全国,CMNET,骨干网或各省,CMNET,网络节点发生故障退出服务，且设备故障历时超过,60,分钟；或网络质量严重下降，影响所承载的各业务系统（,GPRS,、彩信、,WAP,、,KJAVA,、,DSMP,、邮箱、短信网关等,）,。,上报要求,：,重大故障一经确认，应立即上报，上报到总部不得超过,60,分钟,故障通报,：,若重大故障涉及省际、国际业务，总部网络部应通报业务受影响的,省,故障,级别：分为重大故障、严重故障和一般故障三类,一、,中国移动互联网重大故障,CMNET,故障定位方法,以下情况发生任意一种即,为,严重,故障,由于各种原因，造成全国,CMNET,骨干网或各省,CMNET,网络所承载的某项或若干项业务中断（如国际,/,国内出入口互联业务中断、骨干网域名服务中断、认证计费服务中断、省内,/,地市出入口互联业务中断、省内域名服务中断等），在凌晨,1,时至凌晨,6,时，业务故障历时低于,60,分钟；在其他时间段，业务故障历时低于,30,分钟,。,由于各种原因，造成全国,CMNET,骨干网或各省,CMNET,网络节点发生故障退出服务，且设备故障历时不超过,60,分钟；或网络质量严重下降，影响所承载的各业务系统（,GPRS,、彩信、,WAP,、,KJAVA,、,DSMP,、邮箱、短信网关等）,。,由于各种原因，造成全国,CMNET,骨干网或各省,CMNET,网络所承载的某项或若干项业务质量下降，业务运行指标低于平均水平,30%,，时间超过,60,分钟。具体参考指标可根据不同的专业,制定,。,DNS,系统发生授权域名篡改、缓存中毒、,DDoS,攻击等安全事件影响,DNS,系统提供正常的域名服务，历时超过,60,分钟,。,系统的冗余设备发生故障不能正常运行，尚未影响业务，但对业务正常的运行造成严重隐患，若设备故障历时超过,120,分钟,。,除上述情况外，省公司可以根据实际情况对严重故障进行补充,故障,级别：分为重大故障、严重故障和一般故障三类,二、,中国移动互联网,严重,故障,CMNET,故障定位方法,除重大故障和严重故障外的其他故障为,一般故障,故障,级别：分为重大故障、严重故障和一般故障三类,三、,中国移动互联网,一般,故障,感谢聆听！,