网络设备日常维护指导手册.docx

-精品word文档 值得下载 值得拥有-NGN IP网络设备日常维护指导手册 UTS.610G13.A0 作者 杭建峰 沈柳芃 审稿 薛京 黄江涛 日期 2004年6月 UT斯达康通讯有限公司 项目与技术支持部 UT斯达康公司以客户成功,我们成功的价值观衡量,规范员工的行为,致力于服务创新和服务承诺的兑现,力求为用户提供超越客户期望的服务. UT斯达康公司拥有完善的服务体系,技术服务中心拥有一批优秀的专业技术人员,并在全国设有服务分支机构,提供24小时技术服务.本着用户至上,信守承诺的原则,UT斯达康公司承诺:在24小时之内对用户的问题给予答复.为客户提供优质,高效,专业的服务是UT斯达康的追求. UT斯达康通讯有限公司项目与技术支持部 联系地址:浙江省杭州市教工路1号12号楼 邮政编码:310012 电话号码:[phone] 传 真:[phone] 800免费电话:8008571466 邮件地址:utsupport 客户支持网站: 版权声明 本文档属UT斯达康通讯有限公司版权所有,侵权必究. 本文档专供用户,本公司职员以及经本公司许可的人员使用.未经公司书面同意,任何单位或个人不得以任何方式复制,翻印,改编,摘编,转载,翻译,注释,整理,出版或传播手册的全部或部分内容. UTStarcom,PAS,WACOS, iAN, AIRSTAR, WLL, ISP, WICOPS, NGDLC, Intranode, Internode, Xtr-m-IP, UNITECH,iPATH, !-Volution, mSwitch, 小灵通, 为UT斯达康公司或其子公司,关联公司的注册商标,受商标法保护,任何个人或团体非法使用以上商标,UT斯达康公司有权追究其法律责任. NGN IP网络设备日常维护指导手册 出版说明 内容简介 UT斯达康NGN系统维护指导对网络维护人员的分工和职责,以及相应的网络维护流程提出了科学而合理的建议;对网络的日常维护项目和周期进行了详细的阐述;对于维护人员如何进行网络的巡检,巡检的项目和周期作了详尽的描述;维护指导中还汇集了丰富的故障解决案例.为了读者阅读,更好的服务于客户,维护指导共有以下几部分组成: NGN核心网维护指导: NGN核心网维护建议和日常维护指导 NGN核心网巡检指导 NGN核心网故障分析和解决指导 NGN接入设备日常维护指导手册 NGN IP网络设备日常维护指导手册 NGN服务器设备日常维护指导手册 NGN ORACLE数据库日常维护指导手册 本文档为其中的NGN IP网络设备日常维护指导手册 本文将根据现场情况不断更新,更新后的文档将及时发布于客户支持网站 ( ),如果你有更新硬拷贝的需求,请通过当地的客户经理向我们申请. 本文档的读者范围 UT斯达康NGN系统的维护工程师及其相关人员,读者要求具备IP网络的相关知识和丰富的系统维护经验. 维护过程中如遇到困难或有什么建议,非常欢迎你拨打我们的客户服务中心电话寻求技术支持.我们公司随机发给客户的各种手册资料上也对所有操作维护和技术问题有详细的说明请参考使用. 客户成功,我们成功 NGN IP网络设备日常维护指导手册 写作目的: 本手册描述了例行维护的内容以及正确的操作步骤,为用户确定本局维护方案提供了IP网络例行维护的基本方法和参考依据. 使用方法说明: IP网络日常维护指导书的主要作用在于向机房维护人员说明日常维护需要作什么工作,如何做,结果应该怎样.在维护过程中机房维护人员需要将维护的结果记录下来,以作为以后检查设备运行情况调查故障原因的依据,以保证设备的正常运行做到防患未然. 客户成功,我们成功 NGN IP网络设备日常维护指导手册 目 录 第一章 网络维护建议.1 1.1 维护人员分工与职责.1 1.2 故障处理流程.1 1.3 日常维护参考资料.1 1.4 维护求助途径.1 第二章 维护内容.2 2.1 日常维护指导.2 2.1.1 值班日志表.2 2.2 月度维护.4 2.3 突发维护.6 2.3.1 一级故障.6 2.3.2 二级故障.7 2.3.3 突发故障处理记录.8 第三章 网络巡检.9 3.1 网络巡检的重要性和目的.9 3.2 设备运行情况分析.9 3.3 节点连通及网络冗余性分析.12 3.4 网络性能分析.12 3.4.1 直接测试.12 3.4.2 使用工具进行监测.13 3.5 IP网络总体运行状况分析及报告.21 3.5.1 设备运行情况分析.21 3.5.2 节点连通及网络冗余性分析.21 3.5.3 网络性能分析.21 第四章 常见网络故障及解决方法,工具使用.22 4.1 接口故障.22 4.1.1 以太接口故障排除.22 4.1.2 路由器广域口故障排除.22 客户成功,我们成功 I NGN IP网络设备日常维护指导手册 4.2 二层故障.24 4.3 三层路由问题.24 4.4 检测工具使用及cisco网络日志分析.24 4.4.1 Ping命令.24 4.4.2 trace命令.26 4.4.3 理解Cisco错误消息.28 4.4.4 Ethereal 使用.28 4.5 SBC常见问题解决.29 4.5.1 Voip穿越SBC通话一段时间后中断.29 4.5.2 MGCP IAD 无法通过SBC注册的问题.29 4.5.3 SIP话吧通过Cisco2611无法注册的问题.30 4.5.4 sip终端释放以后短时间内不能注册的问题.30 4.5.5 UTSMART电话无法拨打外部电话的问题.31 客户成功,我们成功 II NGN IP网络设备日常维护指导手册 第一章 网络维护建议 1.1 维护人员分工与职责 维护人员要求具有一定的IP网络基础,熟悉掌握相关IP网络技术理论;清楚网络的结构设计,包括网络拓朴,设备连接,系统参数设置及软件使用;了解网络正常运行状况,注意收集网络正常运行时的各种状态和报告输出参数;熟悉常用的诊断工具,准确的描述故障现象.做好日常维护工作,并及时填写相应记录.一旦有异常情况发生,在第一时间按照流程通知Call_log及当地工程师.同时,作为维护人员, 定期观测网络运行状态,在故障发生时,能同我们工程师共同确定网络故障点,恢复网络的正常运行. 1.2 故障处理流程 IP网络设备处理流程同Call_log处理流程类似,维护人员在第一时间内将相关信息反馈给Call_log. 具体信息包括:设备机箱序列号,各模块信息,软件版本信息,问题描述,相关检测命令等运行结果. 1.3 日常维护参考资料 各设备的特性,命令: 1.4 维护求助途径 UT斯达康技术支持热线:0571-88916789 客户成功,我们成功 1 NGN IP网络设备日常维护指导手册 第二章 维护内容 IP网络建设完成后,搞好网络的运行管理是避免网络故障的关键.以下描述相关内容希望能作为日常的维护工作的参考,及时掌握当前网络运行状况及隐患,保障系统的安全稳定运行. 2.1 日常维护指导 2.1.1 值班日志表 交换局名 日期: 年 月 日 值班时间 时 至 时 值班人 接班人 维护类别 维护项目及指导 检查结果 备注 操作人 系统运行状态灯 系统各模块状况 sh module 系统运行温度 sh env temp 硬件情况及外部环境检查 系统外部电源情况 sh env power 设备各部分运行温度应该在45度以下,系统状态灯为红,不正常 基本状况检查: CPU利用率 内存利用率 #show processes cpu #show processes memory #show buffer #show process 显示正常的CPU使用率 Averange: 2M 客户成功,我们成功 2 NGN IP网络设备日常维护指导手册 系统日志检查 检查log server上系统的日志 无四级及以下告警(0到4级)为正常 系统运行状态灯 液晶面板显示 网络连接检查#Show arp 路由检查#show routes SBC相关状态检查 HA检查#show health SBC可以通过telnet其物理端口IP地址登陆,进行相关操作(结束需用exit正常退出,否则会造成下次登陆无法配置). 端口直连链路中断时,液晶屏上会有闪烁的英文提示.液晶屏左边下面的灯应常绿,上面的灯为常灭,或者常红(做HA时),黄色表示网络正在切换. Health值应为100 , 当前工作SBC为active,另一台为Standby. 各关键节点连通性 利用我们提供的trayping软件,对各关键节点进行ping 所有节点的时延平均值小于20ms;时延最大值小于100ms;丢包率在1/10000以内 故障情 况及其 处理 遗留 问题 班长核查 表 1 值班日志表 客户成功,我们成功 3 NGN IP网络设备日常维护指导手册 2.2 月度维护 交换局名 维护周期 年 月 日 至 年 月 日 维护时间 检查人 维护类别 维护项目及指导 检查结果 备注 操作人 IOS,配置文件备份检查 在特定的备份服务器上,检查配置文件及软件版本备份是否与运行设备一致, 如不一致,利用tftp软件,下载运行设备的config及到cisco网站下载相应的软件 路由状况检查: 单播路由 组播路由 #show ip route summary #show ip route #show ip mroute #show ip mroute act #show ip mroute summary #show ip mroute count 有到各节点路由 有正确组播路由 HSRP状态检查: #show standby brief #show standby 主备设备的状态应相符 VLAN状态检查: #show vlan #show vlan sum Vlan名称,标示正常 Trunk和Channel #show trunk #show ethernetchannel port n(n与portchannel号对应) Trunk 工作正常,多条trunk存在时,对应vlan通过范围应无重叠. OSPF状态检查: #show ip ospf OSPF状态应正常,包括正常的ospf路由客户成功,我们成功 4 NGN IP网络设备日常维护指导手册 #show ip route ospf #show ip ospf database #show ip ospf neighbor #show ip ospf interface 括正常的ospf路由信息,neighbor信息 PIM状态检查: #show ip pim #show ip pim summary stp 检查 #show spantree 应与设计情况相同 NTP同步状态检查: #show clock #show ntp status 检查端口状态 检查正在使用的主要端口的状态 为保证数据有效性,建议提前20小时将各端口计数器清零: #clear counter 其后执行如下命令: #show controller #sh ip int brief #show interface #show int port-channel n 显示工作的端口为UP状态; Interface(除GW-MPU接口)冲突,错误等非信息小于1/10000. 端口名称正确; GW联接的Ethernet端口在half duplex/100M状态 防火墙检查 #show failover #show xlate #show conn #Show sipd SBC检查 #Show algd #show memory #show buffer 查看SIP以及MGCP的相关统计信息;参看系统内存使用情况. 客户成功,我们成功 5 NGN IP网络设备日常维护指导手册 CDP检查 #show cdp nei 无多余的设备连接 其它 #Sh tech 故障情 况及其 处理 遗留 问题 班长核查 表 2 月度维护表 2.3 突发维护 2.3.1 一级故障 一级故障是指现有的网络停机或对最终用户的业务运作有严重影响. 由于目前我们的系统已经做到所有网络设备冗余备份,在单个网络设备(比如某台核心交换机)完全停机的情况下,系统能自行恢复正常,但存在某些特殊情况对最终用户的业务运作有严重影响 ,原因及解决办法有以下几方面: 1.对于互相备份的两台交互机,信令的EtherChannel一旦不通将致使整个系统中主备设备无法通讯,造成业务异常.目前在现有的系统中,大部分系统信令的Etherchannel只有一对光纤连接,光纤损坏,GBIC口损坏,网络拓朴结构改变STP设置不正确情况下,就导致信令Etherchannel 不通,具体表现在网关等设备主备切换. 紧急处理方法: 1)在网络拓朴结构没有改变的情况下,交换机上channel端口的指示灯变为黄色,在尝试重启端口等操作无效的情况下,立即重新选择另外的端口,配置Etherchannel. 2)如果由于新的二层设备的接入,STP设置的原因造成Etherchannel不通,可以先断开新接入的二层设备,升高接入设备的Bridge ID,使其大于核心交换设备的Bridge ID,重新连接. 客户成功,我们成功 6 NGN IP网络设备日常维护指导手册 2. 网络环路的影响.在目前的系统中,某些错误的操作引起网络环路的产生,致使系统形成广播风暴,整个系统中服务器和终端通讯不正常,从而发生通话中断.具体表现在交换机上端口指示灯快速闪动,交换设备cpu利用率短时间迅速提高. 紧急处理方法: (1) 检查log,一般环路形成时在网络设备的log中可以看到某一MAC地址在两端口之间flapping,断开其中一个端口的连接,检查本交换设备这两个端口的STP的设置,如果为off,将其打开.如果portfast已经打开,将其关闭.然后再重新连接.同样的方法检查其余网络设备. 3.服务器不能与远端服务器通讯,具体表现在涉及到此类服务器的业务发生异常. 紧急处理方法: (1) 本地服务器是否可以ping通本地网关,如果不行,检查所连接的交换机端口状态是 否正常. (2) 如果可以ping通本地网关,检查是否已经设置缺省网关. (3) 检查是否可以ping通远端路由网关,如果不行,检查设备间的联通性.具体方法是检查本地路由表中是否有远端网段路由. (4) 如果可以ping通远端路由网关,检查远端服务器是否设置了缺省网关. 2.3.2 二级故障 二级故障是指现有网络的操作性能严重下降,或由于网络性能明显下降,使最终用户的业务运作重要影响. 主要表现在某节点或某些节点大量丢包. 如果是某节点丢包,检查此节点的网络连接,物理连线是否有损,所连接的端口状态统计情况.紧急处理方法: 对于双网卡冗余的服务器,可以切换网卡,对于其他单网卡设备,可以更换上联端口或物理连线. 如果是某模块上的节点都大量丢包,如果是模块有损引起,可以使整个模快down掉. 客户成功,我们成功 7 NGN IP网络设备日常维护指导手册 2.3.3 突发故障处理记录 发生时间: 解决时间: 值班人: 处理人 : 故障类别: 故障来源: 故障描述: 处理方法及结果: 客户成功,我们成功 8 NGN IP网络设备日常维护指导手册 第三章 网络巡检 3.1 网络巡检的重要性和目的 力求覆盖当前网络设备的运行状态, 发现网络规划和配置中欠佳之处,改善和优化网络的性能;观察网络的运行状况,及时预测网络通信质量. 3.2 设备运行情况分析 针对*市的*设备,确认系统设备的运行状况(由于各版本的IOS命令差异,文中提到的命令只做参考). 网络设备运行状态 序号 内容 参考命令 期待结果 1 检查版本 IOS/COS Image及配置文件 #show version #show running-config #show conf 显示版本和配置同设计相符.包括端口的速率,全半双工,portfast等方面 2 基本状况检查: CPU利用率 内存利用率 #show processes cpu #show processes memory #show memory #show buffer #show process 显示正常的CPU使用率(20万用户时). Averange: 2M 客户成功,我们成功 9 NGN IP网络设备日常维护指导手册 3 路由状况检查: 单播路由 组播路由 #show ip route summary #show ip route #show ip mroute #show ip mroute act #show ip mroute summary #show ip mroute count 有到各节点路由 有正确组播路由包括: *.sourceaddress Group-address.Source-address 和对应转发端口 如: 224.0.1.1 239.255.0.1 4 HSRP状态检查: #show standby brief #show standby 主备设备的状态应相符,priority 分别为110和105,正常情况下主备状态在单一设备上应尽为一种. 5 VLAN状态检查: #show vlan #show vlan sum Vlan名称,标示符合设计要求,主备交换机vlan设置一致. 6 Trunk 和Channel #show trunk #show ethernetchannel #show ethernetchannel port #show ethernetchannel port-chann Trunk 工作正常,多条trunk存在时,对应vlan通过范围应无重叠. 7 OSPF状态检查: #show ip ospf #show ip route ospf #show ip ospf database #show ip ospf neighbor #show ip ospf interface Ospf协议运行正常 客户成功,我们成功 10 NGN IP网络设备日常维护指导手册 8 PIM状态检查: #show ip pim #show ip pim summary 组播协议运行正常 9 Spanning Tree 状态: #show spanning-tree brief #show spanning-tree #show spanning-tree postfast 根节点指向应唯一,且符合设计要求. 端口forwarding和blocking状态符合设计. 10 NTP同步状态检查: #show clock #show ntp status 时间应统一准确; ntp同步正常 11 检查端口状态 检查正在使用的主要端口的状态 为保证数据有效性,建议提前20小时将各端口计数器清零: #clear counter 其后执行如下命令: #show controller #show ip interface brief #show interface #show port-channel 显示工作的端口为UP状态; Interface(除GW-MPU接口)冲突,错误等非信息小于1/10000. 端口名称正确; GW联接的Ethernet端口工作在half duplex/100M状态 12 系统日志检查: #show logging #show logging buffer 1024 无4级以上告警. Logging buffer size 512000 13 其它检查 #show tech 14 SBC检查 #show memory #show buffer #show sipd #show algd 检查系统运行情况,查看sip以及mgcp的当前信息以及相关历史信息. 客户成功,我们成功 11 NGN IP网络设备日常维护指导手册 3.3 节点连通及网络冗余性分析 检查从各节点到核心系统服务器,各网络设备间的连通性和路由的冗余性,保证指定路由畅通和冗余 测试分项目:各节点间连通性及网络冗余 序号 测试步骤 命令 期待结果 1 用PING命令检查与各设备的连通性 #ping *.*.*.* 显示!,所发包全部成功 2 用traceroute命令观察所经路由 traceroute ip_address 所显示的路由正确,为设计所定的优先路由 3 用PING命令检查到各组播组所在网段组播路由正常. #ping 224.0.1.1 #ping 239.255.0.1 有多个应答,且应答方地址应包括各组播组所在网段设备地址. 4. 用traceroute命令观察所经路由 traceroute ip_address 所显示的路由表中冗余路由与设计情况相符 3.4 网络性能分析 网络越复杂对网络性能的要求也越高,特别是语音,图像等的传播,对带宽和时延都有比较苛刻的要求,因此,我们有必要对网络性能进行分析.其主要包括网络时延,丢包率和IP网络系统带宽两部分. 3.4.1 直接测试 测试分项目:网络时延与丢包率及带宽检测 序号 测试步骤 命令 期待结果 客户成功,我们成功 12 NGN IP网络设备日常维护指导手册 1 用PING扩展命令检查与各远端交换机路由器的端口的连通性,测试包数量不小于100000 #ping Protocol ip: Target IP address: 210.52.128.11 Repeat count 5: 10000 Datagram size 100: Timeout in seconds 2: Extended commands n: Sweep range of sizes n: 显示!,丢包率小于1/10000; 时延平均值小于20ms; 时延最大值小于100ms 2. 本地接入带宽测试: 在FTP Client上从本地FTP Server下载* ftp ip_address username: * password:* ftpget * 应大于数据流所经链路(E1/10M/100M)最小带宽标称值的70%. 3 远程(跨E1/10M/100M/1000M)接入带宽测试: 在FTP Client上从远端FTP Server下载* ftp ip_address username: * password:* ftpget * 应大于数据流所经链路(E1/10M/100M)最小带宽标称值的70%. 3.4.2 使用工具进行监测 目前的网络监测工具,大致可以分为软件测试和硬件测试两个方面.硬件由于其投入较大且使用较为专业,在此不做介绍.在MSwitch系统里.可以通过网管软件得到一些简单的网络统计信息,不过为了得到较为直观,准确,实时的测试结果,推荐使用专业软件进行网络检测,评估. 客户成功,我们成功 13 NGN IP网络设备日常维护指导手册 3.4.2.1 BWMeter BWmeter是一个功能强大的带宽测试和监视程序,它可以测量并显示出你的网络上的所有流量.对于使用UTsmart软件的PC来说,可以使用该软件判断当前pc的带宽使用情况,根据实际情况调整网络资源分配.该软件可以在各知名下载站点免费下载,大小几百k,利用安装向导安装该软件并重启