cisco设备日常操作维护及故障解析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,V1.1,Cisco设备日常维护培训GSR部分,日常维护操作,设备硬件环境维护,协议等软件维护,常见端口的配置和状态查看,Ios升级,密码恢复,设备系统级的维护（较少用）,设备故障case举例,设备开关机操作,步骤,骨干及汇聚路由器均支持板卡的热插拔，如无故障，应不重启。需要重启的只涉及到硬件升级、IOS升级、板卡不识别等硬件故障。如果重启请在夜间流量低谷期间完成,软重启，在特权模式下，保存当前配置后，重启,#write mem,#reload,如有提示选择yes后回车，设备将重启,冷重启，在特权模式下，保存当前配置后，在机箱,相关位置,的电源模块上按照其开、关图示用力转动电源开关，完成开关机动作，注意现有设备都是,冗余,电源，需要在开关机时将,多,个电源模块都完成开关动作。如3550，7607，7513，7609，gsr等不同。,面板指示灯含义,CISCO路由器面板指示灯（尤其是告警灯）的含义及简单应对步骤：,GSR设备，其板卡上有,液晶,指示面板，其正常的显示如下：,板卡,RUN IOS,PRP卡,RP ACTV,同时Alarm卡应为绿灯，如果Alarm卡出现黄灯，说明有板卡没有正常识别，或者有CSC/SFC卡有故障。如果按下Alarm卡上的重置健后，仍显示黄灯，请报告故障,CPU和MEM利用率的检查,查看CPU利用率,#show processes cpu,CPU utilization for five seconds:5%/0%;one minute:13%;five minutes:12%,回车后可以看见上述信息，如果在显示中five min的利用率超过70%，请检查路由器中哪个进程占用了大量CPU资源，如多次出现这类现象，请联系技术人员确认现象,查看内存利用率,#show processes mem,Total:218766272,Used:145719668,Free:73046604,在执行命令后，可以看到类似上述信息，显示当前内存占用情况，如果其中Free的已经少于10M，请联系技术人员确认现象,环境变量检查,查看环境变量,show environment,确认温度、电压、风扇等环境变量值是否在正常范围内,Slot#Hot Sensor Inlet Sensor,(deg C)(deg C),0 40.0 29.0,Slot MBUS|CARD|PLIM Voltage Lines,#5V|3.3V 5.0V 2.5V|V3 V4 V5 V6 V7 V8,0 4952 3292 -1496 -2496 1788,Slot#48V AMP_48,(Volt)(Amp),PEM1 54 4 PWR-GSR16-DC=Standard DC PEM,Slot#Fan 0 Fan 1 Fan 2,(RPM)(RPM)(RPM),28 2970 2919 2922 GSR16-BLOWER=,BGP路由协议检查,查看路由信息命令如下：,#show ip bgp -查看BGP表,#show ip bgp,prefix,-查看特定BGP信息,#Show ip bgp neighbour -查看BGP邻居状态,#Show ip bgp summary -查看汇总的BGP邻居状态,更新路由后的操作命令如下：,#clear ip bgp,neighbor-ip-address,soft in -更新BGP邻居发布的路由,#clear ip bgp,neighbor-ip-address,soft out -更新向BGP邻居发布的路由,注：不要运行#clear ip bgp*,会导致本机所有BGP进程重启。,日志及告警检查,CISCO路由器系统日志的检查，及常见告警的种类、内容及简单应对步骤,查看路由器日志在特权模式下操作如下,#show log,注意日志中关于BGP Neighbor的UP DOWN信息，端口的UP DOWN信息和B1/2/3报警信息。同时因为目前路由器登陆采用用户模式，请注意配置修改用户和信息,端口配置Pos端口,GSR:,interface pos,slot,/,port,description,string,/,端口描述,ip address,A.B.C.D x.x.x.x,/Ipv4,地址和掩码,pos scramble-atm /,开启,SONET payload scrambling,clock source internal|line /,设置端口时钟源,crc 32 /,设置,CRC,pos flag s1s0 2!j0/C1 remain default should ok,pos framing sdh,pos report all,mtu 4490,no cdp enable!if the far end is also CN2 otherwise,disable(no).,no ip directed-broadcast,logging event link-status,no shutdown,思科快速转发,CEF,一种高级的三层ip交换技术，能增强分组的转发。为交换进程使用较少的cpu来提高性能。Dcef技术把负载放到了线卡上。它用fib的数据库（从路游表得来）能根据路由变化进行调整，它提供了在大型网络中的一致性和稳定性,（global）,ip cef,（global）,ip cef-distributed,有时没有横杠,（interface）,o ip route-cache cef,在端口上禁用cef,注：默认情况下76，gsr等是开启的，但是2600/3600系列是关闭的。（详见ppt注解）,中继状态观察检测,CISCO路由器中继状态的检查和监测（命令、输出查看内容等）,查看中继信息命令如下：,#show interfaces description,#show ip interface brief,#show interface POS/,#show contr pos X/X(详细介绍）(可以查看光的衰耗),可以看到当前中继的描述信息和端口状态,show controllers pos details,router#,show controllers,POS2/0/0,SECTION,LOF=0 LOS=2335 BIP(B1)=77937133,LINE,AIS=2335 RDI=20 FEBE=3387950089 BIP(B2)=1622825387,PATH,AIS=2340 RDI=66090 FEBE=248886263 BIP(B3)=103862953,LOP=246806 NEWPTR=11428072 PSE=5067357 NSE=4645,Active Defects:B2-TCA B3-TCA,Active Alarms:None,Alarm reporting enabled for:B1-TCA,APS,COAPS=12612784 PSBF=8339,State:PSBF_state=False,Rx(K1/K2):00/CC Tx(K1/K2):00/00,S1S0=03,C2=96,CLOCK RECOVERY,RDOOL=64322060,State:RDOOL_state=True,PATH TRACE BUFFER:UNSTABLE,Remote hostname:,Remote interface:,Remote IP addr :,Remote Rx(K1/K2):./.Tx(K1/K2):./.,BER thresholds:SF=10e-3 SD=10e-8,TCA thresholds:B1=10e-7 B2=10e-3 B3=10e-6,系统软件和系统配置的备份查看,查看系统软件命令如下：,#dir 看到当前flash:中的IOS软件,如果需要备份IOS，命令如下,#copy disk0:filename tftp,将IOS备份到当地的,TFTP,服务器上,系统配置的查看命令如下：,#show running-config 查看当前运行配置,#show startup-config,查看启动配置,注意：两个引擎间的关系 seconddisc。,running-config 和startup-config关系,思科常见的2个端口隐匿命令,ROUTER,sh int gi1/0/0 switching,路由器接口交换方面的信息,GigabitEthernet1/0/0 to-xx-12012-1-Gi9/3-GE:1,Throttle count 0,Drops RP 0 SP,SPD Flushes Fast 12 SSE 0,SPD Aggress Fast 0,SPD Priority Inputs 2486570 Drops 0,Protocol Path Pkts In Chars In Pkts Out Chars Out,Other Process 0 0 2423483 145417722,ROUTER#show,int gi1/0/0 stats,GigabitEthernet1/0/0,Switching path Pkts In Chars In Pkts Out Chars Out,Processor 2544288 629635668 3467254 2217930765,Route cache 0 0 0 0,Distributed cef 130546767214 41610498647258 135423113259 59106724315984,Total 130549311502 41611128282926 135426580513 59108942246749,注：交换模式分为处理器、路由缓存和分布式交换缓存。后者的数据包独立于前两者而单独计算,IOS升级,步骤,查询设备Flash空间是否足够？,dir,show flash,show slot0:,show slot1:,备份原有boot image和service provider,copy slot0:tftp:or copy slot1:tftp:,copy bootflash:tftp,格式化 slot0:/sec-slot0:/bootflasht:/sec-bootflash:,format slot0:,format sec-slot0:,format bootflash:,format sec-bootflash:,从tftp升级IOS,copy tftp:slot0:,copy tftp:bootflash:,copy tftp:sec-slot0:or copy slot0:sec-slot0:,copy tftp:sec-bootflash:or copy bootflash:sec-bootflash:,reload路由器,路由器IOS RUN后，用 show version 看输出行底部，如有upgrade 信息，应按提示做相应升级，并reload路由器,备份show tech,密码恢复1,将终端或者PC通过console连接到路由器，采用下面的参数：,9600 baud rate,No parity,8 data bits,1 stop bit,No flow control,尝试使用空密码或者cisco等常用的密码,如果能登录到路由器，在用户模式下输入show version，参看和记录configuration register的设置，通常为0 x2102 和 0 x102,如果不能成功登录上路由器，那么configuration register安全的模式应该为0 x2102,关闭路由器的电源，重新开启，在路由器启动的过程中（自检完成，并在60秒之内），同时按下：Ctrl+Break（使用windows超级终端），进入ROMMON模式,在ROMMON模式下，输入：rommon 1confreg 0 x2142，使路由器从flash启动却不用调用原有的配置,输入reset重新启动（路由器启动时会忽略已存的配置）,注意：当弹出setup 的问题提示时选no，或按下 Ctrl-C 跳过初始设置过程,密码恢复2,路由器启动后，从用户模式无需密码进入特权模式,注意：输入 configure memory 或 copy startup-config running-config 将NVRAM中保存的配置拷贝到memory。注意不要输入 configure terminal！,输入 write terminal 或 show running-config参看原始配置信息,进入全局模式，输入enable secret 更改 enable secret password,进入路由器的初始状态后，进入全局模式，修改启动参数：,Router(config)#config-register 0 x2102,保存配置：Router#write memory,或者Router#copy running-config startup-config,用 show version 看输出行底部，显示Configuration register信息，正确的参数应该为0 x2102,Gsr trouble-shooting,System-level troubleshooting,The basics,Show log,show gsr,show diag,execute-on,attach,Running command on line card,R1-A#execute-on all?,LINE Commmand to be executed on another slot,即对所有槽位（插板卡了）进行某种操作。,R1-A#execute-on slot 1 ,等价于attach上某个板卡后直接操作command。,Running command on line card,R1-A#execute-on slot 1 show proce cpu,=Line Card(Slot 1)=,CPU utilization for five seconds:0%/0%;one minute:0%;five minutes:0%,PID Runtime(ms)Invoked uSecs 5Sec 1Min 5Min TTY Process,1 0 1 0 0.00%0.00%0.00%0 Chunk Manager,2 0 128259 0 0.00%0.00%0.00%0 Load Meter,R1-A#execute-on slot 1 show proce cpu|e 0.00,=Line Card(Slot 1)=,CPU utilization for five seconds:0%/0%;one minute:0%;five minutes:0%,PID Runtime(ms)Invoked uSecs 5Sec 1Min 5Min TTY Proces,Running command on line card,R1-A-HELF-01.PNet#execu slot 0 sh proc cpu,=Line Card(Slot 0)=,CPU utilization for five seconds:0%/0%;one minute:1%;five minutes:1%,PID Runtime(ms)Invoked uSecs 5Sec 1Min 5Min TTY Process,1 0 1 0 0.00%0.00%0.00%0 Chunk Manager,2 4 27200 0 0.00%0.00%0.00%0 Load Meter,3 568 7172 79 0.00%0.00%0.00%0 CEF Scanner,4 5600 680996 8 0.00%0.00%0.00%0 CEF LC IPC Backg,5 64592 13790 4683 0.00%0.02%0.00%0 Check heaps,R1-A-HELF-01.PNet#attach 0,Entering Console for Modular Gigabit/FastEthernet in Slot:0,Type exit to end this session,Press RETURN to get started!,LC-Slot0sh proce cpu,CPU utilization for five seconds:0%/0%;one minute:1%;five minutes:1%,PID Runtime(ms)Invoked uSecs 5Sec 1Min 5Min TTY Process,1 0 1 0 0.00%0.00%0.00%0 Chunk Manager,2 4 27207 0 0.00%0.00%0.00%0 Load Meter,3 568 7174 79 0.00%0.00%0.00%0 CEF Scanner,4 5600 681177 8 0.00%0.00%0.00%0 CEF LC IPC Backg,5 64620 13794 4684 0.00%0.04%0.00%0 Check heaps,两个命令相同,系统代码的组成,Ios 的images不但包括rp和线卡的，还包括在主板的一些控件,：,rp rommon code-,基本的ower-up，self-test,media management,memory 管理等。,但不会提示用户升级,，升级命令：#,upgrade rom-monitor slot n,mbus-agent-rom,code-用于所有的组件通过maintenance bus(mbus)进行初始化和交流,。,线卡用两个mbus firm-ware package。下载后rom agent能被升级，所有的mbus code 可以通过mbus传送。升级命令：,Upgrade mbus-agent-rom all,fabric-downloader code-,用于配置线卡来接受通过交换矩阵来自rp的ios.可以用show version看是否有错误告警，即fabric-downloader coder 是否合ios相同。,第一次重启会自动下载并运行，升级命令：,upgrade fabric-downloader all,系统代码的组成,Line card rommon upgrade,该image用于在line card启动时，经常改变该代码不好，升级时候如果中断，线卡可能坏掉，所以让tac来做。,监控启动过程,线卡的启动（transitions)可以看到：sh gsr slot n-显示时间，持续时间，状态名字。,R1-A-HELF-01.PNet#sh gsr slot 1,SLOT STATE TRACE TABLE-Slot 1 (Current Time is 30535784.096),+-,|Timestamp Pid State Event Flags,+-,0.936 3 ABSENT EV_NULL,29533046.788 29 MROM0227 EV_ENVMON_CARD_INSERTED,29533051.848 178 PWR STRT EV_DISC_POWER_ON,29533052.256 178 IOS VGET EV_DISC_REQ_TYPE,29533059.888 178 ROMIGET EV_NULL,29533060.468 178 FABLSTRT EV_NULL,监控启动过程,24s onwards-new conmmands added:,show monitor event-state lci,日常插拔板卡操作,提前申请，保存当前配置,确认当前ios版本，当前rp版本，当前ios的启动顺序,拔板卡：关闭板卡上所有端口，或者关闭板卡，然后拔出。,插板卡：带上静电手套，插入新版卡。注意升级微代码。,Cisco 设备故障举例1,cisco pos 封装sonet，但是不能通，链路测试没有问题。,解决思路：国内的很多厂商的POS链路只支持SDH，不支持SONET，所有在修改sonet为SDH后，故障解决。(sonet是出厂配置),Cisco 修改sonet为SDH：pos framing sdh,juniper修改sonet为SDH:set chassis fpc 1 pic 0 framing sdh (注意：juniper不只在端口模式下配置),GSR 3GE板卡同时配置Ingress/Egress ACL后line card的CPU占用率高,解决思路：3GE板卡在配置Egress ACL时有一些限制，将Egress Acl去掉后line card的CPU下降,设备故障举例2,故障现象,2004-11-29 15:00 xx-xx电路down，,故障分析,登陆12008，发现SLOT5因为过热（76度）被系统强制关闭。,r1-a-1#sh log,temprature has reached CRITICAL level at 73(C),Nov 27 22:38:13:%ENV_MON-2-TEMP:Hotpoint temp sensor(slot 5)temperature has reached CRITICAL level at 73(C),Nov 28 09:51:23:%ENV_MON-2-TEMP:Hotpoint temp sensor(slot 5)temperature has reached CRITICAL level at 73(C),Nov 29 11:46:06:%ENV_MON-2-TEMP:Hotpoint temp sensor(slot 5)temperature has reached SHUTDOWN level at 76(C,),Nov 29 11:54:38:%ENV_MON-1-SHUTDOWN:Environmental Monitor initiated shutdown on slot#5,Nov 29 11:54:38:%LINK-5-CHANGED:Interface POS5/0,changed state to administratively down,故障2温度过高引起板卡down,故障解决,清洗过滤网，板卡温度下降后工作正常,经验及总结：,温度过高会引起许多硬件工作异常，因此日常运维中需要做到如下几点：,经常检查/清洗/更换过滤网,经常检查环境变量 show environment,经常检查系统日志 show log,