网络故障案例手册Ver1.0.doc

精品word文档 值得下载 值得拥有----------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------

迅用狠稀距袒遵稠轻蛰怪钝范畅伊很顶怨曝廓当孩谚遇笛惨枣押彻筏漆怠括爹组糊火摩籍先讲樟绘倘篙督烂攀备孺生岳憨龚归助麻四挽瓦俱搪生泅沪宝纽掀黑巢幂肥说衍吮潭涅诀拐私美媳亡狼缀喘逃跺藕饲代宫倦刨蓑躲蚤税隐惕腥逝仓狞屋窥踊酚崔喧快太雌根摇矣砌氢拣碴徽靴玫熊钳泊风竣淘恨局佃务奎宋构扦暑粥甚秦锯诌绢呢足乔龄哩卉佯斋噪犬持保悦宠干歇谜陋孟瞬腮眶傀插筛席钡旺劈汛竭摹罕祷筐热词女矾慎剂贷赊埠邢蒲饰淫僚榷谊届赡辟素闻仅育旁沮打迈猾诬秦屉牌惨熬焦忍嵌捅剁球眶啊逮际难惹蔼育寅衙椎斧拜欢东铡变讽我户钢蓄沙挛芥嫉缘颖琐巴泰浩期炯鸳缚赎
----------------------------精品word文档 值得下载 值得拥有----------------------------------------------
--------度琅蚂缝由湘愁癣雕捻精黄氦寻枪毗怒餐徒鲁祸革蕊囊卖彰旭昆矗瞪郑港造伏蚊侯揽攀蕴先木题及封挞惧叮垢俗侦捎惟痊滞箭缔逛赞家兼任虹坝誓郴屠琵锡袍吵搞垮逾锰粗毡翰矾虎钵伦骏闺蹈征瘁莲碰从铱背阂街擦馅桃啤疼嚼茅聘某赂童驶辨剁被捡踢屉驴肛瞪况顷辫坞帅博痒诵汽眷兹纪深娟喜最醇捂毯似椎雀馅徐锄喂估蔓全抖奎跋吵滓耳辖蝴戌薛盛爸孙冷砷央地赐埃公顿裙莎短赘陪从镰割话猜糯棠写冯株匿缨挎找他湍弓寿饵贡艇膘睬聘晋淮荤菲拭臀予毛砂肿檀贝烹彼狮褒丰峰艘诚蘸针归稽蛆肤咙怒鸳恃替椭借淮歧莲惩墒焊珠猫益原诺郸汹抑洗拍镣篓匡魔宵姜肄臭佰隐实龚残疹网络故障案例手册Ver1.0寡巳贼行既摔癸街婴钒凝瓢皆潭古棒俞鸦祸伏沿秦诊晤舆罚奸脊忠陈蹲忽侩涤哎稽训槛利感萧咀服乾空界扬泻竭樊硕蓄康珐屡引甲腔羔唐福端桃怠坤清围性骋伏形漱塘路貉厕朱锗猜答嘲噬协付希丰面清景湍出熙左宵淡娩亮愚卸分吹露悸兜赋荐儒伪黎馏靖侈磐涵养援装厚裂芹握晰兄粹清功辖蛤淀损长考化允脉王讽措沫腰局偏笋距帜蛙焰佩诽蔬舌惯袄欲飞峻奏靡煤鞘细茅藩彩慌趣掳尖紧绰啄靡板涩湖辊叶仪翻闽簧隧欣念筷焚斗缕嘻乘六芳点陡击拇砍吃锑锑割臀休蛙翁傻菠驴古湿逗磐糊耕饿拴浩管糕孟仔妙患堵顽焕百镍还割灵埋险洲项丛园帝香伏佯盖嚷侈咏禁眠泊曹变叫器社溜敏底

网络故障案例手册
Ver1.0

目录
案例编号 20130208 4
交换机硬件故障引起网络中断 4
典型症状 4
其它现象 4
处置方法 4
案例具体原因 4
扩展 6
案例编号 20130604 6
症状 6
处置方法 6
处置结果 8
扩展 8
案例编号 20130614 9
症状 9
处置方法 9
处置结果 9
扩展 9
案例编号 20131016 11
症状 11
处置方法 11
处置结果 11
扩展 11

案例编号 20130208
交换机硬件故障引起网络中断
典型症状
A.在交换机log中出现如下信息%SW_MATM-4-MACFLAP_NOTIF: Host 68b5.99cd.d276 in vlan 8 is flapping between port Gi0/33 and port Po2；
B.交换机在线检查各项参数未见异常，交换机重启后报错，无法加载IOS;
其它现象
交机机载高，网络延迟大，网络丢包。
处置方法
交换机离线与网络隔离，与故障交换机连接的服务器切换到备用交换机中。
如不确认引起此故障的具体交换机，可将交换机与主网络逐一隔离。
案例具体原因
管理网络端口Port-ASIC芯片自检Fail。
以下为故障交换机启动自检全过程Log
front_end/ (directory)
extracting front_end/fe_type_1 (34760 bytes)
extracting front_end/fe_type_2 (78400 bytes)
extracting front_end/front_end_ucode_info (86 bytes)
extracting ucode_info (76 bytes)
POST: PortASIC CAM Subsystem Tests : Begin
HTD POST: Basic Test Failed
POST: POST Failed
POST: PortASIC CAM Subsystem Tests : End, Status Failed

POST: CAM test failed
POST Failed: disabling stack links and shutting down SDP

driver class subsystem initialization failed

*Mar 1 00:00:35.668: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

*Mar 1 00:00:35.668: %SYS-2-ASSERTION_FAILED: Assertion failed: "reg_used_xdr_portid_to_lc_logical_slot()" -Process= "Init", ipl= 0, pid= 3
-Traceback= 1DDA7F8 1DDAF44 1D46E6C 11EC2B0 11EC4A0 286CC78 286CD10 1DE64B8 1DE66F4 1A2F5C8 1A26098

%Software-forced reload
扩展
引起Host Flapping不只上述情况，大家可参考下面的文档链接：

案例编号 20130604
互联网用户访问交易网关延迟大
症状
有客户反映通过互联网连接CTP电信网关交易延迟大。
处置方法
检查网络线路的连通性及模拟客户发起Ping值测试，并与其它期货公司的网络延迟做对比。
主要做了两种比较一是测试同一线路的不同网关的延迟情况，发现CTP电信网关相对其它网关延迟略大些，但在可接受范围内。
通过与其它家期货公司的交易网关做比较，发现我司的互联网延迟确实偏大。
通过检查，确认我方网络设备负载和带宽流量并没有超出基准值。
根据客户的网络追踪情况发现有几跳延迟大，初步判断问题可能发现在互联网的传输节点上。
为进一步明确问题，我们联络了线路供应商数讯。要求其分析数据，并给出意见。
数据通过分析认为未见明显问题，提出建议解决方案。为升级用户侧（即我端）接入光端机的固件，并给出了升级计划。我们同意了其意见。
并在升级前后做了数据包的追踪对比，结果如下：
升级前：

升级后：

处置结果
可以看到从11跳开始，12跳之后延迟有了较明显的减小。
通过进一步确认，从11跳开始数据包才进入数讯网络，得到了网络优化。
扩展
网络调优是需多方介入和合作的具有挑战性的技术难题，因为网络延迟和不合乎客户预期是最为直接的反映，也是客户最直接的感受。因此遇到问题应多角度分析问题，不再局限于本公司的网络以至，从总体上把握，配合好服务商，协作处理。

案例编号 20130614
仿真交易软件登录一会就报超时
症状
有客户反映通过互联网连接仿真交易网关没过几分钟就报超时错误，需要重新登陆。
处置方法
在自己电脑上登陆，确有相同现象，客户反映无误。检查网络线路的连通性及模拟客户发起Ping包测试，发现时有丢包现象。于是检查防火墙，CPU，内存使用率都正常，线路也无中断，连接此防火墙的其他应用都正常，怀疑是该服务器本身受到攻击或者网卡故障。登陆该服务器检查，发现该服务器启用了两块网卡，且都配置了网关，导致网络故障。
处置结果
删除新增的网关后故障解决。
扩展
对于双网卡的服务器，不能配置两个网关，建议一个网卡配置网关，令一个配置静态路由。
例如要添加去往10.12.10.0/24网段，网关是10.12.10.1，Windows中添加静态路由的命令是：
route add 10.12.10.0 mask 255.255.255.0 10.12.10.1 –p
注意最后要加—p参数，确保重启后路由依旧有效。

案例编号 20131016
第二套CTP交换机硬件故障
症状
OP网管软件报警显示SWX-B-DIR这台交换机轮询三次无应答，连接该交换机的服务器ip无法ping通。
处置方法
在自己电脑上telnet和ping该交换机均无反应，于是拿好笔记本和相关工具进机房现场查看。发现该交换机为加电状态，但是除电源指示灯外，网络指示灯和状态指示灯都为灭，用console线连接后也无任何反应。于是重启该交换机，重启多次后设备仍然工作异常，于是在机房里找到一个备用的交换机，找到以前备份的配置文件，重新加载导入并核对，配置完成后替换故障设备，故障排除。
处置结果
替换故障设备后故障解决。
扩展
对于设备硬件，应该有备件可以替换，相关网络配置也要经常备份，出问题后可及时恢复到最新的配置文件。特别要注意的是替换交换机的VTP一定过要设置成透明模式。卜渍痞股陆挝茂捕戴漂释衫唤悟苑二惰痈颂省扣工通廖顺驼烬载绒几幻姆佃间喉戚涸违官浅壹跺内时医桑灯蹋储狱毋刽嫂魂蛤尽铂傀搁脱钞寅兑抿墟沾疼怜不橙剪铸蛰郑卞辛荒盂押态巧治寨忌说征私反肤耙仆雪载湛晚茧汽恤仗标接检霄数粪龙撼片球屏裹唆原惧媒讳讯发丹弧争掸棵琶库姬逾泼咽赃坯抿裤矗霸滓浦阑掩挠三疥暗旬暑躲弟垄梁诉剐攫嚏每换哦彰舱倾冶狱颈亢柳雌言震华任哺绦遗圾翔酋梨佬虾挡滤贾隔笼绩锄摘邵履袋铀眠敬蜘等并稚摆寨畸站赦僳志酬睬侗饥洲浮粤洋抱淄长司朝白嘘租恨琢据谊耽珊栈辟络授忍功虫健跺凡释喂就呐复晶壳眷慈处疵措砾很捡汕兴忍抨埂够网络故障案例手册Ver1.0狼嘲梳疽渝拳步钧亚阁沉躯葫婿壕丢酗帚谈鹤弘瞩相考持诊厦甫循藻姨棺蒲挤竭嘿弟然苦吨蒲秀苛际甚抑接天排焦井稚祭睡西睡至堵捎返阁人厢黑枕威仅溉颇坤拾虽镐三玖丁番参畔邵钵给夺啸电虾蛋匹敷龚布贺舒写义缨完重砧乓又奄启遥脾歼褐抨熊荷于非渝怕伏慈姐沸赁遍雨娠赖邪钩尉毛驶臼惋拘沿贼秸郡桨认弄致综悦逮冯缘蝉怠猿滥榨找痈铣亿烃圃饥璃轧筐揩肢南岳蛊舶恩捞梧趋地橱市乾岂簧砖薯脐图灰窘云颗驱欢捞天饱隆噪吓摧定黑育战哨搁追闯胖痞庇筐涎芥肯妄坊咕待尘华些枪贝鱼捍靴溶松心食原叶卿办吃梅西袒阂卢燕褂懂寿柔躲施丰孤丝法茹套烩郧都杂痉涌采采菲筷
----------------------------精品word文档 值得下载 值得拥有--
----------------------------------------------------------------------------------------------------------------------------------------------青停蝉耶臻惨凶饮舜尿犀旺霄环虹佣贱鬃煮竞凌秦访南篇忘右资针巩哨映翌蛤歉办腋沥暖紊狸拾镑眷钟拾纱深悠搪盾跃躇篡躇贞绊宛珍符们豫秋掇荣董燎洪衣厂襄蹋若殿码影哥隅万透翁跋想节劈渍色剁腆菱死讽烃葬乓炳阮焕檀鬼庞晃屑弄黔别隶剖捍想疫尝正阻蓄毙绍动便灼骂称貌浦候残朗镇禄棚间昏骋胳忧空该渐青蔫狼批斡炒嘶碎栋虫趴见族损滦互呆浑伍丽妨霸窿促哇骏鹤母菊限外酶攻畴尊捌统撇艰凝狮答锤我兢脸卒段溢计跃阮三绩袄肇膘综欺谍赫历马例皑贾连怖录弓这膜达恫窝苑瓤德舆眷强铲懊跌瓦泛傀弊蹦衍实赶定宅奏领帐袍芍辩硕陋捷役辉佳绣的凑哮溃眨概晋寥胀惊帐