QC小组活动.ppt

2010年贵州移动年贵州移动QC小组活动汇报材料小组活动汇报材料降低降低ADCADC故障时长率故障时长率集团新业务部集团新业务部QC小组小组2010201020102010年年年年3 3 3 3月月月月贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料1、小组概况：、小组概况：课题名称：课题名称：课题名称：课题名称：降低降低降低降低ADCADCADCADC故障时长率故障时长率故障时长率故障时长率课题类型：课题类型：现场型现场型活动时间：活动时间：2009.72009.72010.32010.3 小组名称小组名称:集团新业务部业务运营维护室集团新业务部业务运营维护室QCQC小组小组小组成员小组成员小组成员小组成员姓名姓名性别性别文化程度文化程度组内分工组内分工组内工作职责组内工作职责李文华李文华男男硕士硕士组长组长组织协调，任务布署组织协调，任务布署齐肇建齐肇建男男硕士硕士副组长副组长任务实施，成果整理任务实施，成果整理沈巍沈巍男男本科本科组员组员数据分析，制定对策数据分析，制定对策曾果曾果男男本科本科组员组员执行措施，效果检查执行措施，效果检查范丹范丹男男本科本科组员组员数据收集，执行措施数据收集，执行措施赵喆赵喆男男本科本科组员组员数据收集，执行措施数据收集，执行措施李荣琼李荣琼女女本科本科组员组员数据收集，材料整理数据收集，材料整理周杰周杰男男本科本科组员组员技术支撑技术支撑钟方学钟方学男男本科本科组员组员技术支撑技术支撑王宁王宁男男硕士硕士组员组员发布统筹发布统筹刘芸刘芸女女本科本科组员组员发布实施发布实施童自影童自影男男本科本科组员组员发布实施发布实施贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料专业术语解释：专业术语解释：ADCADC：月故障时长率月故障时长率月故障时长率月故障时长率 ：英文全称英文全称:Application Data Center,:Application Data Center,中文名为中文名为数据应用中心。是指中国移动为集团客户（主数据应用中心。是指中国移动为集团客户（主要为中小企业客户）按需提供基于移动终端的要为中小企业客户）按需提供基于移动终端的托管式的信息化应用服务。托管式的信息化应用服务。指每月发生故障的小时数除以每月的总小时数再乘以指每月发生故障的小时数除以每月的总小时数再乘以100%100%例如：例如：1 1月发生故障的小时数为月发生故障的小时数为7676小时，小时，1 1月的总小时数为月的总小时数为744744小小时，则时，则1 1月的故障时长率为月的故障时长率为 76744100%=10.2%76744100%=10.2%贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料经经过过维维护护月月报报统统计计，发发现现所所管管理理的的几几个个业业务务平平台中，台中，ADCADC平台故障较多。平台故障较多。二、选题理由二、选题理由 经调查发现经调查发现ADC的故障时长率较的故障时长率较高高为为尽尽快快改改进进ADC的的维维护护支支撑撑状状况况，支支持持业业务务发发展展，我我们们选选择择课课题如下：题如下：课题名称：课题名称：课题名称：课题名称：降低降低降低降低ADCADCADCADC故障时长率故障时长率故障时长率故障时长率 2009 2009年年1 1 6 6月月ADCADC平台故障时长率较高，平台故障时长率较高，月均达到月均达到5.23%5.23%贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料三、活动计划三、活动计划时间时间2009720103现现状状调调查查活活动动目目标标原原因因分分析析要要因因确确认认制制定定对对策策组组织织实实施施效效果果检检查查巩巩固固措措施施计计划划打打算算达到目标啦！达到目标啦！贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料三、现状调查三、现状调查20092009年年1 1、2 2、3 3、4 4、5 5、6 6月月ADCADC平台月故障时长率统计表平台月故障时长率统计表月总时长（时）月总时长（时）月故障总时长（小时）月故障总时长（小时）月故障时长率月故障时长率1 1月月74474474474439.539.539.539.55.3%5.3%5.3%5.3%2 2月月67267267267234.334.334.334.35.1%5.1%5.1%5.1%3 3月月72072072072035.735.735.735.74.95%4.95%4.95%4.95%4 4月月74474474474437.537.537.537.55%5%5%5%5 5月月744744744744424242425.6%5.6%5.6%5.6%6 6月月720720720720404040405.56%5.56%5.56%5.56%合计：合计：43444344434443442302302302305.23%5.23%5.23%5.23%本小组于本小组于20092009年年7 7月对月对20092009年年1 1、2 2、3 3、4 4、5 5、6 6月月ADCADC平台的故障平台的故障时长率进行了统计，如下表：时长率进行了统计，如下表：该统计表显示：此六个月的平均月故障率达到该统计表显示：此六个月的平均月故障率达到5.23%5.23%5.23%5.23%。贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料三、现状调查三、现状调查 小组又对故障时长的具体情况进行了分类统计，得出各种故障类型所占小组又对故障时长的具体情况进行了分类统计，得出各种故障类型所占总故障时长的比例，如下表：总故障时长的比例，如下表：20092009年年1 1、2 2、3 3、4 4、5 5、6 6月月ADCADC故障类型汇总表故障类型汇总表序号序号序号序号故障类型故障类型故障类型故障类型故障总时长故障总时长故障总时长故障总时长故障时长占比故障时长占比故障时长占比故障时长占比累计占比累计占比累计占比累计占比A A业务无法使用业务无法使用业务无法使用业务无法使用160.3160.3160.3160.3小时小时小时小时69.7%69.7%69.7%69.7%69.7%69.7%69.7%69.7%B B用户无法登陆平用户无法登陆平用户无法登陆平用户无法登陆平台台台台29.929.929.929.9小时小时小时小时13%13%13%13%82.7%82.7%82.7%82.7%C C企业归属地出错企业归属地出错企业归属地出错企业归属地出错22.522.522.522.5小时小时小时小时9.8%9.8%9.8%9.8%92.5%92.5%92.5%92.5%D D计费故障计费故障计费故障计费故障5.15.15.15.1小时小时小时小时2.2%2.2%2.2%2.2%94.7%94.7%94.7%94.7%E E其他故障其他故障其他故障其他故障12.212.212.212.2小时小时小时小时5.3%5.3%5.3%5.3%100%100%100%100%贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料三、现状调查三、现状调查从此图可看出，从此图可看出，“业务无业务无法使用法使用”的故障时长占比的故障时长占比数值最高（数值最高（69.7%69.7%），因此），因此“业务无法使用业务无法使用”是影响是影响故障时长的主要故障类型。故障时长的主要故障类型。根据以上数据我们制作了饼图：根据以上数据我们制作了饼图：69.7%9.8%5.3%13%69.7%9.8%13%2.2%业务无法使用业务无法使用用户无法登陆平台用户无法登陆平台5.3%2.2%计费故障计费故障企业归属地出错企业归属地出错其它故障其它故障贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料四、目标确定四、目标确定 通过对业内情况的了解，通过对业内情况的了解，ADCADC月平均故障时长率一般不高于月平均故障时长率一般不高于3%3%小组成员通过计算发现，小组成员通过计算发现，如果能解决如果能解决“业务无法使用业务无法使用”这个这个主要问题主要问题（占占69.7%69.7%），就可以将故障时长率从，就可以将故障时长率从5.23%5.23%降低到降低到3%3%以下，即：以下，即：5.23%-69.7%*5.23%=1.58%。所以。所以QCQC小组成员认为小组成员认为ADCADC月平均故障月平均故障时长率达到时长率达到3%3%3%3%的平均水平是可能的。的平均水平是可能的。3%5.23%目标值目标值目标值目标值现值现值现值现值贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料五、原因分析五、原因分析 小组成员应用头脑风暴法，得出以下树图：小组成员应用头脑风暴法，得出以下树图：贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料五、原因分析五、原因分析 小组对小组对“业务无法使用业务无法使用”的问题进行了分析，共得出十一条末端原因：的问题进行了分析，共得出十一条末端原因：1 1 1 1、产品业务流程不熟悉产品业务流程不熟悉7 7、BOSSBOSS与平台链路连接不合理与平台链路连接不合理2 2、SISI侧无鉴权侧无鉴权8 8、CPUCPU处理和内存处理能力不足处理和内存处理能力不足3 3、不能及时发现、不能及时发现SISI侧产品故障侧产品故障9 9、F5F5配置不合理配置不合理4 4、用户账户密码忘记、用户账户密码忘记1010、并发进程冲突、并发进程冲突5 5、用户帐号被锁、用户帐号被锁1111、外网攻击、外网攻击6 6、SISI与与ADCADC跨网连接跨网连接贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料这对上述十一条末端原因，我们用要因确认表进行逐条的分析：这对上述十一条末端原因，我们用要因确认表进行逐条的分析：这对上述十一条末端原因，我们用要因确认表进行逐条的分析：这对上述十一条末端原因，我们用要因确认表进行逐条的分析：六、要因确认六、要因确认 序号序号末端原因末端原因确认方法确认方法确认标准确认标准确认结果确认结果是否是否要因要因1 1产品业务产品业务流程不熟流程不熟现场确认现场确认对操作人员进行随机对操作人员进行随机抽查，要求合格率达抽查，要求合格率达到到90%90%以上以上抽查人员中有将抽查人员中有将近近56%56%的人员对产的人员对产品业务流程不太品业务流程不太熟悉熟悉 是是2 2SISI侧无鉴权侧无鉴权统计此类故障占统计此类故障占订购失败的占比订购失败的占比例例是否占订购失败比例是否占订购失败比例的的5%5%否否否否3 3用户帐号用户帐号密码忘记密码忘记查看系统日志查看系统日志重置密码的比例不高重置密码的比例不高于登录次数的于登录次数的5%5%1.00%1.00%否否4 4用户帐号用户帐号被锁被锁现场确认现场确认重置密码的比例不高重置密码的比例不高于总用户数的于总用户数的0.1%0.1%ADCADC没有开启账户没有开启账户锁定功能锁定功能否否5 5不能及时发现不能及时发现SISI侧产品故障侧产品故障比较因投诉发现比较因投诉发现的的SISI侧产品故障侧产品故障次数和主动发现次数和主动发现的次数的比例的次数的比例是否比例大于是否比例大于1 1比值为比值为321321是是贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认 序号序号末端原因末端原因确认方法确认方法确认标准确认标准确认结果确认结果是否是否要因要因6 6SISI使用其它运使用其它运营商的网络营商的网络比较其它运营商比较其它运营商网络接入与移动网络接入与移动专网接入的单位专网接入的单位处理能力处理能力比较运营商之间的专比较运营商之间的专网处理能力相差网处理能力相差1 1倍以倍以上上是是是是7 7BOSSBOSS与平台链与平台链路不合理路不合理分析现网结构分析现网结构有无多余路由节点有无多余路由节点有有是是8 8CPUCPU和内存处和内存处理能力不足理能力不足现场确认现场确认设备的设备的CPUCPU，内存的占，内存的占用率是否低于用率是否低于70%70%的要的要求求设备的设备的CPUCPU、内存、内存占用率都比较低，占用率都比较低，CPUCPU在在30%30%左右，左右，内存在内存在40%40%左右左右。否否9 9F5F5配置不合理配置不合理检查配置检查配置确认连接数是否平均确认连接数是否平均分配给各台服务器。分配给各台服务器。采用采用“空闲接入空闲接入”的配置进行分的配置进行分配，各台服务器配，各台服务器连接数几乎相同。连接数几乎相同。否否1010并发进程过多并发进程过多现场确认现场确认是否存在垃圾进程是否存在垃圾进程无垃圾进程无垃圾进程否否1111外网攻击外网攻击现场确认现场确认是否有外网攻击的痕是否有外网攻击的痕迹迹经过检查主机及经过检查主机及网络设备发现，网络设备发现，并无被攻击的情并无被攻击的情况况否否贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉 目前，我省目前，我省ADCADC平台的产品共计平台的产品共计1313个，各个产品的业务开通的流程不尽相个，各个产品的业务开通的流程不尽相同，而且业务开通的整个过程涉及同，而且业务开通的整个过程涉及BOSSBOSS、ADCADC和和SISI三方，需要客户经理具备比三方，需要客户经理具备比较丰富的业务知识和操作经验。较丰富的业务知识和操作经验。QCQC小组专门查阅了小组专门查阅了“用户订购失败用户订购失败”故障解决的记录，经过对此类故障故障解决的记录，经过对此类故障原因的分析发现：从原因的分析发现：从20092009年年1 1月月1 1日至日至6 6月月3030日，因日，因客户经理不熟悉业务造成用客户经理不熟悉业务造成用户订购失败户订购失败的情况共计发生的情况共计发生8585次，占造成此类故障原因的次，占造成此类故障原因的82.52%82.52%，具体数据，具体数据见下表：见下表：1 1月月2 2月月3 3月月4 4月月5 5月月6 6月月合计合计占比占比因客户经理不熟因客户经理不熟悉业务造成用户悉业务造成用户订购失败的情况订购失败的情况18186 6171721218 81515858582.52%82.52%82.52%82.52%其它故障其它故障4 40 03 36 61 13 3171717.48%17.48%总计：总计：1031032009年年1月至月至6月月“用户订购产品失败用户订购产品失败”故障原因统计表故障原因统计表贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉确认一：客户经理对产品和业务流程不熟悉 在发现上述问题后，我们又采用问卷和现场访在发现上述问题后，我们又采用问卷和现场访在发现上述问题后，我们又采用问卷和现场访在发现上述问题后，我们又采用问卷和现场访谈的形式对谈的形式对谈的形式对谈的形式对50505050个客户经理的相关业务知识和电脑操个客户经理的相关业务知识和电脑操个客户经理的相关业务知识和电脑操个客户经理的相关业务知识和电脑操作能力进行了抽样调查，以便再次确认该项要因。作能力进行了抽样调查，以便再次确认该项要因。作能力进行了抽样调查，以便再次确认该项要因。作能力进行了抽样调查，以便再次确认该项要因。调查显示：抽查人员中有调查显示：抽查人员中有调查显示：抽查人员中有调查显示：抽查人员中有56%56%56%56%的人对产品和业务流的人对产品和业务流的人对产品和业务流的人对产品和业务流程不熟悉；而仅有程不熟悉；而仅有程不熟悉；而仅有程不熟悉；而仅有7%7%7%7%的人电脑操作能力较差。具体的人电脑操作能力较差。具体的人电脑操作能力较差。具体的人电脑操作能力较差。具体数据如下：数据如下：数据如下：数据如下：好好一般一般不熟悉不熟悉产品和业务知识产品和业务知识15%15%29%29%56%56%56%56%电脑操作能力电脑操作能力25%25%68%68%7%7%20092009年年7 7月业务能力情况调查表月业务能力情况调查表结论：客户经理对产品和业务流程不熟悉是要因。结论：客户经理对产品和业务流程不熟悉是要因。是是是是要要要要因因因因QCQCQCQC小组小组小组小组贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认二：确认二：确认二：确认二：SISISISI侧未鉴权侧未鉴权侧未鉴权侧未鉴权 QCQC小组通过对小组通过对ADCADC平台和平台和SISI平台接口进行调查，发现平台接口进行调查，发现SISI侧未鉴权侧未鉴权的次数为的次数为2 2次，占用户订购失败次数次，占用户订购失败次数103103次的次的1.9%1.9%，因此，因此不是要因不是要因不是要因不是要因。QCQC小组通过对小组通过对ADCADC平台用户帐号管理情况进行调查，并访谈平台用户帐号管理情况进行调查，并访谈ADCADC平台帐平台帐号管理人员，发现要求重置密码的情况每月不超过号管理人员，发现要求重置密码的情况每月不超过2 2次。按照全省用次。按照全省用户比例，不到户比例，不到1%1%。所以用户帐号密码忘记。所以用户帐号密码忘记不是要因不是要因不是要因不是要因。QC QC小组通过对小组通过对ADCADC平台帐号登陆的设置进行查阅，发现现平台帐号登陆的设置进行查阅，发现现ADCADC平台未将三平台未将三 次登陆失败锁定用户的选项打开，不会发生用户帐号被锁的情况，所以次登陆失败锁定用户的选项打开，不会发生用户帐号被锁的情况，所以 用户帐号被锁用户帐号被锁不是要因不是要因不是要因不是要因。确认三：确认三：确认三：确认三：用户帐号密码忘记用户帐号密码忘记用户帐号密码忘记用户帐号密码忘记 确认四：确认四：确认四：确认四：用户帐号被锁用户帐号被锁用户帐号被锁用户帐号被锁 贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认五：不能及时发现确认五：不能及时发现确认五：不能及时发现确认五：不能及时发现SISISISI侧产品故障侧产品故障侧产品故障侧产品故障 1 1 1 1月至月至月至月至6 6 6 6月由客户经理反馈的月由客户经理反馈的月由客户经理反馈的月由客户经理反馈的SISISISI业务平台故障次数业务平台故障次数业务平台故障次数业务平台故障次数31313131次，而平台次，而平台次，而平台次，而平台维护人员仅在维护人员仅在维护人员仅在维护人员仅在3 3 3 3月份发现一次月份发现一次月份发现一次月份发现一次SISISISI业务平台故障。详细情况如下表：业务平台故障。详细情况如下表：业务平台故障。详细情况如下表：业务平台故障。详细情况如下表：通过上表可以看出通过上表可以看出通过上表可以看出通过上表可以看出ADCADCADCADC业务用户投诉平均值为业务用户投诉平均值为业务用户投诉平均值为业务用户投诉平均值为5.175.175.175.17条，远远高于主动条，远远高于主动条，远远高于主动条，远远高于主动发现的次数，因此发现的次数，因此发现的次数，因此发现的次数，因此不能及时发现不能及时发现不能及时发现不能及时发现SISISISI侧产品故障是要因。侧产品故障是要因。侧产品故障是要因。侧产品故障是要因。1 1月月2 2月月3 3月月4 4月月5 5月月6 6月月平均值平均值ADCADC业务业务用户投诉用户投诉6 7 3 5 4 6 5.17 维护人员主维护人员主动发现动发现0010000.16是是是是要要要要因因因因QCQCQCQC小组小组小组小组贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认六：确认六：确认六：确认六：SISISISI使用其它运营商的网络使用其它运营商的网络使用其它运营商的网络使用其它运营商的网络 通过对通过对通过对通过对ADCADCADCADC平台与平台与平台与平台与SISISISI网络详细、彻底的调查，发现各家网络详细、彻底的调查，发现各家网络详细、彻底的调查，发现各家网络详细、彻底的调查，发现各家SISISISI厂厂厂厂商采用不同运营商的网络通过商采用不同运营商的网络通过商采用不同运营商的网络通过商采用不同运营商的网络通过INTERNETINTERNETINTERNETINTERNET与与与与ADCADCADCADC平台进行连接，具平台进行连接，具平台进行连接，具平台进行连接，具体拓扑图如下：体拓扑图如下：体拓扑图如下：体拓扑图如下：贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认确认六：确认六：确认六：确认六：SISISISI使用其它运营商的网络使用其它运营商的网络使用其它运营商的网络使用其它运营商的网络 从以上网络拓扑图可以看出部分从以上网络拓扑图可以看出部分从以上网络拓扑图可以看出部分从以上网络拓扑图可以看出部分SISISISI系统通过其它运营商的互联网络与系统通过其它运营商的互联网络与系统通过其它运营商的互联网络与系统通过其它运营商的互联网络与ADC ADC ADC ADC 平台进行数据接口交换。由于其它运营商互联网络与中国移动互联网存在网络瓶颈问题，网平台进行数据接口交换。由于其它运营商互联网络与中国移动互联网存在网络瓶颈问题，网平台进行数据接口交换。由于其它运营商互联网络与中国移动互联网存在网络瓶颈问题，网平台进行数据接口交换。由于其它运营商互联网络与中国移动互联网存在网络瓶颈问题，网络传输得不到保障，对用户的业务使用会造成一定的影响。为了测试络传输得不到保障，对用户的业务使用会造成一定的影响。为了测试络传输得不到保障，对用户的业务使用会造成一定的影响。为了测试络传输得不到保障，对用户的业务使用会造成一定的影响。为了测试SISISISI与与与与ADCADCADCADC平台跨网连接平台跨网连接平台跨网连接平台跨网连接是否存在影响，我们采用两家接入在不同运营商网络的相似是否存在影响，我们采用两家接入在不同运营商网络的相似是否存在影响，我们采用两家接入在不同运营商网络的相似是否存在影响，我们采用两家接入在不同运营商网络的相似SISISISI业务进行摸拟对比实验。业务进行摸拟对比实验。业务进行摸拟对比实验。业务进行摸拟对比实验。实验方法如下：实验方法如下：实验方法如下：实验方法如下：编写测试脚本，模拟用户连续订购编写测试脚本，模拟用户连续订购编写测试脚本，模拟用户连续订购编写测试脚本，模拟用户连续订购移动移动移动移动CRMCRMCRMCRM业务和业务和业务和业务和 移动移动移动移动OAOAOAOA订购操作，在每一台订购操作，在每一台订购操作，在每一台订购操作，在每一台ADCADCADCADC服务器上各选取服务器上各选取服务器上各选取服务器上各选取5 5 5 5个区间，在每个区间内执行一次测试脚本，获得个区间，在每个区间内执行一次测试脚本，获得个区间，在每个区间内执行一次测试脚本，获得个区间，在每个区间内执行一次测试脚本，获得ADCADCADCADC与与与与移动移动移动移动CRMCRMCRMCRM、移动移动移动移动OAOAOAOASISISISI服务器的交换接口的平均时间。经过实验，统计出如下数据：服务器的交换接口的平均时间。经过实验，统计出如下数据：服务器的交换接口的平均时间。经过实验，统计出如下数据：服务器的交换接口的平均时间。经过实验，统计出如下数据：业务名称业务名称业务名称业务名称接入网络接入网络接入网络接入网络10101010次次次次30303030次次次次50505050次次次次100100100100次次次次200200200200次次次次移动移动CRMCRM接入其它接入其它运营商运营商100s100s315s315s425s425s1325s1325s3540s3540s移动移动OAOA接入移动接入移动网络网络20s20s52s52s86s86s165s165s435s435s经过上面的测试可以得出经过上面的测试可以得出经过上面的测试可以得出经过上面的测试可以得出移动移动移动移动CRMCRMCRMCRM比比比比移动移动移动移动OAOAOAOA接口交换网速快了接口交换网速快了接口交换网速快了接口交换网速快了5 5 5 5倍左右。网络访问倍左右。网络访问倍左右。网络访问倍左右。网络访问的延时会影响用户定购产品的成功率，增加故障率。的延时会影响用户定购产品的成功率，增加故障率。的延时会影响用户定购产品的成功率，增加故障率。的延时会影响用户定购产品的成功率，增加故障率。因此因此因此因此SISISISI使用其它运营商的网络是要因。使用其它运营商的网络是要因。使用其它运营商的网络是要因。使用其它运营商的网络是要因。是是是是要要要要因因因因QCQCQCQC小组小组小组小组贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料 六、要因确认六、要因确认确认七：确认七：确认七：确认七：BOSSBOSSBOSSBOSS与平台链路不合理与平台链路不合理与平台链路不合理与平台链路不合理 通过右方网络拓扑通过右方网络拓扑图可以看出，图可以看出，BOSSBOSS计费计费库和库和BOSSAGENTBOSSAGENT服务器本服务器本来在同一地理位置金阳，来在同一地理位置金阳，但网络传输确经过了黑但网络传输确经过了黑马和新华苑的交换机等马和新华苑的交换机等中间网络传输设备再绕中间网络传输设备再绕回到金阳回到金阳ADCADC机房，网络机房，网络链路环节过多，故障原链路环节过多，故障原因查找耗时比较长，影因查找耗时比较长，影响业务故障的及时发现响业务故障的及时发现和排处。和排处。故故BOSSBOSS与平台链路与平台链路不合理也是要因。不合理也是要因。通过对通过对ADCADC平台的平台的BOSSAGENTBOSSAGENT与与BOSSBOSS计费库的网络进行详细、彻底的调查，计费库的网络进行详细、彻底的调查，发现发现BOSS AGENTBOSS AGENT与与BOSSBOSS计费库的网络链路较长，故障点太多，发生故障计费库的网络链路较长，故障点太多，发生故障时不能及时排查修复，维护比较困难。具体拓扑图如下：时不能及时排查修复，维护比较困难。具体拓扑图如下：是是是是要要要要因因因因QCQCQCQC小组小组小组小组贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料21QCQC小组经过现场登陆监控软件取得小组经过现场登陆监控软件取得20092009年上半年任意三个月的年上半年任意三个月的CPUCPU和内存数和内存数据，以中国移动集团公司设备运行标准，据，以中国移动集团公司设备运行标准，70%70%以上作为告警线。发现以上作为告警线。发现CPUCPU和内和内存的平均使用率都在存的平均使用率都在45%45%以下。未达到告警线，所以以下。未达到告警线，所以不是要因不是要因不是要因不是要因。六、要因确认六、要因确认确认八：确认八：确认八：确认八：CPUCPU和内存处理能力不足和内存处理能力不足情况情况情况情况贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认 F5 F5是负载均衡四层交换机，是负载均衡四层交换机，QCQC小组经过现场登入负载均衡设备查看设备配置，小组经过现场登入负载均衡设备查看设备配置，检查检查F5F5日志是否分配到各台日志是否分配到各台PortalPortal服务器的连接数不均衡。登入后发现服务器的连接数不均衡。登入后发现F5F5的的配置是按照配置是按照“空闲接入空闲接入”的设置，进入的所有连接都分配给空闲的服务器。的设置，进入的所有连接都分配给空闲的服务器。各台各台PortalPortal服务器的接入量基本相同，所以服务器的接入量基本相同，所以F5F5配置不合理，配置不合理，不是要因不是要因不是要因不是要因。QC QC QC QC小组对各台服务器和网络设备及架构进行检查。在网络设备上检查发现，连小组对各台服务器和网络设备及架构进行检查。在网络设备上检查发现，连小组对各台服务器和网络设备及架构进行检查。在网络设备上检查发现，连小组对各台服务器和网络设备及架构进行检查。在网络设备上检查发现，连接至外网的接至外网的接至外网的接至外网的PortalPortalPortalPortal服务器是单独划立的服务器是单独划立的服务器是单独划立的服务器是单独划立的VlanVlanVlanVlan，且在，且在，且在，且在LiunxLiunxLiunxLiunx操作系统的操作系统的操作系统的操作系统的PortalPortalPortalPortal服服服服务器前端有华为的务器前端有华为的务器前端有华为的务器前端有华为的Eudemon500Eudemon500Eudemon500Eudemon500防火墙和防火墙和防火墙和防火墙和AURORA 200AURORA 200AURORA 200AURORA 200、NIP200NIP200NIP200NIP200等入侵检测设备。等入侵检测设备。等入侵检测设备。等入侵检测设备。未发现有外网攻击服务器的情况。其余设备均在内网也不可能遭到外网攻击，未发现有外网攻击服务器的情况。其余设备均在内网也不可能遭到外网攻击，未发现有外网攻击服务器的情况。其余设备均在内网也不可能遭到外网攻击，未发现有外网攻击服务器的情况。其余设备均在内网也不可能遭到外网攻击，所以外网攻击所以外网攻击所以外网攻击所以外网攻击不是要因不是要因不是要因不是要因。QCQCQCQC小组对各台服务器的进程进行对比整理，现场观察。发现除业务必须进程外，小组对各台服务器的进程进行对比整理，现场观察。发现除业务必须进程外，小组对各台服务器的进程进行对比整理，现场观察。发现除业务必须进程外，小组对各台服务器的进程进行对比整理，现场观察。发现除业务必须进程外，并无其它垃圾进程。所以并发进程冲突并无其它垃圾进程。所以并发进程冲突并无其它垃圾进程。所以并发进程冲突并无其它垃圾进程。所以并发进程冲突不是要因不是要因不是要因不是要因。确认九：确认九：确认九：确认九：F5F5F5F5配置不合理配置不合理配置不合理配置不合理 确认十：确认十：确认十：确认十：并发进程过多并发进程过多并发进程过多并发进程过多 确认十一：确认十一：确认十一：确认十一：外网攻击外网攻击外网攻击外网攻击 贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料六、要因确认六、要因确认 小组通过对十一条末端因素的逐条确认，因此找到了小组通过对十一条末端因素的逐条确认，因此找到了四项主要原因四项主要原因：1 1 1 1、产品业务流程不熟悉产品业务流程不熟悉4 4、BOSSBOSS与平台链路连接不合理与平台链路连接不合理2 2、不能及时发现、不能及时发现SISI侧产品故障侧产品故障3 3、SISI与与ADCADC跨网连接跨网连接贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料七、制定对策七、制定对策针对要因，针对要因，QCQC小组经过充分思考和讨论，制定了相应的对策实施表：小组经过充分思考和讨论，制定了相应的对策实施表：主要原因主要原因主要原因主要原因对策对策对策对策目标目标目标目标措施措施措施措施责任人责任人责任人责任人地点地点地点地点日期日期日期日期产品业务产品业务产品业务产品业务流程不熟流程不熟流程不熟流程不熟产品业务流程产品业务流程培训培训 合格率达到合格率达到合格率达到合格率达到95%95%95%95%以上以上以上以上培训及培训及管理办管理办法法齐肇建齐肇建曾果曾果集团新集团新业务部业务部09.7.109.7.1-7.14-7.14不能及时发现不能及时发现不能及时发现不能及时发现SISISISI侧产品故障侧产品故障侧产品故障侧产品故障部署部署AMSAMS子系统子系统有效提升主动发有效提升主动发有效提升主动发有效提升主动发现故障的次数现故障的次数现故障的次数现故障的次数优化优化AMSAMS配置配置赵喆赵喆周杰周杰ADCADC机房机房09.09.7.11-7.11-7.217.21SISISISI使用其它使用其它使用其它使用其它运营商的网络运营商的网络运营商的网络运营商的网络SISI与与ADCADC采用采用移动专网连接移动专网连接提高网络提高网络提高网络提高网络的的的的传输传输传输传输和稳定和稳定和稳定和稳定实现专实现专网连接网连接沈巍沈巍钟方学钟方学ADCADC机房机房09.7.409.7.4-8.17-8.17BOSSBOSSBOSSBOSS与平台与平台与平台与平台链路不合理链路不合理链路不合理链路不合理整改整改bossboss与平与平台链路台链路消除多余的路由消除多余的路由消除多余的路由消除多余的路由链路整链路整改改范丹范丹 李荣琼李荣琼ADCADC机房机房09.7.909.7.9-7.28-7.28贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料八、对策实施八、对策实施 对策实施一：开展内部培训，印发业务手册对策实施一：开展内部培训，印发业务手册1.1.QCQC小组邀请了小组邀请了ADCADC的专业技术人员对客户经理进行分批培训。并强化实际操作的练习，的专业技术人员对客户经理进行分批培训。并强化实际操作的练习，熟悉各产品的开通办理流程。熟悉各产品的开通办理流程。2.2.QCQC小组成员编写小组成员编写ADCADC平台的业务手册，印发到客户经理的手中。平台的业务手册，印发到客户经理的手中。8 8月月9 9月月1010月月1111月月1212月月合计合计占比占比因客户经理不熟悉因客户经理不熟悉业务造成用户订购业务造成用户订购失败的情况失败的情况31202834.78%34.78%其它故障其它故障231361565.22%2009年年6月至月至8月月“用户订购产品失败用户订购产品失败”故障原因统计表故障原因统计表好好一般一般不熟悉不熟悉产品和业务知识产品和业务知识15%15%29%29%56%56%56%56%电脑操作能力电脑操作能力25%25%68%68%7%7%20092009年年7 7月业务能力情况调查表月业务能力情况调查表效果1 1 1 1、因客户经理不熟悉业务造成用户订购失败的情况由对策实施前的、因客户经理不熟悉业务造成用户订购失败的情况由对策实施前的、因客户经理不熟悉业务造成用户订购失败的情况由对策实施前的、因客户经理不熟悉业务造成用户订购失败的情况由对策实施前的82.52%82.52%82.52%82.52%的占比下降到的占比下降到的占比下降到的占比下降到34.78%34.78%34.78%34.78%2 2 2 2、经过第二次对客户经理的的抽样调查显示，对产品和业务流程不熟悉的人员由对策实施前的、经过第二次对客户经理的的抽样调查显示，对产品和业务流程不熟悉的人员由对策实施前的、经过第二次对客户经理的的抽样调查显示，对产品和业务流程不熟悉的人员由对策实施前的、经过第二次对客户经理的的抽样调查显示，对产品和业务流程不熟悉的人员由对策实施前的 56%56%56%56%下降到下降到下降到下降到1%1%1%1%贵州移动贵州移动 集团新业务部集团新业务部 QCQC小组活动汇报材料小组活动汇报材料八、对策实施八、对策实施 对策实施二：引入应用监控系统（对策实施二