行业卷烟生产经营决策管理系统运维工作详述.doc

附件:行业卷烟生产经营决策管理系统运维工作详述第96期 一、工业企业维护情况使用决策管理系统的工业企业包括：16家中烟工业公司，中烟实业发展中心，上海烟草集团有限责任公司，总厂31家，分厂80家。本期共受理工业企业突发事件171个。具体见下表：表一、工业企业运行情况表事件分类事件数（个）占事件总量（%）已解决（个）打 码74。17扫 码52。95数据采集4526。345管 理 机10360。2101接 口00。00数据统计21。22基础代码52。95国家局端42.34其 他00.00总 计171100。0169引发事件的主要原因统计分析如下图所示：图.事件按故障根源统计所占比例分布图(工业)注：目前尚有2个事件未确定故障根源。本期主动监控发现各类事件111个,占所有突发事件的64。9%。监控类事件详细分类如下表所示：类型事件总计（个）故障原因数量（个）管理机端78文件系统剩余空间不足47表空间剩余不足3硬件故障9MQ传输通道异常6应用异常2服务器时间异常10停机（断电或人为关机）0其他1数采上报33系统环境20人为原因7接口因素2其他4本期工业方面的重要事件：1。6月8日，四川烟草工业有限责任公司反映其服务器的db2_log文件系统使用率已达100%。运维人员经详细排查,发现客户的数据库日志文件增长过快，高峰时1分钟增长可达4%;进一步分析发现其日志增长过快非系统异常，而是企业的业务量较大引起，但受系统物理设备（db2_log仅15G，且系统无可使用剩余空间)的影响，db2_log不可扩充。运维人员保持实时监控，及时清理db2_log文件系统，确保客户系统的正常使用；已建议企业对硬件设备进行必要的扩充.2。6月16日,绵阳卷烟厂反映决策管理系统页面登陆异常.运维人员经详细排查,发现WAS软件日志提示数据库连接已达到最大值，且无法释放,故客户的操作无响应,运维人员为客户重启了WAS服务，释放历史连接，目前系统已恢复正常。3.6月23日，旬阳卷烟厂反映服务器断电后重启存在异常.运维人员为客户重启HA服务，发现DB2服务启动后无法连接数据库，经详细排查,发现断电造成一块光纤卡发生故障，服务器与存储之间的链路不通导致无法访问数据库；运维人员将其链路调整到另一块光纤卡后，HA服务启动成功，系统恢复正常,随后为企业更换了故障的光纤卡，目前系统运行稳定。4。 6月30日,广西中烟反映为南宁卷烟厂下发7月份计划与码段失败。运维人员经详细排查，发现中烟为烟厂下发的码段数据包已到达烟厂本地,但由于程序BUG导入系统失败，联系程序实施方共同修复了程序，重新执行导入操作成功,计划和码段成功到达南宁本地。二、商业企业维护情况使用决策管理系统的商业企业包括：33家省级局（包括深圳、大连两个计划单列市），346家地市公司。本期共受理商业企业事件474个。具体见下表：表二、商业企业运行情况表事件分类事件数(个)占事件总量（）已解决（个）扫 码102.1 10工商数采9319.6 93管 理 机18939.9 188接 口16134。0 161数据统计20。4 2基础代码194.0 18国家局端00.0 0其 他00.0 0总 计474100。0472引发事件的主要原因统计分析如下：图。事件按故障根源统计所占比例分布图（商业）注：目前尚有2个事件未确定故障根源。本期主动监控发现各类事件212个，占所有突发事件的44.7.监控类事件详细分类如下表所示:类型事件总计（个)故障原因数量（个）管理机端173文件系统剩余空间不足56表空间剩余不足19硬件故障4MQ传输通道异常43应用异常0服务器时间异常35停机（断电或人为关机)16数采上报39系统环境10人为原因27接口因素2本期商业方面出现的重要事件：1。6月8日，宁夏区局反映接收不到各地市上报的数采数据.运维人员经详细排查，发现区公司服务器的MQ队列中有大量的消息堆积；为其重启WAS服务后，故障得到排除,数据接收成功。2.6月16日，安徽池州市公司反映无法登录本地决策管理系统。运维人员经详细排查,发现其管理机WAS服务进程异常终止，为其重启WAS服务后,故障得到排除，应用恢复正常。3。6月20日，安徽阜阳市公司数采数据无法审核上报.运维人员经详细排查,发现企业正在进行系统升级，其实施人员修改了管理机相关配置文件；为其重新修改配置文件并重启相关服务后，故障得到排除，数据审核恢复正常.4.6月30日，北京市公司决策管理系统页面显示异常.运维人员经详细排查，发现市公司管理机由于本地升级导致个别类文件丢失，为其添加相关配置文件后，故障得到排除，页面显示恢复正常.三、国家局数据中心维护情况本期国家局数据中心受理事件5个。(详见表三) 表三、数据中心运行情况表事件分类事件数（个）占事件总量（）已解决(个）代码系统00.00工商数采00。00平台系统5100.05生产系统00.00数据展现000其 他00.00总 计5100.05引发事件的主要原因统计分析如下：图。 事件按故障根源统计所占比例分布图（国家局数据中心）本期国家局方面出现的重要事件：6月16日,早监控发现国家局数据中心“新价类晚加工”、“新价类早加工”运行失败.运维人员经详细排查发现数据统计应用项目重报了2011年1月1号库存数据,且相关存储过程限定条件存在问题（未限定大于当前时间）导致加工失败。运维人员删除大于当前时间的垃圾数据,重新处理后新价类数据加工正常第 6 页