行业卷烟生产经营决策管理系统运维工作详述.doc

附件:
行业卷烟生产经营决策管理系统运维工作详述
第96期
一、工业企业维护情况
使用决策管理系统的工业企业包括：16家中烟工业公司，中烟实业发展中心，上海烟草集团有限责任公司，总厂31家，分厂80家。
本期共受理工业企业突发事件171个。具体见下表：
表一、工业企业运行情况表
事件分类
事件数（个）
占事件总量（%）
已解决（个）
打 码
7
4。1
7
扫 码
5
2。9
5
数据采集
45
26。3
45
管 理 机
103
60。2
101
接 口
0
0。0
0
数据统计
2
1。2
2
基础代码
5
2。9
5
国家局端
4
2.3
4
其 他
0
0.0
0
总 计
171
100。0
169
引发事件的主要原因统计分析如下图所示：
图.事件按故障根源统计所占比例分布图(工业)
注：目前尚有2个事件未确定故障根源。
本期主动监控发现各类事件111个,占所有突发事件的64。9%。监控类事件详细分类如下表所示：
类型
事件总计（个）
故障原因
数量（个）
管理机端
78
文件系统剩余空间不足
47
表空间剩余不足
3
硬件故障
9
MQ传输通道异常
6
应用异常
2
服务器时间异常
10
停机（断电或人为关机）
0
其他
1
数采上报
33
系统环境
20
人为原因
7
接口因素
2
其他
4
本期工业方面的重要事件：
1。6月8日，四川烟草工业有限责任公司反映其服务器的db2_log文件系统使用率已达100%。运维人员经详细排查,发现客户的数据库日志文件增长过快，高峰时1分钟增长可达4%;进一步分析发现其日志增长过快非系统异常，而是企业的业务量较大引起，但受系统物理设备（db2_log仅15G，且系统无可使用剩余空间)的影响，db2_log不可扩充。运维人员保持实时监控，及时清理db2_log文件系统，确保客户系统的正常使用；已建议企业对硬件设备进行必要的扩充.
2。6月16日,绵阳卷烟厂反映决策管理系统页面登陆异常.运维人员经详细排查,发现WAS软件日志提示数据库连接已达到最大值，且无法释放,故客户的操作无响应,运维人员为客户重启了WAS服务，释放历史连接，目前系统已恢复正常。
3.6月23日，旬阳卷烟厂反映服务器断电后重启存在异常.运维人员为客户重启HA服务，发现DB2服务启动后无法连接数据库，经详细排查,发现断电造成一块光纤卡发生故障，服务器与存储之间的链路不通导致无法访问数据库；运维人员将其链路调整到另一块光纤卡后，HA服务启动成功，系统恢复正常,随后为企业更换了故障的光纤卡，目前系统运行稳定。
4。 6月30日,广西中烟反映为南宁卷烟厂下发7月份计划与码段失败。运维人员经详细排查，发现中烟为烟厂下发的码段数据包已到达烟厂本地,但由于程序BUG导入系统失败，联系程序实施方共同修复了程序，重新执行导入操作成功,计划和码段成功到达南宁本地。
二、商业企业维护情况
使用决策管理系统的商业企业包括：33家省级局（包括深圳、大连两个计划单列市），346家地市公司。
本期共受理商业企业事件474个。具体见下表：
表二、商业企业运行情况表
事件分类
事件数(个)
占事件总量（％）
已解决（个）
扫 码
10
2.1
10
工商数采
93
19.6
93
管 理 机
189
39.9
188
接 口
161
34。0
161
数据统计
2
0。4
2
基础代码
19
4.0
18
国家局端
0
0.0
0
其 他
0
0.0
0
总 计
474
100。0　
472
引发事件的主要原因统计分析如下：
图。事件按故障根源统计所占比例分布图（商业）
注：目前尚有2个事件未确定故障根源。
本期主动监控发现各类事件212个，占所有突发事件的44.7％.监控类事件详细分类如下表所示:
类型
事件总计（个)
故障原因
数量（个）
管理机端
173
文件系统剩余空间不足
56
表空间剩余不足
19
硬件故障
4
MQ传输通道异常
43

应用异常
0
服务器时间异常
35
停机（断电或人为关机)
16
数采上报
39
系统环境
10
人为原因
27
接口因素
2
本期商业方面出现的重要事件：
1。6月8日，宁夏区局反映接收不到各地市上报的数采数据.运维人员经详细排查，发现区公司服务器的MQ队列中有大量的消息堆积；为其重启WAS服务后，故障得到排除,数据接收成功。
2.6月16日，安徽池州市公司反映无法登录本地决策管理系统。运维人员经详细排查,发现其管理机WAS服务进程异常终止，为其重启WAS服务后,故障得到排除，应用恢复正常。
3。6月20日，安徽阜阳市公司数采数据无法审核上报.运维人员经详细排查,发现企业正在进行系统升级，其实施人员修改了管理机相关配置文件；为其重新修改配置文件并重启相关服务后，故障得到排除，数据审核恢复正常.
4.6月30日，北京市公司决策管理系统页面显示异常.运维人员经详细排查，发现市公司管理机由于本地升级导致个别类文件丢失，为其添加相关配置文件后，故障得到排除，页面显示恢复正常.
三、国家局数据中心维护情况
本期国家局数据中心受理事件5个。(详见表三)
表三、数据中心运行情况表
事件分类
事件数（个）
占事件总量（％）
已解决(个）
代码系统
0
0.0
0
工商数采
0
0。0
0
平台系统
5
100.0
5
生产系统
0
0.0
0
数据展现
0
0
0
其 他
0
0.0
0
总 计
5
100.0
5
引发事件的主要原因统计分析如下：
图。 事件按故障根源统计所占比例分布图（国家局数据中心）
本期国家局方面出现的重要事件：
6月16日,早监控发现国家局数据中心“新价类晚加工”、“新价类早加工”运行失败.运维人员经详细排查发现数据统计应用项目重报了2011年1月1号库存数据,且相关存储过程限定条件存在问题（未限定大于当前时间）导致加工失败。运维人员删除大于当前时间的垃圾数据,重新处理后新价类数据加工正常
第 6 页