软件系统部署应急专项预案初稿.doc

系统
应急预案

目 录
1. 目标 3
2. 适用范围 3
3. 包含服务器列表 3
4. 危险原因分析 4
5. 危险事件等级定义分类 4
6. 应急响应步骤 4
6.1. 事件报警和确定 4
6.2. 对系统进行检验 4
6.3. 安全审计及事故分析 5
6.4. 消除隐患、恢复正常运行 5
6.5. 重新开启系统 5
6.6. 安全汇报、归档 5
7. 应急处理方法 5
7.1. 通常故障 5
7.2. 重大故障 5
7.3. 特大故障 5
7.3.1. 系统无法登录 6
7.3.2. 系统应用连接数据库超时 6
7.3.3. 满意度调查系统应用服务开启正常，却无法访问系统 6
7.3.4. 数据库犯错造成系统无法使用 7
7.3.5. DB2数据库程序异常 7
7.3.6. 操作系统故障 7
7.3.7. 系统搜集调查问卷失败 8
8. 系统环境要求 8
8.1. 硬件环境 8
8.2. 网络环境 9

1. 目标
为妥善应对和处理甘肃省零售用户满意度网上调查系统信息安全突发事件、确保满意度调查系统运行安全和数据安全，结合满意度调查项目实际情况，特制订本应急预案。 本预案关键立足防范和消除以下危害情况出现：
1、 满意度系统运行过程中数据库异常，造成数据丢失，系统不能正常运行；
2、 满意度系统运行过程中，应用服务程序异常，造成系统异常系统不能正常运行；
3、 满意度系统运行过程中，服务器间网络连接异常，造成系统异常系统不能正常运行。

2. 适用范围
本预案适适用于甘肃省烟草企业零售用户满意度网上调查系统正在发生或可能发生系统安全和数据安全突发事件。

3. 包含服务器列表
设备名称
系统名称
IP地址
操作系统
甘肃省烟草企业内网系统业务平台应用服务器
甘肃省零售用户满意度网上调查系统
10.52.4.157、10.52.4.158
Aix6.1
甘肃省烟草企业内网系统业务平台数据库服务器
甘肃省零售用户满意度网上调查系统
10.52.4.161、10.52.4.162
Aix6.1

4. 危险原因分析
用户满意度网上调查系统是作为应用组件布署在信息中心数据和业务两个平台，而并非单独孤立应用系统，且该系统直接布署在生产环境中，所以引发零售用户用户满意度网上调查系统潜在危险原因关键包含：布署环境硬件设备故障、布署软件系统故障、网络故障及满意度系统本身程序错误。
5. 危险事件等级定义分类
1、通常故障：指系统出现轻微错误或瑕疵，具体包含：部分图片无法显示、部分信息内容出现显著错误、部分服务和功效无法正常使用等。
2、重大故障：指出现系统出现异常但不影响系统日常使用，具体包含：局部页面错误、部分功效无法使用，部分信息内容出现显著错误等。
3、特大故障：指系统瓦解，应用服务停止，造成大规模用户无法使用系统，出现数据丢失，具体包含：系统服务无法开启、数据库无法连接、系统程序异常和数据库文件损坏等。

6. 应急响应步骤
6.1. 事件报警和确定
工作人员对数据库服务器、应用系统运行情况和网络情况进行监测，立即发觉系统异常和网络故障，一旦发觉异常情况需立即通知项目维护相关人员进行原因排查和故障处理；
6.2. 对系统进行检验
1、 检验网络连接：需要相关网络管理人员配合检验；
2、 检验应用服务器性能指标，检验内容包含：Web Sphere进程是否正常、CPU使用率、内存使用率；
3、 检验后台数据库服务器性能指标，检验内容包含：数据库服务器双机状态、数据库进程是否正常、数据库服务是否开启、CPU使用率、内存使用率。
6.3. 安全审计及事故分析
经过系统日志、网络设备日志、数据库访问日志等，对事件进行审计，对损失进行评定，追查事件发生原因；
6.4. 消除隐患、恢复正常运行
依据审计结果，排除系统隐患，恢复系统正常运行；
6.5. 重新开启系统
开启数据库服务器->开启应用服务器；
6.6. 安全汇报、归档
提供故障分析汇报，分析故障原因，修正预案处理步骤并归档。
7. 应急处理方法
71. 通常故障
工作人员第一时间快速正确判定事件原因，提交甘肃省烟草企业零售用户满意度网上调查系统项目组进行处理。
7.2. 重大故障
按要求立即向信息中心汇报。汇报内容关键包含故障范围、影响范围、事件性质、事件发展趋势和采取方法等。信息中心召集相关责任部门共同协商处理。必需时能够停止系统运行。
7.3. 特大故障
按要求立即向甘肃省烟草企业信息中心办公室汇报，并要实施汇报势态进程。甘肃省烟草企业信息中心办公室依据系统故障发展态势，现场指导，组织派遣应急支援力量。具体方法以下：
7.3.1. 系统无法登录
系统无法正常登录通常因为应用服务器和数据库服务器之间网络连接异常或数据库服务未开启造成，现场处理方法以下：
Ø 检验应用服务器和数据库服务器之间网络连接是否正常，若应用服务器和数据库服务器之间网络连接异常，恢复应用服务器和数据库服务器网络处理，重新开启系统；
Ø 应用程序后台服务是否运行正常；
Ø 检验数据库服务器数据库服务是否运行正常，如数据库服务器服务未开启则开启数据库服务器数据库服务，重新开启系统；
Ø 若以上方案均无法处理系统无法登录问题，抓取并保留系统犯错信息及日志文件，简单判定异常部位，通知系统维护相关人员，保留现场，分析查找原因。

7.3.2. 系统应用连接数据库超时
数据库连接超时，一个情况是应用服务器和数据库服务器网络连接异常；另一个情况是系统数据源犯错，现场处理方法如：
Ø 应用服务器和数据库服务器网络连接异常，排除网络连接异常故障，重启数据库服务器和应用服务器。
Ø 系统数据源犯错，重新配置系统数据源。（详情参考《甘肃省烟草企业零售用户满意度网上调查系统布署方案》5.3配置文件说明配置数据源）。
Ø 以上方案无法处理系统故障时，应停止系统后台服务，预防不知情用户继续投递数据。抓取并保留系统犯错信息及日志文件，简单判定异常部位，通知系统维护相关人员，保留现场，分析查找原因。

7.3.3. 满意度调查系统应用服务开启正常，却无法访问系统
假如满意度调查系统应用服务开启正常，无法访问系统。现场处理方法以下
Ø 系统应用程序包出现故障，需重新布署满意度调查系统应用程序包；
Ø 系统数据源犯错，需重新配置数据源。（详情参考《甘肃省烟草企业零售用户满意度网上调查系统布署方案》5.3配置文件说明配置数据源）。

7.3.4. 数据库犯错造成系统无法使用
数据库出现故障系统数据文件损坏，以系统管理员用户登录在应用服务器10.52.4.161上DB2用户端，创建新表空间，导入最近一个时间点系统数据库备份文件到新建表空间里，重新添加布署系统数据源，进行恢复操作。操作过程中，应停止系统后台服务，预防不知情用户继续投递数据。

7.3.5. DB2数据库程序异常
BD2 数据库出现故障无法继续使用，需重新安装DB2 数据库程序，安装完成后，创建新数据库和表空间，导入系统数据文件到新建表空间里，重新添加布署应用系统数据库，进行恢复操作。操作完后重新开启应用服务及数据服务。

7.3.6. 操作系统故障
应用服务器或数据库服务器系统故障，造成系统无法正常运行，需重新安装操作系统。
Ø 应用服务器操作系统故障，重新安装操作系统，重新布署满意度系统。具体操作参考《甘肃省烟草企业零售用户满意度网上调查系统布署方案》，布署完成开启数据库服务和应用服务。
Ø 数据库服务器操作系统故障，重新安装操作系统，以系统管理员用户登录在应用服务器10.52.4.161上DB2用户端，创建新表空间，导入最近一个时间点系统数据库备份文件到新建表空间里，重新添加布署系统数据源，进行恢复操作。
7.3.7. 系统搜集调查问卷失败
系统搜集调查问卷失败通常因为网络连接故障、数据库异常或系统程序造成，现场处理方法以下：
Ø 检验应用服务器和数据库服务器之间网络连接是否正常，若应用服务器和数据库服务器之间网络连接异常，恢复应用服务器和数据库服务器网络处理，重新开启系统；
Ø 检验应用服务器和新商盟平台网络连接是否正常，若应用服务器和新商盟平息之间网络连接异常，排除网络故障，重新开启系统；
Ø 应用程序后台服务是否运行正常；
Ø 检验数据库服务是否运行正常，如数据库服务未开启则开启数据库服务，重新开启系统；
Ø 若以上方案均无法处理系统系统故障，应停止系统后台服务，预防不知情用户继续投递数据。抓取并保留系统犯错信息及日志文件，简单判定异常部位，通知系统维护相关人员，保留现场，分析查找原因。