收单通系统-系统应急方案及处理流程手册.doc

收单通系统系统应急方案及处理流程手册目 录1引言31.1编写目的31.2故障级别32系统结构和特点52.1收单通系统的特点52。1.1实时性52.1。2并发性52。1。37x24运行52.2系统体系结构62.2。1体系结构和信息架构62.2。2系统HA配置62。3系统应用结构73应用故障应急处理流程83。1联机交易异常83。2管理服务异常83。3二次清算交易异常93。4基础服务异常104硬件故障应用处理流程114。1硬件故障范围115数据库和日志处理125.1数据库异常处理流程126JDK和WEBLOGIC处理137备机启动流程141 引言1.1 编写目的本文根据收单通系统的特点，综合考虑软件和硬件二大方面，阐述了大集中收单通系统的应急方案,供相关开发人员和系统运行维护人员参考。1.2 故障级别故障类型故障说明级别备注硬件故障硬盘物理损坏1网络故障1系统软件故障NAC故障2DB2故障2JDK故障应用支持软件故障WEBLOGIC故障2应用软件故障联机系统故障2二次清算系统2基础服务故障2管理服务故障3说明：1、硬件故障和系统软件故障，由系统运行部门进行硬件和系统软件维护和调试,应用系统进行重新安装和相关的系统恢复工作;2、应用软件和应用支持软件故障，由应用系统进行故障恢复工作。2 系统结构和特点2.1 收单通系统的特点2.1.1 实时性收单通系统是重要的收单业务系统，对系统的实时性或者说是反应时间有较高要求。2.1.2 并发性由于刷卡消费习惯,造成收单业务在部分时间段具有较高的交易峰值。系统需要考虑并发交易对网络和应用系统的资源要求。2.1.3 7x24运行收单通系统必须支持7x24不间断运行.2.2 系统体系结构2.2.1 体系结构和信息架构从体系结构来看,收单通系统主要涉及行内系统,与其直接相关的重要系统包括:SSB系统、网控器、ICS系统等。系统的网络结构比较复杂，对于网络的要求相对比较高；在系统应急方案中，系统互联性的保障至关重要。2.2.2 系统HA配置为了保证系统在突发情况下可以迅速恢复，在生产环境中,相关系统都进行了HA配置。本系统采用冷备机制。在系统故障时,启用冷备机即可。 2.3 系统应用结构根据业务逻辑,本系统可以分为以下四个服务组： 基础服务组 管理服务组 联机交易服务组 二次清算服务组3 应用故障应急处理流程3.1 联机交易异常现象:交易监控中发现联机交易有较多的不成功情况.影响:联机交易异常：l 业务中断,造成交易终止,部分情况下会出现错帐处理流程：l 分行运行人员：1、确定网络无异常；2、确认与本系统相关其他系统是否异常；3、在确认本系统异常情况下，重启联机交易服务组:执行命令Hishutdown g pay；Hiboot g pay 并确认系统正常启动。3.2 管理服务异常现象：分行或支行业务人员登陆收单通管理台不能正常进行业务处理或者无法登入. 影响：业务人员无法正常进行业务处理处理流程：l 分行运行人员:1、检查系统网络，确认网络无故障；2、查看系统日志，确认是否为管理服务问题;3、如果为管理服务问题，则重启管理服务组，执行命令:Hishutdown g mngHiboot g mng 确认重启成功。4、重启成功后，通知业务人员进行业务处理.3.3 二次清算交易异常现象：由本系统发起的二次清算交易部分或完全不成功。影响：商户不能正常入账处理流程:l 分行运行人员：确定交易异常原因，并通过业务人员进行调账。3.4 基础服务异常现象:由于基础服务原因，如数据库，异步消息服务器等，造成大部分交易不成功。在进行系统检查后发现基础服务异常。影响:交易异常处理流程：l 分行运行人员：重新启动基础服务组，执行hishutdown g base， hiboot g base。确认服务组重启成功，并且交易正常。4 硬件故障应用处理流程4.1 硬件故障范围硬件故障包括存储系统、网卡等物理系统故障。在发生物理故障，并短期内无法处理时,应切换到备机。在备机正常进行业务处理后，再来处理原主机系统的硬件故障.5 数据库和日志处理5.1 数据库异常处理流程数据库的处理流程主要包括：1、 检查数据库dbm进程是否正常，service端口是否打开；如异常，用dbm用户重新启动，dbadmin stop / dbadmin start。2、 检查相应数据库的db2agent进程是否正常,如异常,采用db instance用户重新启动，dbstop / dbstart。3、 采用DB2工具检查表空间和日志的磁盘空间,如空间不足，请扩大空间或备份,数据库的备份策略和操作详见系统备份恢复方案.4、 采用快照,检查数据库是否存在DeadLock，如存在查明原因，dbagent重新启动。在数据库出现异常时，造成应用无法访问，并短期没得到解决情况下，应切换到备机系统。6 JDK和WEBLOGIC处理在JDK和WEBLOGIC出现异常时，造成应用无法正常启动，并短期没得到解决情况下，应切换到备机系统.7 备机启动流程备机启动流程主要包括：1、 断开原主机的网络连接;2、 修改备机的网络配置为原主机网络配置；3、 启动数据库(用db2inst1用户执行db2start）4、 启动应用系统（用ubsadm用户在用户根目录下执行。/startUBS。sh）。