保险公司数据集中项目中间件建议方案.doc

保险公司数据集中中间件建议方案 保险公司数据集中项目中间件建议方案一、 前言财险公司经过多年的发展从保险的种类到业务量都有了很大的发展，目前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种类，业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业务上和管理上的需要，已由原来完全分布式的业务数据模式走向地市一级的分布式集中模式。最近由中科软与尚洋合作开发的“PICC财产险业务系统”采用地市集中的方式，软件开发采用面向对象的分析和设计思想，已经在多个地市进行了试点运行。在网络建设方面已经形成了省到地市、地市到县的FR/DDN网络格局。这些都为下一步的数据集中利用和业务的拓展打下了坚实的基础。数据集中是现在各行各业应用系统发展的一大趋势，金融、电信行业由于其发展的较早，经济和技术实力较强已经走到了前面。金融行业已有许多省份实现了省级的数据集中，移动总局也已经明确提出了省级数据集中的运营模式。在保险行业，由于过去一直采用数据分布的应用模式，如今采用地市级的数据集中应用模式是向更高层次集中的必要尝试和过渡。二、 问题及需求分析本文对地市级以下的业务系统不做深入讨论，仅限于省级数据集中备份系统的相关问题。对于各个地市数据中心的数据在省级中心做增量数据集中，目前有两种方式：采用数据库厂商提供的数据库复制技术、用应用程序来实现。无论选用何种方式，在技术实现上应该满足以下基本业务要求：1. 能够满足不同操作系统平台间（不同数据库版本、甚至异构数据库）的数据复制能力。2. 数据通讯过程中的正确性应该得到保障。3. 对数据传输过程中可能遇到的网络问题、主机问题应该能够有很好的应对机制，能够可靠传输，做到不重、不丢。4. 整个数据集中系统应该具有良好的通讯效率和处理效率，满足数据准实时集中同步的要求。要满足上述业务上的需求，采用常规的数据库复制方式和一般的应用方式是难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理方式过于简单，低层通讯的正确性、资源的有效利用和网络故障的处理应对、主机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱码、网络抖动或拥塞时，数据集中业务过程无法有效进行等问题。目前，针对此类应用（非联机事务处理系统，强调可靠性、非关联性、实时性要求不高）特点，各行各业广泛采用消息中间件来实现。消息中间件是一种基础软件，在系统中的位置处在操作系统之上和应用之下，它可用来隔离应用系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品叫TongLINK/Q。TongLINK/Q负责网络资源的有效利用、消息数据传输、为应用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使用是异步方式调用，此时地市数据发送方只要将数据交给本地的中间件TongLINK/Q，而TongLINK/Q负责将数据高效、可靠地传输到省中心并提交给相应的目标程序进行入库处理。三、 数据集中方案省级数据集中方案是当市级公司数据库数据发生变化时，对其所在省的省级的数据库数据做相应同步的过程。要达到这一目的有两种方式：一是将市级公司数据库的操作与省级数据库的操作作为同一个事务进行处理，即操作同时成功或同时失败；二是将二者的操作分离，正常的业务处理与数据集中处理分别来做。对于前者，由于需要在地市和省级公司做同样的数据库操作，原来的业务处理量相当增加了一倍，并且如果市级公司出现问题（如：网络故障）将直接导致本地正常业务无法进行。所以建议采用第二种处理方式。由于此时对于数据集中备份过程而言，它是一个必须要完成的工作，而在时间上只求尽快、可靠完成，并无严格的时间限制，所以这里建议采用消息中间件产品TongLINK/Q来实现。另外，在应用层面，为了使集成商开发的应用系统相对独立，对数据集中备份过程建议采用一套独立的应用来完成。1. 方案思路：在市级公司数据中心编写一个定时启动程序或守护进程，用来采集数据库的变化数据，一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的可靠队列中。在省级数据中心，编写对应服务程序，它在接收到数据后将在本地执行相应的数据库处理以达到数据同步。TongLINK/Q还可以保障服务处理的可靠，即如果服务程序在执行相应的数据库处理时意外失败，TongLINK/Q将记住这一问题，再次提请相关服务程序进行处理，直到成功。2. 系统结构总部DDN/FR36个省级省级X.25/FRX.25/FR300多个地市地市地市地市3. 中间件部署图应用TongLINK/QDDN/FR应用应用TongLINK/QTongLINK/QX.25/FRX.25/FR应用应用TongLINK/QTongLINK/QTongLINK/Q应用4. 结构框架图说明：系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/Q系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数据做识别和提取，并形成数据包或文件，然后通过TongLINK/Q的API接口作为一项任务消息提交给TongLINK/Q即完成。客户程序的启动运行可以外部触发（如：数据库trigger）执行，也可以交由TongLINK/Q作为定时程序按一定时间间隔进行调度；消息数据的传输以及相关效率、可靠等问题由TongLINK/Q解决；省级对应的服务程序可以由TongLINK/Q在有数据需要处理时进行调度，并将相关数据交给服务程序进行处理。在有多条消息数据到达时，也可以同时调度起多个服务进程同时进行多个消息数据的处理。5. 消息中间件TongLINK/Q的作用l 提供异步处理接口。为了使数据备份复制过程不影响原来应用系统（相对独立、不直接双向依赖），采用异步通讯方式。l 提供可靠传输能力。依靠消息中间件TongLINK/Q的可靠队列传输功能，使地市增量备份数据可以尽快、可靠到达省数据中心主机。在传输期间消息中间件TongLINK/Q可以应对各种故障的发生，如通讯网络故障、主机宕机等情况，可以做到断点续传，使备份数据“一次传递、可靠到达”。l 可以提供备份过程数据库操作的事务性处理。即除了数据的传递是可靠的之外，在省级数据中心数据的数据库备份操作也是可靠的。在对备份数据进行数据库插入或修改操作时，如果操作失败（比如，当时数据库状态不对引起数据库操作失败），消息中间件TongLINK/Q将会保留这一信息和数据，重复执行相应处理过程，直到成功。l 维护和保持通讯通畅。TongLINK/Q对通讯通道具有自动维护功能，当网络出现抖动影响通讯时，TongLINK/Q可以自动监控和重建链路来保障通讯的快速恢复。l 保障通讯效率。TongLINK/Q通过以下手段来保障通讯效率：维护通讯畅通和自恢复；支持断点续传；根据网络带宽情况有不同传输策略来保障网络带宽的充分利用；支持自动压缩功能，减少通讯数据量。l 支持服务端程序的并发调度和控制。上传数据自动提交相应的处理程序进行处理，对多个地市同时上传的数据可以并发调度多个服务程序进行处理，提高处理效率。四、 关于消息与交易中间件的一点说明消息中间件（MOM）和交易处理中间件（TP Monitor）是完全不同的两类中间件。尽管在功能上有部分的重合，但由于定位的不同，功能上具有相当的差距，适用的应用类型也不一样。消息中间件可以用来构筑一个组织的公共的信息交换平台，通过把消息中间件部署到用户的网络环境中，通过适当的配置，就形成了信息的交换与处理的管道与平台。平台上应用开发的接口和提供的通信与控制模式主要是面向传输的，非常丰富。以TongLINK/Q为例子，它支持文件的传输，文件与普通数据包的混合传输；在对传输的控制上，为了适应信息发送方应用的不同的需要，可以有很多种的控制方式。应用可以选择投递消息时控制返回有多快，可靠性要求有多高。应用可以选择把数据交给TongLINK/Q的接口就返回（方式一）、或者等数据交给TongLINK/Q核心后再返回（方式二），或者等TongLINK/Q开始发送信息后再返回（方式三），或者等接收方收到信息后再返回（方式四）。方式二、三、四都可以保证可靠的传输，但不同的方式给应用提供了不同的控制灵活性。如果接收方的机器没有运行，选择方式三就不能马上发送，发送方就会知道。选择方式四，如果线路和对方机器正常，发送方就可以马上知道，接收方已经开始接收信息了，一会对方就会收完。又比如，在广域网上，传输大信息量时，不能简单地用超时时间来控制传输的结束。比如，应用中设定超时时间是2分钟，有可能在某个繁忙的时段就不能将文件传输完，此时控制网络上此次传输多长时间没有传输的意义就很有限了。这很象我们在Internet上下载大文件时的情况。传输的画面不动了，我们很想知道传输是否还在进行。用户应该能够要求，如果此次传输发生有在2分钟的时段内都没有传输的情况，终止传输。以上只是简单地列举了消息中间件所具有的一般的功能。对于交易中间件，由于其定位于最适合于OLTP类的系统象银行的柜面业务系统，电信的计费账务系统等等，其所适合的应用都具有如下的特点：集中的数据处理，所有处理的处理时间一般都很短，如登记您存的钱数，大量的并发但每次网上传输的数据量一般都很小如只有几十字节、几百字节，几千字节都算大的数据包了。无论是公安系统公共信息的传输、交通部门全国安全监督系统，还是国税的信息系统都不是OLTP类的，更适合消息中间件来处理。消息中间件再处理大信息量的传输和对传输的灵活控制等方面的优势远远超过了交易中间件的功能。以Tuxedo为例，文件不能直接传输，缺乏对（可靠）传输的灵活多样的控制，不方便配置一个多层次的逻辑网络系统不能把它归到消息中间件的种类中。实际上，国际上在分类中间件时，也是把Tuxedo放到交易一类中去的。远一点的有1998年的IDG及Giga的报告；最近的有2001年的欧洲信息技术观察（EITO 2001）的分类。有国内系统集成商使用BEA的Tuxedo在上海开发公安的信息传输平台，实际的效果不好。公安部在做全国的消息中间件选型时，经过慎重的评估，最终放弃了以Tuxedo来代替消息中间件的想法。BEA的Tuxedo的前身是DEC的Message/Q，在归属BEA后的开始一段时间，名字也叫Message/Q。Message/Q具有消息中间件的有限功能，且仅支持DEC的有限平台。BEA曾经停止推广Message/Q，后纳入Tuxedo体系，改名Tuxedo/Q。五、 附：功能简表TongLINK/Q简表包括以下几个部分：l 体系结构方面：TongLINK/Q的路由管理协议、TongLINK/Q的网络结构l 安全管理方面：端-端的加密传输的支持l 应用管理方面：即程序管理l 事件支持：核心事件l 消息功能：消息的事务性支持/复合消息/堵塞概念/同步等等l 用户接口功能名称描 述连接管理常连接动态连接连接管理管理(相邻)的TongLINK/Q节点之间的连接。（相邻的）两个TongLINK/Q节点之间的连接在两个TongLINK/Q系统都启动后建立，并且由TongLINK/Q系统维护和保持。常连接是连接的一般形式。（相邻的）两个TongLINK/Q节点之间的连接在TongLINK/Q核心需要传输时建立。网络结构树型拓扑网状拓扑网络结构指TongLINK/Q节点和节点之间的连接构成的网络拓扑结构。最基本、最常用的TongLINK/Q网络拓扑结构就是树形；构造和维护树型TongLINK/Q网络快速、便捷。树型也是流行的组织与管理形式。TongLINK/Q通过允许一个TongLINK/Q节点有多个上级节点即“多上级”来支持网状拓扑结构，以适应应用的特殊需要。目前最多支持24个上级节点。路由协议缺省路由协议动态树型路由子网路由协议在TongLINK/Q网络中，任何一个节点都知道它的直接上级和下级节点；相互通信的两个节点不需要在各自节点处定义对方。路由协议规定了如何在TongLINK/Q网络中根据一个名字找到对应的TongLINK/Q节点。不是一个完备的路由协议，效率很高，不能访问到网络上的所有节点，从而支持完全的端-端的通信。协议规定在找不到一条明确的路由时，交给上级节点。这时，只要上级节点连通，TongLINK/Q就认为路由存在。主要版本支持的路由协议，当网络非常大时，协议的开销较大。需要与缺省路由协议相配合。根据协议的规定，上级节点可以知道各层下级节点路由信息。当节点登记的路由信息发生改变时，会动态把这些信息告诉它的上级节点。为支持此协议，各级中心节点需要保存其所有下级节点的路由信息。适合极大的树型TongLINK/Q网络（500节点以上），高效但要求节点命名符合规则。需要与缺省路由协议相配合。协议规定，从根开始，树型网络的每个TongLINK/Q节点的下级节点的命名要符合一定的规则，以使节点名和路由相关联。根据这些关联性和目标节点名，再与缺省路由协议配合，就可以方便快捷地找到目标节点。传输管理可靠（确保）传输非可靠传输实时传输传输优先级传输数据压缩传输数据加解密及密钥管理文件清理临时文件清理发送文件清理运行系统是TongLINK/Q系统三个组成部（运行系统、开发系统和管理系统）分之一。传输管理则是运行系统最重要的功能。传输管理涉及TongLINK/Q和消息传输相关的比较宏观的方面。通过把消息保存在可靠队列（磁盘文件）中来保障“可靠传输”。明确指明选择“可靠传输”方式时，可以实现“确保的”传输。无论线路、系统还是应用发生故障，一旦状态恢复，传输就将继续。TongLINK/Q中的“可靠传输”的标识是“LOG_ON”。“LOG_ON”方式需要消耗更多的资源，因此效率要比“非可靠传输方式”（中断后不再恢复）低。通过数据报（PKT_DATA）方式及TongLINK接口实时传输。小消息包具有比大消息包和大文件更高的优先级（即“小作业优先”）。采用UNIX标准压缩算法，压缩比例高。传输大文件和网络带宽较窄时非常有效。典型的实例时，40M EXE文件压缩为16M；40M文本文件压缩为4M。采用对称加密算法RC5。密钥分配/交换算法Deffie-Hellman算法。直接相邻的两个节点共享一个动态生成与分配的密钥。密钥在一定条件下动态改变（如TongLINK/Q系统重启、加密到一定次数或时间等）。密钥长度是128字节。提供应用开发所需API。消息传送API中提供标志。消息管理消息的类型普通数据包大数据包文件复合消息 用户消息头消息的事务性消息管理顾名思义就是对系统中传递的消息进行管理，。数据包大小不超过4096字节。数据包大小的区分是TongLINK/Q内部的事，对程序员是透明的。数据包大小超过4096字节。文件大小不超过2G。复合消息：一条消息可以包含多条子消息。用户消息头：用户在发送消息前，可以定义用户相关的一些属性，如消息名等，便于应用的管理。消息的事务性支持指支持消息的Commit和Rollback功能。程序管理程序类型客户程序服务程序定时程序触发程序程序管理既是应用的构造方法的一部分，也是TongLINK/Q系统管理并发与效率的手段。四种基本应用类型：客户、服务、定时和事件程序。定时程序是一类特殊的客户程序，需要定时启动来处理某些工作。运行监控运行监控使用管理程序可进行运行监控。运行监控是管理系统的一个重要功能。监视用户程序及核心的有关状态等功能。运行模式生产模式运行模式区分生产模式与运行模式便于系统的调试。系统管理参数格式动态参数配置本地管理程序界面管理命令行管理统一管理程序操作员管理管理API管理系统是TongLINK/Q系统三个组成部分之一。文本文件。系统运行中动态地调整TongLINK/Q的配置。每个TongLINK/Q系统都包含一个本地管理程序。菜单驱动的管理程序。命令行命令简明扼要。统一管理程序当前版本不提供。开放部分管理API给应用使用。日志管理 日志格式日志清理手工清理管理程序清理策略性管理日志系统是TongLINK/Q系统的重要组成部分。关键任务支撑系统可通过系统日志审计、跟踪系统的运行，调试应用系统。支持TXT可通过管理程序清理。提供应用开发所需要的API。开发系统基本API 异步接口的控制扩展API结构|编码多线索服务模型开发系统是TongLINK/Q系统的三个组成部分之一.包括消息的投递、接收、控制、查询等。包括的主要函数有：tlq_init/tlq_release（使用和释放TongLINK/Q接口）tlq_putmsg/tlq_getmsg（异步消息的投递与接收）tlq_ctrlmsg/tlq_querymsg（消息的控制与查询）等等。应用与TongLINK/Q的异步接口间的“接口”包括：SYNC_MSG、ASYNC_MSG和NOTIFY_MSG三种。SYNC_MSG方式是一种“同步通信”，本地TongLINK/Q接收完毕开始发送后调用才返回；ASYNC_MSG方式是一种简单的“异步方式”，只要消息交给本地的TongLINK/Q调用就返回。NOTIFY_FLAG 给用户消息的动态反馈用，TongLINK/Q对于消息的传输具有非堵塞的功能，因此发送成功时，消息还没有发送到接收端。另外对于接收端来说，只要消息达到目的TongLINK/Q时，才发送给用户进程，这样可能会造成用户进程的盲目等待。NOTIFY_FLAG的功能使得即使消息还没有到达目的地时（全部），接收进程就能动态的跟踪消息的发送状态。扩展API：提供一些同步等应用模型相关的API。结构编码：主要提供数据表示功能。多线索服务模型提供一种NT上的多线程的应用接口。安全管理节点认证点-点传输安全端-端传输安全上级节点通过口令识别直接相连的下级节点。直接相连的节点间的加密传输。非直接相连的节点间的数据传输的加密与解密。支持的开发工具标准CC+COBOL各种可视工具，如VB、PB、DELPHI支持支持支持可视工具限于Windows 9X/NT平台。支持的语言中文英文中文操作界面。系统安装系统安装支持序列号支持DEMODEMO版本主要给开发商的。事件管理核心事件核心事件提供了用户对核心的策略管理的方式，提供用户对其关心的异常事件或状态事件的处理。如消息事件、死信事件、日志管理事件等等。模块管理应用管理模块事件管理模块安全功能模块模块管理可以根据用户的需要来安装、或是否启动有关的模块。会话功能简单会话控制支持REQ/ACK方式的会话模型。自动清理无效消息。硬件平台UNIXWindowsLinux支持国内流行的所有UNIX平台,Windows 平台及Linux.HP-UX IBM AIX SEQUENT DYNIXCOMPAQ digital UNIX及tru64 UNIX Sun Solaris IBM Sequent DynixSCO-UNIX等等Windows 9x/NT国内流行的主要版本注：以上功能说明适用于TongLINK/Q的主要版本。不同的版本功能略有差异，详见有关手册。目 录第一章 总 论1第二章 项目提出的背景和必要性4第一节 项目建设背景4第二节 项目建设的必要性4第三节 项目建设的先进性8第三章 市场分析与建设规模10第一节 市场分析10第二节 建设规模11第四章 工艺技术方案及设备选型12第一节 工艺技术方案12第二节 主要设备方案14第五章 原料、辅助材料及燃料的供应17第一节 主要原材料、辅助材料及公用工程供应来源17第二节 主要公用工程用量及供应18第六章 厂址选择和建设条件19第一节 厂址选择19第二节 建设条件19第七章 总图运输、土建及公用工程22第一节 总平面布置及运输22第二节 土建方案23第三节 公用工程24第八章 节 能29第一节 用能标准及设计规范29第二节 项目能源消耗种类及消耗情况30第三节 项目节能措施及效果分析31第九章 环境保护33第十章 劳动安全卫生及消防36第一节 劳动安全卫生36第二节 消 防38第十一章 机构组织与人力资源配置41第十二章 工程进度安排43第十三章 投资估算和资金筹措45第十四章 财务评价47第十五章风险分析50第一节 项目主要风险因素识别及应对措施50第二节 项目风险因素和风险程度分析表51第十六章 结论与建议5414