数据同步系统——概要设计说明书.doc
1、 数据同步系统 概要设计说明 2007年11月 文档名称 文档编号 版 本 号 作 者 项目名称 审 查 人 承办单位 批 准 合作单位 标 准 化 日 期 使用范围 页数 文档文件名：数据同步系统 历史版本记录 时间 版本号 修改人
2、修改内容 目 录 1. 引言 6 1.1. 背景 6 1.2. 相关文档 6 1.3. 参考资料 6 1.4. 术语和缩写词 6 2. 系统需求 6 2.1. 总体描述 6 2.2. 功能 7 2.2.1. 数据同步功能 7 2.2.2. 日志管理功能 7 2
3、3. 性能 7 3. 总体架构设计 8 3.1. 系统设计目标 8 3.2. 系统软件构成 8 3.3. 系统总体架构 8 3.4. 系统网络拓扑结构 10 4. 分系统设计 10 4.1. 数据同步系统 10 4.1.1. 初始化模块 11 4.1.2. 同步配置模块 12 4.1.3. 信息检索模块 13 4.1.4. 信息比对模块 14 4.1.5. 信息插入更新模块 16 4.2. 日志管理系统 17 4.2.1. 日志生成模块 18 4.2.2. 日志显示模块 18 5. 接口设计 19 5.1. 用户界面 19 5.2. 硬件接口 19 5.
4、3. 通信协议 19 6. 运行设计 19 6.1. 运行过程 19 6.1.1. 系统初始化过程 19 6.1.2. 用户配置过程 20 6.1.3. 数据同步过程 20 6.1.4. 联动更新过程 20 6.1.5. 日志生成过程 20 6.1.6. 日志显示过程 20 6.2. 系统流程 21 6.3. 运行环境 21 6.3.1. 硬件平台 21 6.3.2. 软件平台 21 7. 数据结构设计 22 7.1. 配置文件结构设计 22 7.1.1. 初始化配置文件 22 7.1.2. 日志管理配置文件 23 7.2. 数据库结构设计 24 7.2.1
5、 同步表类 24 7.2.2. 联动更新表类 26 8. 系统出错设计 27 8.1. 出错信息 27 8.2. 补救措施 28 9. 系统维护技术 28 9.1. 可靠性设计 28 9.2. 易使用性设计 28 9.3. 可维护性设计 28 9.4. 可移植性设计 29 1. 引言 1.1. 背景 奥运会期间为了使场馆与指挥中心的部分数据保持一致，为指挥系统提供准确的信息，设计了数据同步系统，为操作人员提供统一友好的操作界面和同步态势展示界面。 1.2. 相关文档 《
6、数据同步系统——需求规格说明书》 1.3. 参考资料 《仰山桥业务需求》 《仰山桥指挥系统架构设计》 1.4. 术语和缩写词 【无】 2. 系统需求 2.1. 总体描述 （1） 数据同步系统是仰山桥安保指挥系统的一部分，通过此系统，指挥中心能够拥有所有场馆的资源、网络节点、视频服务器等信息，并能够随场馆的变化而变化，为指挥系统提供信息支持； （2） 为指挥中心和场馆的信息同步提供自动化机制，通过程序控制同步的具体方式。 （3） 指挥中心和场馆之间的同步采用非实时同步，操作员在某一时间点通过操作运行该软件（或者按照设定时间定时启动）来完成数据库的同步过程。 2.2. 功能
7、 数据同步系统软件实现如下功能： 2.2.1. 数据同步功能 该功能详细的功能点包括以下几个方面： （1） 场馆需要同步的数据表分别为：资源节点表，网络节点表，视频服务器表 （2） 当场馆中的数据表发生变化时（如增加记录，删除记录，修改记录），仰山桥的数据表需要相应地与之变化 （3） 当场馆视频服务器表发生变化时，除了更新仰山桥的视频服务器表，还需要更新仰山桥的视频通道信息表 （4） 能够为用户提供操作界面来配置同步操作 （5） 能够选择需要同步的场馆和数据表 2.2.2. 日志管理功能 该功能详细的功能点包括以下几个方面： （1） 能够将同步过程中的信息记录为日志文件保
8、存以备查看 （2） 日志的内容主要包括每次同步涉及到的场馆，数据表，以及同步的过程中该场馆某张表增加了多少条记录，删除了多少条记录 （3） 能够在同步的过程中，将日志显示在界面上，供用户查看。 2.3. 性能 在网络保持畅通的情况下，同步一个场馆的一张表中一千条记录，在10秒之内完成。 3. 总体架构设计 3.1. 系统设计目标 开发出的数据同步系统需要实现以下的几个目标： （1） 系统能够满足2.2提出的所有功能需求； （2） 系统具有高的可靠性，保证准确无误地同步数据； （3） 系统要保证良好的性能； （4） 系统要具有一定的灵活性，方便以后的扩展或移植。 3.
9、2. 系统软件构成 数据同步系统 信息检索 初始化 数据同步系统 日志管理系统 同步配置 信息比对 日志生成 日志显示 信息插入更新 3.3. 系统总体架构 3.4. 系统网络拓扑结构 4. 分系统设计 4.1. 数据同步系统 数据同步系统主要解决的是场馆与仰山桥之间的数据一致性问题。系统同步的对象是场馆数据库与仰山桥数据库中的一些数据表的信息。包括资源信息，设备信息，赛事信息等。这些信息需要保证正确，完整。即场馆数据库中需要被同步的信息，必须都要存储至仰山桥数据库的相应表中。这些信息的任何变化，都要导致仰山桥数据库内容
10、的改变。另一方面，需要同步的场馆和数据表可以通过用户界面进行选择配置，方便用户使用。 4.1.1. 初始化模块 系统在做数据同步之前需要知道有哪些场馆的哪些数据表可以进行同步，并将这些场馆名及数据表名展示在页面上，供用户进行选择。可同步的场馆及数据表的名称以.xml文件的方式存储在文件系统中。系统启动后，将读取这个文件，从而获得提供给用户的选择项。 n 需要的网络连接 此模块执行过程不需要网络连接，只需要在本地文件系统读取配置文件即可。 n 流程图： 系统启动后，首先读取配置文件（xml文件），在读取的过程中，迭代地读取场馆信息及场馆中的数据表信息。在读取的同时，动态地生成
11、对应的界面上的控件，在配置文件读取完毕后，界面上将会显示所有的可与指挥中心数据库同步的场馆及场馆数据库中的表。 n 为了满足系统的需求需要的数据准备 首先需要收集各场馆的ID和名称，其次收集各场馆数据库中需要进行同步的表的名称。在前两项收集完毕的基础上，将数据编制为xml文件的格式，供系统读取。同步信息数据可以进行修改，修改之后需要生成新的.xml文件，并且存储到本地的文件系统中。 对于配置文件的格式，在7.1节配置文件结构设计中将有详细的描述。 4.1.2. 同步配置模块 系统经过初始化后，进入同步配置模块。本模块的主要功能是提供完整的用户界面，供用户选择本次同步过程所涉及到的场馆
12、以及场馆的数据表。 n 用户操作： 当经过初始化过程后，界面上会显示所有的场馆及数据表，用户只需在需要同步的场馆和表后边勾选“√”即可。具体的配置界面形式会在5.1节中有详细的描述。 n 流程图： 4.1.3. 信息检索模块 系统在经过用户配置同步对象后，进入信息检索模块。该模块的主要功能是，分别检索出需要进行同步的两个数据库的信息。并形成两个信息集合。作为下一个模块的输入。 n 需要的网络连接： 在本模块中，需要有两个数据库连接，一个是与指挥中心本地数据库服务器的连接，另一个是与场馆数据库服务器的连接。 在检索的过程中，无论是同步哪个场馆的数据，都会存在系统与本地数据
13、库服务器的连接，因此将此数据库连接作为长连接，以静态成员的方式写入该模块中。只要模块启动，连接就会一直启动。 而对于场馆数据库服务器的连接，系统只需连接一次，查到信息后立刻断开，然后连接下一个场馆，因此，将此数据库连接作为变量写入模块中，随场馆的变化而变化。 n 流程图： 4.1.4. 信息比对模块 当系统检索出对应于某个数据表的场馆数据和指挥中心数据的两个数据集合后，将会进入信息比对模块，本模块的主要功能是比较两个数据集合，找出它们之间的差异。由于同步的方向是以场馆数据库为标准，向指挥中心数据库同步，因此，最终的输出结果同样是一个数据集合，在该集合中，对每一个记录增加了标志位，以
14、指示该条记录是应当增加至指挥中心数据库，还是从指挥中心数据库删除。这个数据集合的结果同时也是下一个模块的输入条件。 n 记录的比较原则 在两个集合的记录进行比较的过程中，实际比较的是两个对象，所以需要制定一个比较规则，这样才能够判断两条记录是否等价。在本系统中，对于不同的数据表有不同的比较规则。描述如下： （1）对于资源点信息。 两个资源点是否相等，需要由资源点的所属场馆ID（AtVenueID），所属建筑ID（AtBuildID），所属楼层ID（AtFloorID），资源点ID（SrcPointID）共同确定。只要这四个字段相等，就认为两个资源点相等，否则认为不相等。 （2）对于网
15、络节点信息 两个网络节点是否相等，需要由网络节点的所属场馆ID（AtVenueID），网络节点ID（NetNodeID）共同确定。只要这两个字段相等，就认为两个网络节点相等，否则认为不相等。 （3）对于视频服务器信息 两个视频服务器是否相等，需要由视频服务器的所属场馆ID（AtVenueID），资源ID（VSID）共同确定。只要这两个字段相等，就认为两个视频服务器相等，否则认为不相等。 n 记录的操作标志 在输出的数据集合中，每一条记录都带有一个标志位，指示应当对该记录进行何种操作。标志有三种取值：取1代表需要向指挥中心数据库添加这条记录；取0代表跳过此记录，不做任何操作；去-1代表
16、从指挥中心数据库中删除这条记录。 n 算法流程 说明： 为了避免重新对指挥中心数据集合扫描，在一开始就对指挥中心所有记录的操作标志置为-1，这样只需扫描一遍场馆数据集合，就可以确定指挥中心数据集合中记录的操作（增，删，不变）。 4.1.5. 信息插入更新模块 当系统运行完信息比对模块后，就会进入信息插入更新模块。本模块的主要功能是根据比对的结果，开始更新指挥中心的数据库。输入条件为经过信息比对后输出的数据集合，系统会根据数据集合中的标志位决定对指挥中心数据库的操作（增加记录，删除记录）。 n 需要的网络连接 在本模块中，需要一个与指挥中心本地数据库服务器的连接，这个连接可
17、以复用4.1.2节中信息检索模块的长连接，减少系统资源消耗。 n 关联表的联动更新及更新规则 当指挥中心的某些数据表随场馆同步后，一些与之相关联的表也要做出相应的更新。目前，本系统中需要处理的联动更新的关联表如下所示 （1）视频通道信息表（VSChanInfoTable）随视频服务器表（VSInfoTable）的更新。 l 当视频服务器表中删除一条记录时，视频通道信息表中也要删除相应的记录； l 当视频服务器表中增加一条记录时，视频通道信息表中也要增加相应的记录，具体字段设置规则如下： ü 对于场馆ID（AtVenueID）和资源ID（VSID）可从视频服务器表（VSInfoTa
18、ble）中获得； ü 对于场馆类型（Type）可根据场馆ID（AtVenueID）在场馆信息表（venueparainfotable）中查到； ü 对于可动态分配信道信息（chcount），需要根据场馆类型设置，当场馆为训练馆时，chcount = 2，当场馆为大型竞赛馆或竞赛馆时，chcount=6； ü 对于视频通道的若干字段，需要根据可动态分配信道信息(chcount)设置，当chcount=6时，视频通道1-16均设置为1，当chcount=2时，视频通道1-8设置为1，视频通道9-16设置为0。 n 流程图 4.2. 日志管理系统 日志管理系统主要解决的是同步过程
19、中的信息显示与存储问题。在系统对场馆与指挥中心数据库进行同步的过程中，需要记录一些操作信息来显示同步的进程以及同步的状态，如当前同步哪个场馆的哪张数据表，同步每张表的过程中增加了多少条记录，删除了多少条记录。同时还要将日志信息保存至文件系统中以备查看。 4.2.1. 日志生成模块 日志生成模块的主要功能是在系统进行数据同步的时候生成相应的操作日志。此模块的运行贯穿整个同步过程，也就是说，系统在进行同步的同时生成日志，每同步一张数据表，则生成该表的相关日志。 n 日志的存储方式 在本模块中，生成的日志存储在文件系统中，以xxx.log的文件名保存。日志的保存路径可以在配置文件中进行配置。
20、 n 日志生成的实现方式 在本模块中，日志的实现方式借用了log4j 开源工具包，模块封装该工具包中的Logger对象，可直接对应用工具包中的一些方法。 4.2.2. 日志显示模块 在数据同步的过程中，需要有实时的操作信息反馈给用户。日志显示模块实现的就是这个功能。该模块将写入文件的日志信息同时显示在用户界面上，让用户能够很方面地了解到同步的具体信息。 n 日志显示的实现方式 与日志生成模块相同，日志显示模块同样借用了log4j开源工具包来实现。 n 日志的按级别显示方式 在日志记录的过程中，可以将日志分为若干个等级，比如供开发调试使用的信息，呈现给用户的信息，以及系统的出错信
21、息等。Log4j工具包自身将日志分为5个等级，分别是debug, info, warn, error, fetal。根据实际情况，我们抽取其中的三个等级作为本模块的日志等级。分别是： l Debug 此级别下，日志的显示最为详细，主要用于程序的开发和调试使用 l Info 此级别下，日志不显示调试信息，只显示系统运行是出现的普通操作信息 l Error 此级别下，日志仅显示出错信息，以上两个级别的信息均不显示。 在本模块中，日志默认按照Info级别显示，同时，日志的显示级别可以在配置文件中进行配置，具体的配置文件格式在7.1节中将有详细的描述。 5. 接口设计 5.1. 用户
