1、云计算数据中心可行性研究报告二一一年十月目 录第1章、总论11.1概述11。2建设背景11。3建设必要性和可行性21。4建设目标与任务2第2章、需求分析42.1用户需求42。2数据需求42.3系统及应用需求分析72。3。1节点管理82。3。2主题管理82。3。3元数据管理82。3.4公共代码管理92。3。5数据采集92。3.6数据整理比对92。3.7数据交换92.3.8数据访问102.3.9数据备份与恢复102.3。10标准管理102.3。11应用支持102。3。12运行管理102.4性能需求分析112.4。1业务处理量分析112。5安全及保障机制需求分析122。5.1系统安全可靠性需求122
2、。5.2数据安全保密性需求122。5。3数据完整性需求132.5。4实体的可鉴别性需求132。5。5不可否认性需求132。5。6对象和行为的可授权性需求132.5。7统一信任与授权策略需求132.5.8数据中心统一安全监管性需求142。5。9保障机制需求分析14第3章、数据中心设计方案153.1设计原则153。1.1统一建设153。1。2相对独立153.1.3共建共享153.1。4安全可靠153。2数据中心平台设计163.2。1平台总体架构163。2。2数据资源规划163。2.2.1数据资源规划的总体思路163.2.2。2数据资源体系结构173。2.2。3共享数据一致性的保证183。2。2.4
3、共享数据库的建立过程193.2。3数据支撑平台203。2。3。1数据共享交换子系统203.2。3。2目录管理服务子系统233.2。3。3共享数据管理子系统233。2。3.4共享业务管理子系统243。2。3。5系统配置管理子系统243.2。3。6系统安全管理子系统243.2。4数据共享交换平台253。2.4.1交换网络结构253。2。4。2交换概念模型273。2。4.3交换体系结构283。2。5共享数据管理系统303。2。5.1功能设计303。2.5。2逻辑结构323.2。6数据接口系统323.2。7服务器系统设计333。2。7。1设计原则333。2。7.2服务器系统选择的依据343。2。7。3
4、需求分析353。2。7.4性能测算353.2。8存储系统设计363。2。8.1设计原则363。2。8。2主流存储技术比较及建议373。2。8。3Raid类型配置建议393。2.9灾备系统设计393。2。9。1设计原则393。2.9。2灾备技术比较403。2.9.3灾备解决方案423.2.9.4备份策略433。2。10网络系统设计433。2。10。1设计原则433。2.10。2网络系统设计443.2.11安全保障体系443.2。11。1物理安全453.2.11.2网络安全453。2.11.3系统安全463。2。11。4应用程序安全463。2.11。5数据安全463.2。11.5.1核心数据加密4
5、73。2。11。5。2数据访问控制473。2。11。5.3数据传播和复制483.2.11。6整体安全策略的说明483。2。12数据中心典型应用493。2.12。1政务数据交换平台493。2。12。1。1运行模型493。2。12.1。2信息共享交换503.2。12。1。3共享目录检索503。2。12.1.4共享数据查询服务体系513。2。12。1。5业务数据整理513。2.12。1。6决策支持系统523。2。12。2企业基础信息共享系统523。2。12。3社会保障信息共享系统523.2。12。4人事档案托管系统53第4章、运营及保障机制544.1运营机制544。2运行管理机制544。3信息资源管
6、理机制544。4运行管理制度55第5章、数据中心预算预算经费565.1总投资概算565。2投资概算明细56第6章、风险分析及控制59第7章、经济及社会效益617.1经济效益617。2社会效益61vi第1章、 总论1.1 概述 今年是十二五”计划的第一年,在”十二五”期间我们预期HZ、浙江乃至其他周边区域进一步发展高新产业园、大力扶持高新企业,在这样的大背景下必将有很多政府、企业眼光转向云计算服务平台寻求从外部快速、低成本地获取IT资源和管理能力而不只是采用自己搭建IT平台这一缓慢的办法。 受政策和数据安全方面的约束,政府和企业不能或不会考虑国外的公有云平台和混合云平台.而目前在国内,进入云计算
7、的企业由于其自身能力的限制大多仍然停留在云计算的底层设施(硬件、存储、网络)及其基本软件的层级,很少能够有能力建立自有知识产权的可以容易被用户使用的面向服务的云计算平台.1.2 建设背景 2010年10月,国家发改委、工业和信息化部下发关于做好云计算服务创新发展试点示范工作的通知,选择在北京、上海、深圳、HZ、无锡等五个城市开展云计算创新发展试点示范工作,通知要求云计算创新发展试点示范工作要与区域产业发展优势相结合,推动国内信息服务企业针对政府、大中小企业和个人等不同用户需求,积极探索各类云计算服务;以企业为主体,产学研用联合,加强云计算核心技术研发和产业化;推进云计算中心(平台)建设,为提升
8、信息服务水平、培育战略性新兴产业、调整经济结构、转变发展方式提供有力支撑。 “十二五”期间,我市电子商务建设的主要目标是:建成标准统一、功能完善、安全可靠的政务信息平台,发挥支持作用;重点业务系统建设取得显著成效;基础性、战略性政务信息库建设取得重大进展,数据资源共享程度明显提高;初步形成电子商务网络与信息安全保障体系,建立规范的培训制度,与电子商务相关的法规和标准逐步完善.1.3 建设必要性和可行性IDC预计,从2009年底到2013年底,四年期间,云计算将为全球带来8000亿美元的新业务收入,其中为中国带来超过11050亿人民币约合1590亿美元的新净业务收入.2011年1月18日,在宁召
9、开的“打造中国云云计算促进产业转型升级”研讨会中国工程院院士、云计算专家李德毅报告中指出“云计算是物联网发展的基石。在中国,云计算已经走过概念炒作阶段,进入实际应用部署的阶段。未来3年,云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点,在中国市场逐步被越来越多的企业和机构采用,市场规模也将从2009年的92亿元增长到2012年的606亿元。1.4 建设目标与任务数据中心的建设是为了解决政府部门间信息共享,实现业务部门之间的数据交换与数据共享,促进HZ市电子商务的发展。具体目标如下:建立数据中心的系统平台。完成相应的应用软件和数据管理系统建设,实现数据的交换、保存、更新、共
10、享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能.(一)建立数据中心的系统平台。完成相应的应用软件和数据管理系统建设,实现社会保障数据的交换、保存、更新、共享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能.(二)建立全市自然人、法人、公共信息库等共享数据库,为宏观决策提供数据支持。对基础数据进行集中管理,保证基础数据的一致性、准确性和完整性,为各业务部门提供基础数据支持;(三)建立数据交换共享和更新维护机制.实现各业务部门之间的数据交换与共享,以及基础数据的标准化、一致化,保证相关数据的及时更新和安全管理,方便业务部门开展工作;(四)建立数据共享和交换技术标准和相关
11、管理规范,实现各部门业务应用系统的规范建设和业务协同;(五)为公共服务中心提供数据服务支持,实现面向社会公众的一站式服务;(六)根据统计数据标准汇集各业务部门的原始个案或统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,为领导决策提供数据支持;(七)为监督部门提供必要的数据通道,方便实现对业务部门以及业务对象的监管,逐步实现有效的业务监管支持;(八)为业务数据库的备份提供存储和备份手段支持,提高业务应用系统的可靠性。第2章、 需求分析2.1 用户需求从与数据中心交互的组织机构、人员方面进行说明。与数据中心交互的单位机构各业务部门通过接口系统向数据中心提供数据或使用数据中心提供的数
12、据;业务部门之间可直接交换数据。各业务系统单位遵循标准规范进行业务系统建设和改造,实现业务系统与数据中心的对接。与数据中心交互的人员数据中心系统管理员负责数据中心系统管理、监控、系统维护数据中心数据管理员负责数据的整理、比对、数据一致性的保证,并且与区县级数据中心、省数据中心数据管理员协同工作,执行数据标准。业务部门数据管理员一般与同级数据中心数据管理员协同工作2.2 数据需求HZ市数据中心必须满足电子商务平台进行数据交换的需要,同时还必须满足在平台上建立的各业务系统进行综合业务处理的要求。为门户系统提供各种静态和动态的数据、信息.所谓静态信息是指对电子商务的运行中不经常变化,供各个业务系统查
13、询、处理的数据或信息:政策、法规、元数据、资料库、各种多媒体数据等,它们会随着时间而逐步增大.所谓动态数据是指随着运行而增加、修改的数据:并联审批中文件流转状态数据,反映企业、个人所处状态的数据,国民经济运行状态的数据等。动态数据同各个局委办的信息密切相关,但又是面向主题的,如XX市社会保险这个主题,实际上同保险、工资、税务和银行密切相关;个人信用使用主题,它的数据与银行、税务、个人消费、个人收入密切相关.而数据仓库显然也有面向主题的定义,但这些主题是较长时间的,具有战略定义的主题。因此,数据中心的建设,首先要解决数据库异构信息类型的分类存储和检索体系以及针对不同类型数据模型的设计这一基本问题
14、.另一方面,数据中心管理着大量的结构化和非结构化信息。所谓非结构化信息,是相对于那些有清晰的结构和类型定义以及有数据相关性的明确描述的信息类型而言的。比如,在财税分析系统中,财政收支情况的月度数据,可以理解为一种有清晰结构的信息;而一份综合性包含了文字、报表、分析图形的财政收支分析报告则是一种非结构化的信息.网站上发布的信息,如新闻动态、政务公开等等,一般也是非结构化的信息。此外,非结构化信息中还包括了一类对象数据信息.所谓对象数据信息,是指一个包含了内敛结构的专门数据块,这个数据块单独无法建立与别的数据项的关联关系,并且需要工作在特定的工作模块下。比如:GIS空间定义信息数据、多媒体的声像数
15、据等,均为对象类型的数据。在政府决策应用中,非结构化信息将占到相当的比例。所有的政府文件均属于非结构化信息,政策法规属于非结构化信息,一些决策分析的综合性资料也是非结构化信息。与结构化信息相比,非结构化信息的管理利用存在一些难点,就是:(1)定义管理的难度“非结构化表明了没有一种象关系数据库规范那样的定义模型来对非结构化信息进行定义管理.虽然你可以强制对一个非结构化的信息块进行解构,将其分成类似头、中、尾这样的半结构。但是这种解构只有在制定了具有普遍含义的结构描述定义后才有真正的意义。对非结构化信息进行定义管理的另一个难点在于数据元类型无法穷举。不象关系型数据系统中,对数据元类型有完整清晰的定
16、义.在非结构化信息中,包含了错综复杂的数据元类型.比如,仅文档类型就包括Text、Word、PDF、Excel、Word Pro等等,还有各种图片文件格式、多媒体压缩信息格式等等。此外,在象网页这样的非结构化信息中,所有的信息都是文字类型,设定时间、数字等类型的信息元并不具有运算上的意义。(2)存储管理的难度对信息进行存储管理的前提是能够建立有效的数据定义,然后才能进行非结构化信息的组织存放。而前面已经提到了在非结构化信息的数据定义方面存在的难度,因此也就造成了在非结构化信息存储管理方面的困难。当然,对非结构化信息最简单的存储方式是直接存放在文件系统中。这样做避免了依据主题等分类因素对非结构化
17、信息进行管理的问题,但也是最最低效的一种存储管理方式。在非结构化信息的存储管理中还涉及到一个问题,由于这些信息元(如果对非结构化信息进行一定的半结构化处理后)的数据可能来自关系型数据系统(比如Oracle)、对象数据系统(多媒体数据或空间数据)乃至文档数据系统(比如Notes),所以一个非结构化信息的存储管理系统将充当一个数据的汇整者,需要具备联合各个外部数据系统的功能。缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索。(3)信息检索的难度由于不能像关系数据库那样建立起清晰定义的数据主题,非结构化信息的检索依照的只能是机械的全文内容检索。这是对信息检索非常不利的一点
18、。虽然对信息内容的全文检索可以做到资料检索的遍历,但其检索的效率和命中率是很低的。由于不象关系数据库那样有一种象SQL(结构化查询语言)那样强大的关联检索工具,并且在定义数据时也没有建立数据项之间的关联关系,要具有针对性地查询非结构化信息的内容,必须要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能内容,才可能提高信息检索的强度和效率。但另一方面讲,一种专用于理解特定非结构化信息类型的处理模块,无论在运行效率还是在可维护性上,都是非常不现实的.非结构化信息检索的另一个难度也是与数据元类型的多样性有关的.比如,不同的文档类型结构需要不同的全文索引工作模块。这也无形中加大了对非结构化信息
19、进行检索的难度.因此,数据中心的建设,还必须从技术体系上解决如何对非结构化信息进行有效定义、有效管理和有效利用的基本问题。2.3 系统及应用需求分析数据中心的主要业务包括: 从基层或业务部门采集数据,包括基础数据和部分共享业务数据,支持基础和共享数据的更新维护模式; 对采集到的数据进行校验和比对,发现冲突时按照共同制订的数据处理规范进行处理,保证数据的一致性和准确性; 受理业务部门或基层单位的基础数据使用申请; 将整理后的基础数据分发或按需提供给有关部门或单位使用; 以中介的方式处理共享业务数据使用申请,并进行备案; 对共享业务数据在征得业务部门同意的情况,通过数据中心进行存储转发; 将共享元
20、数据的信息发布给各业务部门,提供浏览与订阅申请,方便其共享必要信息; 提供数据交换平台和接口系统,使数据中心与各部门的数据管理员可以对共享和交换过程进行管理; 通过数据交换平台存储和管理公共服务数据,并与外网同步,提供一站式服务; 存储和管理统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,对数据进行统计和分析,方便领导及时掌握有关情况。 定期对业务数据库进行容灾备份; 与此相对应,业务部门与数据中心发生的相关业务包括: 提供数据或共享元数据给数据中心; 申请使用数据中心的基础数据,校准本单位的基础数据; 通过数据中心提供的共享元数据信息获取其他单位的数据; 审批其他单位的业务数
21、据使用申请,并将数据提供出去; 与数据中心交换公共服务数据; 提供监督部门直接访问业务数据库的通道; 提供统计分析数据或原始个案给数据中心,方便主管领导查询; 定期将业务数据库备份到数据中心;根据数据中心与各业务部门的主要业务,数据中心应提供如下功能:2.3.1 节点管理实现与数据中心相连的各个节点的信息管理、配置管理,包括业务部门、区县数据中心等.2.3.2 主题管理数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行,因此必须实现对主题的管理.主题是元数据的集合.2.3.3 元数据管理元数据是关于数据的数据.元数据描述了数据的结构和意义,同时也可以描述应用程序和流
22、程的结构和意义.构造数据中心数据库的重要步骤之一,就是定义和创建元数据(Metadata).元数据提供一个目录,列出数据中心有什么数据。所有进入数据中心的数据,必须在元数据中有所表述。数据中心的数据管理系统必须提供储存和管理元数据的方法。以元数据管理为核心,建立数据中心的数据资源目录体系,提供给业务部门参考使用。数据中心的元数据包括基础数据元和共享数据元,由数据中心统一管理。基础数据元由数据中心定义,共享数据元由业务部门定义并注册到数据中心。业务部门进入数据中心的元数据管理中心好比进了一个“超市”,可以方便地知道可以获取和使用哪些数据,并进行数据使用申请的定制。2.3.4 公共代码管理对公共代
23、码需要有统一的标准规范,数据中心必须提供公共代码的管理.基于数据中心的公共代码规范,各部门和区县数据中心可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换。2.3.5 数据采集与各业务部门形成数据采集机制,通过数据共享交换平台从各业务部门汇总数据,对原始数据进行缓存、存储。2.3.6 数据整理比对从各业务部门采集共享数据后,进行数据转换,对全市自然人和法人基本数据进行数据比对、冲突检测处理并入库.2.3.7 数据交换实现业务部门与数据中心之间以及业务部门之间的数据交换业务,形成高效、安全、可靠、稳定的数据交换网络。提供定时批量、实时按需的数据交换,提供点对点、一对多的数据交
24、换支持,对数据交换进行管理和监控.2.3.8 数据访问在统一的权限管理系统之上,实现对自然人和法人的建档、调档、阅档等业务.对社保卡系统、公共服务中心系统、业务系统提供数据访问。对决策支持系统、业务监管提供数据支持.2.3.9 数据备份与恢复恢复管理是对数据进行备份、导入导出以及数据库恢复等。数据是数据中心核心的资源。全面的容灾方式应该是数据备份+数据复制+远程容灾。对系统中的数据要定期进行系统备份。采用本地备份与异地备份相结合的方式.2.3.10 标准管理进行数据中心的标准规范尤其是数据标准的审核制定、升级维护与发布实施等管理功能。在数据中心的建立之初,由于标准规范处于不断完善的过程,应建立
25、标准的版本管理机制,方便业务部门的查询和使用.2.3.11 应用支持对相关业务应用系统、公共服务系统、业务监管系统和决策支持系统提供提供数据、通道和平台等支持。2.3.12 运行管理为方便对数据中心的管理和维护,需要一套功能完整的运行管理与监控维护系统。运行管理系统主要提供给数据中心的系统管理人员使用,用于保证数据中心的安全可靠和高效运行。其功能主要包括面向安全性的用户管理、权限管理、密码管理和日志管理等;面向性能优化的性能监控等。面向可用性的节点管理、交换规则管理和状态监控;其中节点管理包括对业务部门的信息管理。2.4 性能需求分析2.4.1 业务处理量分析数据中心的主要业务包括:(1)基础
26、数据的采集、转换、比对以及分发这是数据中心的主要负载压力所在.(2)业务数据交换的备案或存储转发在数据中心建设初期,业务数据在业务部门之间交换;当业务部门的接口系统难以承受数据交换的负载时,才可能通过数据中心存储转发。所以这部分业务不会对负载造成负载压力。(3)元数据库和公共代码库的管理和共享由于元数据库和公共代码库相对稳定,并且数据量不是很大,所以不会对数据中心造成负载压力。(4)与业务部门交换公共服务数据由于业务不停地在发生,即使采用定时批量的交换方式,也会对数据中心造成较大的负载压力。(5)汇集统计数据,并提供查询统计数据一般按月提供,而且提交的一般为结果数据,在数据交换方面不会构成太大
27、压力。领导的数据查询会形成少量的负载。(6)提供业务部门的容灾备份容灾备份不需通过数据库服务器处理,所以不会对数据中心的负载构成压力。数据中心的主要负载压力在于两个方面,一是基础数据的采集、维护和使用;二是数据中心与业务部门之间的公共服务数据交换。下面我们分别进行分析.基础数据的变动将引起数据中心的负载.首先业务部门需将变动数据交换给数据中心,数据中心采集后进行转换和比对,然后进行发布,分发给有需要的部门使用。数据中心提供对公共服务系统的支持.各业务部门的公共服务业务数据通过统一的数据共享与交换平台即时或定时的交换到数据中心,保存到公共服务数据库.再与外网的公共服务数据库同步。估计数据中心采集
28、一次数据变动相当于2笔数据库交易;进行转换和比对相当于3笔数据库交易,然后再将基础数据分发给10个左右的业务单位共享使用,每分发一次相当于1笔数据库交易。根据我们以上对数据中心的变动次数的估计,每年的业务量约为:(500+100)(2+3+110)=9000万笔数据库交易。按一年250个工作日,每个工作日8小时计算,每分钟的业务量约为:9000万笔 / (250*8*60)= 750笔/分钟依据“8020”估算方法,峰值的业务处理量为:3000笔/分钟。2.5 安全及保障机制需求分析2.5.1 系统安全可靠性需求数据中心如果遇到破坏,或无法正常工作,将造成无法估量的损失。需要保护的资源不仅有物
29、理资源(设备、设施)、数据资源(数据、数据库软件等),而且还有网络资源(通信链路、网络接入等)。2.5.2 数据安全保密性需求满足在数据存储、传输过程中的安全保密性需求。社会保障工作中涉及大量的敏感数据,在其处理过程中,特别是与各级单位数据交换过程中,要进行数据加密传输和存储,要保证数据的安全保密性。2.5.3 数据完整性需求满足在数据存储、传输过程中的完整性需求。在内部要保证数据存储和传输过程中不被篡改和破坏;在与各级单位数据传输的过程中,要保证数据不被篡改和破坏。2.5.4 实体的可鉴别性需求满足数据中心系统对用户及数据交换服务器的可鉴别性需求.系统要实现监管及其他方面的需求,其必要条件是
30、实现实体的可鉴别性,包括用户及数据交换服务器具有可鉴别性等。2.5.5 不可否认性需求满足数据中心用户行为和系统行为不可抵赖性的需求。用户每天都利用数据中心处理大量的事务,事务处理过程的可管理、效率的可审计、行为的可审计等,需要行为的不可抵赖性来解决,本项目建设中要保证在所有数据处理过程中,办公人员行为和系统行为的不可抵赖,以便审计和监督。2.5.6 对象和行为的可授权性需求实现对数据资源的自主授权和访问控制的功能.针对数据交换共享工作的特点,要求数据中心具有对对象灵活授权的功能,包括用户对用户的授权、系统对用户的授权、系统对系统的授权等,以及授权过程的审计监督.2.5.7 统一信任与授权策略
31、需求对于涉及十多个业务部门、若干业务系统的数据中心而言,安全性的实现不仅体现在各个部门、各个业务系统中,更重要的是在不同业务部门的不同系统实现互联后,如何保障数据、业务系统在互通后的信任、授权的一致性,因此在大社保系统中,必须建立统一的信任策略、授权策略,实现跨部门、跨系统的信任和授权服务的一致性,杜绝由于不同部门、不同业务系统不同的安全策略、不同的安全等级带来的安全漏洞和安全隐患.2.5.8 数据中心统一安全监管性需求由于数据中心涉及政府多个部门,因此需要实现数据交换、共享过程的可管理,实现对内部和对各级单位相关的业务处理的可审计性;系统中有大量的数据交换服务器、维护终端、系统软件、网络设备
32、等,为使这些资源协同工作,需要实现对实体(用户或数据交换服务器)进行统一的管理;系统需要对用户行为和系统行为进行记录和统计,对系统日志进行分析和统计,提供对用户和系统行为的审计监督。这种统一的安全监管必须以可靠的技术和严格的管理来保证。2.5.9 保障机制需求分析(一)制定XX市政务数据资源目录管理办法,重点说明政务数据资源目录体系和运行模式,明确提供方、使用方和管理方的职责分工。提供方负责政务数据资源目录中本部门政务数据资源的编目、注册、维护等;管理方负责政务数据资源目录的审核、发布和管理,并负责政务数据资源目录管理服务系统的日常运行维护;使用方负责对获取的政务数据资源在授权范围内合法使用。
33、(二)制定XX市数据中心实施指南,重点说明指导管理人员如何通过政务数据资源目录管理服务系统开展日常业务和管理服务工作,以及指导政务部门通过数据中心系统建立和更新维护数据资源目录等。(三)要结合本市特点和实际情况制订相关机制。第3章、 数据中心设计方案3.1 设计原则3.1.1 统一建设数据中心必须统一规范建设。通过制定统一的数据交换与共享标准,建设统一的数据共享与交换平台和统一的接口系统,可以避免重复投资,降低接口的复杂性,有效实现数据中心与业务部门以及业务部门之间的数据共享与数据交换,消除“信息孤岛”,实现数据资源的互联互通。3.1.2 相对独立根据数据中心的功能定位,数据中心的建设和运作必
34、须保持业务系统的相对独立性.为此采用松散耦合方式,通过在业务部门统一配置接口系统实现数据资源整合.3.1.3 共建共享一方面建设数据中心的目的是为了实现业务部门之间的数据共享.另一方面,数据中心的数据来源于各个业务部门,因此数据中心的建设必须依靠各业务部门的积极参与和配合。3.1.4 安全可靠数据中心的安全是非常重要必须要做好系统的安全设计,防范各种安全风险,确保数据中心能够安全可靠的运行。同时数据中心必须采用成熟的技术和体系结构,采用高质量的产品,并且要具有一定的冗灾功能.3.2 数据中心平台设计3.2.1 平台总体架构3.2.2 数据资源规划数据资源是数据中心最重要的资源.数据中心的数据资
35、源分布状态具有阶段性,每个阶段都对应数据资源整合的不同阶段,体现数据资源的管理集中、有机分布的特点.根据“基于数据,围绕数据,面向数据”的建设思路,我们进行数据资源体系的总体规划,然后具体描述共享型的共享数据库、操作型的业务数据库和分析型的历史数据库这三类数据资源的构建、维护和使用。3.2.2.1 数据资源规划的总体思路数据资源规划的总体思路主要包括如下几个方面: 数据共享标准化首先共享数据是标准的,其次共享的方法和途径是规范的。目前各系统数据资源数据库已经有多种存在方式,要解决系统间信息的互连、互通、互操作,必须针对共享数据建立共同遵守的标准规范,只有编码是统一的、格式是统一的、数据交换的方
36、式是统一的,才能保证数据是一致的,才能实现对数据交换和数据共享的有效管理。 业务数据相对独立各职能部门分管业务的范围和职责不同。因此,系统在全局考虑、统一设计的同时,还要充分考虑不同业务部门自身的特点,在统一规划的前提下,保证支持不同业务活动的数据具有相对独立性,建立面向各部门进行联机事务处理的业务数据库。 决策数据集成化建设数据中心的另一个目的就是将各部门的业务结果数据有机地集成在一起,进行综合查询和统计分析,为各级领导的决策提供有力的数据支持.3.2.2.2 数据资源体系结构数据中心数据资源体系结构对公共服务系统、业务应用、决策分析提供支持,数据中心的数据库包含如下内容: 共享数据库,包含
37、:自然人基础数据、法人基础数据库、元数据库、标准代码库、共享业务数据(如果业务部门之间通过数据中心进行数据交换)。 统计分析数据库,汇集各业务部门的统计分析数据,为决策提供数据支持. 运行管理数据库,用于监控管理、节点管理、日志等. 公共服务数据库,提供对公共服务系统的数据支持.3.2.2.3 共享数据一致性的保证共享数据包括自然人和法人基础数据及其元数据和标准代码数据、共享业务数据.共享数据一致性问题是数据中心面临的关键问题。从范围上划分,共享数据包括基础数据,基础数据包含基准数据。l 基准数据基准数据是指唯一表示自然人和法人的数据字段集合,自然人有身份证号码和姓名标识,法人有法人机构代码和
38、名称标识。基准数据主要来源是市公安局和市质监局。基准数据必须保证在整个社会保障信息系统是一致的,将来扩展到整个电子商务系统是一致的.市公安局和市质监局负责将更新的信息交换到数据中心;市数据中心负责汇总数据,进行比对整理校验,形成一致的基准数据,通过数据共享与交换平台分发给市级各业务部门和区数据中心;由业务部门/区数据中心校验更新自身的基准数据,保证基准数据的一致性.基础更新频度要达到每天更新甚至实时更新。数据的传递和分发通过数据交换平台实现。l 基础数据基础数据是指自然人和法人的常用基本信息,各业务部门日常管理都需要用到的面向主题的数据。基础数据包括自然人和法人的基准数据和其他元数据。主要来源
39、是市级业务部门和区数据中心。基础数据一致性必须建立于基准数据一致性的基础上。基础数据的一致性也需要通过数据共享与交换平台和相应的机制、管理办法来保证。各部门按照业务职能明确元数据维护责任和权限,定期将在办理业务过程中更新的元数据项数据提供给数据中心;数据中心根据基准数据一致性的原则,对各业务部门提供的数据进行比对校验,正确的数据增加或更新到数据库中,并每天按照各业务部门业务要求,将更新数据分发到各业务信息系统;各业务部门可以直接使用这部分数据作为支撑行政业务和行政管理的数据资源,也可以作为业务参考信息.基础数据的范围将随着元数据范围的扩大而扩大。这部分数据同时可作为社保卡的数据.基础数据更新的
40、频度,按照元数据使用的频度分别定义,通过部门协商机制研究确定,最低要求每周更新,一般每天更新,业务关联度较高的信息,要实现实时更新。数据的传递和分发通过数据交换平台实现。l 元数据标准和标准代码数据元数据标准和标准代码数据由市数据中心维护更新,并发布给各业务部门和区数据中心使用,由于业务部门系统内部沿用的代码可能与数据中心的发布版本不一致,业务部门需保证与其他业务部门进行共享交换的数据必须遵循数据中心的标准规范,而在系统内部可以采取逐步过渡迁移的方案,尽量减少影响业务运作。l 共享业务数据共享业务数据是指多个业务部门之间需要共享使用的数据,作为各业务部门进行行政管理的参考数据。数据来源渠道包括
41、市级业务部门、区级数据中心、社会保障卡和公共服务等业务运营机构。共享业务数据以业务数据的发生地管理部门为准.这类数据由各业务部门按业务需求和协商的频度提供给数据中心,在数据中心处提供各部门查询。由于这类数据量比较大,预计可以分业务、分批更新。3.2.2.4 共享数据库的建立过程共享数据库的建立采取逐步扩展的策略,达到数据整体上的一致性、完整性和准确性是一个逐步完善的渐进式递归过程.共享数据库的建立由业务驱动,业务部门提供的自然人、法人基础数据经数据源单位确认后存入基准数据库,并反馈业务部门,经过不断的提交和确认,基准数据库的数据不断增加,覆盖范围不断扩大,比对的工作量逐步减少。在基准数据库的基
42、础上,不断补充其他的自然人、法人基础信息,最终形成自然人、法人共享数据库.采取围绕自然人和法人基准数据为核心,在核心的基础上不断扩充和完善自然人和法人共享数据的策略进行建设.首先建立和整理自然人和法人基准数据库,保证核心的准确性,为各业务部门进行数据清洗和整理提供基础;再在基准库的基础上搭建自然人和法人共享数据库的整体框架,共享的信息内容成熟一个、整合一个、交换一个。3.2.3 数据支撑平台XX市电子商务数据中心支撑平台主要包括:数据共享交换子系统、目录管理服务子系统、共享数据管理子系统、共享业务管理子系统、系统配置管理子系统和系统安全管理子系统。3.2.3.1 数据共享交换子系统数据共享交换
43、子系统为全市各业务部门提供数据交换服务。主要功能包括:(1)交换管理提供交换节点、交换服务和交换桥接的配置、调度和检测功能;提供交换服务和交换桥接的日志查询和统计功能。(2)交换服务提供共享域内交换节点之间的数据共享交换服务,包括采集、分发、汇总和转发;提供交换节点与业务系统之间的交换桥接服务,实现数据提供和获取;提供跨域交换服务,实现共享域之间通过对接节点进行数据交换.数据交换引擎是数据共享交换平台的核心。数据交换引擎主要包括服务处理和数据接口。(一)服务处理数据交换引擎运行过程示意图如下:图表 1数据交换引擎运行示意图数据交换引擎接负责收并处理数据交换服务请求,实现数据的交换.主要包括:(
44、1)服务请求监听器服务请求监听器采用监听机制,实现对服务请求的并发接收。(2)服务解释处理器服务解释处理器负责解释执行服务请求.服务请求监听器把服务请求转发到解释处理器,服务解释处理器查询所请求的服务定义,根据服务定义产生执行序列并控制各个交换节点实现交换服务.在数据交换压力大的时候,根据服务的优先级高低,控制交换服务的执行顺序,确保高优先级的服务优先执行.(3)服务定义服务定义记录了服务的项选参数以及设置,描述了服务应该如何解释和执行。交换服务可以定义服务优先级等信息。(4)接口控制接口控制负责把命令序列发送到各个交换节点,控制交换节点上的数据接口,驱动数据交换的执行.(5)传输管道数据的交
45、换过程是在传输管道中进行的,传输过程分为三部分,数据输出,网络传输、数据输入。在源节点的数据输出接口把数据由数据源读出,并根据服务配置经过数据加密、数据压缩等过滤器。经数据输出接口输出的数据通过消息中间件传输到目标节点.目标接点的数据接口接收到数据后反向经过各种过滤器把数据还原出来,然后写入到目标数据源。(6)管道管理管道管理器负责管理数据交换过程中的传输管理,包括管理的创建、动态分配、撤消等操作。(7)日志监控日志监控按级别记录数据交换引擎在运行过程中的事件记录,提供监控功能.(二)数据接口数据共享交换平台支持三种数据接口方式:交换库方式、文件方式以及Web服务方式,业务系统通过交换平台进行
46、数据共享交换时,可以根据实际的情况选择合适的数据接口方式接入交换平台。在接入节点时,根据实际情况选用一种或多种接口类型。对于有业务系统存在,只要求提供或获取共享业务数据的情况,建议采用数据库类型接口;对于需要获取基础数据的情况,以及实时性要求高的情况,建议使用Web 服务类型接口;文件类型接口根据实际情况决定是否采用.3.2.3.2 目录管理服务子系统目录管理服务子系统是支撑平台的核心子系统,提供政务数据资源目录的注册管理以及政务数据资源的发现定位服务.主要功能包括:(1)目录管理提供数据主题的管理功能,数据主题包含了对数据资源的语义信息和规格信息等;提供对目录层次结构的管理,包括系统自动管理以及手工管理两种方式。(2)目录服务按部门、专项以及分类标签等方式浏览数据资源目录;提供数据资源的检索和统计功能。3.2.3.3 共享数据管理子系统共享数据管理子系统是支撑平台的一个基础子系统,是实现数据资源共享交换的基础。主要功能包括:(1)数据标准管理提供公共数据元、信息分类和代码的配置管理功能。(2)数据源管理提供数据源的配置管理功能。(3)数据质量管理提供对共享数据的质量管理功能,包括问题数据的查询、浏览和统计。3.2.3.4 共享业务管理子系统