基于XML的数据集成.doc

基于XML的数据集成、共享与交换系统CoXML
一、项目概述
CoXML系统由北京大学信息学院数据库研究室研制，受到国家863数据库重大专项课题“基于XML的数据集成、共享与交换”支持。CoXML系统以网络环境下的异构数据集成、交换和共享为目标，实现了主流DBMS以及其它异构数据源之间的基于XML的数据互联互访，建立了一个用于为网络环境下基于XML的海量异构信息g集成、共享和交换的通用平台。
二、应用范围
信息技术已经广泛应用于政府、电信、保险、银行、广电等各行业的日常操作和各种管理决策过程，但是这些系统往往只分散在各个职能部门中，相互间信息的异构性使得交流非常困难。随着Internet在全球的迅猛发展，各行业的信息系统已经不再是传统的单数据库应用系统，而希望发展为Internet上多数据源集成的信息系统，因此“信息集成、共享与交换”成为当前数据管理领域研究和开发的热点。
目前XML已经成为Internet上信息的表示和交换的标准，已迅速成为包括B2B在线交易、信息与系统集成、Web应用和门户等新型Internet应用的关键技术，XML已经在理论上被证明了具备包装各类信息源的能力，所以建立基于XML的信息集成、共享与交换蕴含巨大的商业潜力。
同时，电子政务的构建，正经历着由以技术为中心向以数据为中心的方向转变，没有数据也就没有信息，也就没有政府网站及电子政府。整合政务信息资源，建设和改造政务数据库，将成为今后数年电子政务建设的关键。建设“三网一库”的办公系统，建成政府办公信息资源库，共享政府办公业务信息资源，必将会带动政府行业对数据管理产品的需求。
为了实现政府办公业务信息资源的共享，需要集成政策法规信息，公文信息、政府投资项目信息、社会保障信息、统计信息、公安执法信息等方面的数据库。在开展电子政务建设过程中，数据的集成、共享和交换问题明显突出出来。因此除了需要建立、管理和维护信息资源目录体系、信息交换指标体系之外，深入研究数据集成、共享与交换的关键技术，研制开发具有自主版权数据集成、共享与交换软件产品具有广泛的应用前景。
三、技术特点和优势
l 面向预定义模式的XML数据的高效发布
为更加有效地实现数据共享和集成，CoXML支持用户设置发布XML的目标数据模式，并根据用户建立的数据源模式和目标模式之间的映射，自动产生数据发布查询语句，实现高效的发布流程，同时在发布过程中，验证发布数据的结构约束。
l 实现基于关系数据库的XML数据的优化存储策略
XML数据模式的复杂特性，如嵌套和任意多个子元素，使得一个XML数据文档对应多个关系数据表，这种情况导致了后续查询处理的复杂性。CoXML基于XML数据所遵从的DTD，在考虑关系存储空间复杂性和查询处理复杂性的基础上，提出了优化的XML数据的关系存储策略，减少了后续查询操作的代价。
l 实现了主流商业数据库（包括Oracle、DB2和SQL Server等）和XML的无缝转换机制
CoXML系统中设计过程中充分考虑了异构数据库管理系统的特点，支持集成不同数据库管理系统中的数据。目前，CoXML支持主流的商用数据库，包括Oracle、DB2、SQL Server等，完成了大量的数据测试。
l 可视化的复杂数据集成流程的支持
在数据集成和发布过程中，单一的数据发布或基于关系数据库的XML存储步骤不能够实现用户复杂的业务逻辑。CoXML支持用户可视化的设置数据集成流程，支持流程中不同步骤之间的数据传递，达到数据集成流程一次设计、多次执行的效果。
l 实现了QBE风格的XML数据查询机制
CoXML系统实现了QBE风格的XML数据查询机制，用户无需掌握复杂的查询语言，通过可视化的设置，完成XML数据的查询。
l 100%Java体系结构，支持不同平台，不同操作系统，便于系统移植。
下图描述了CoXML系统的体系结构：

图1：CoXML系统体系结构
四、技术水平
CoXML系统于2004年通过了国家863数据库重大专项专家组的鉴定。专家组一致认为CoXML在功能和性能上满足合同要求，具有很好的应用前景。
同时，在CoXML系统研制过程中，北京大学数据库教研室在重要国际会议、重要国际学术期刊(International Journal)和国内核心学术期刊共发表和录用相关论文37篇，其中25篇已经被SCI/EI/ISTP收录；申报国家发明专利5项。
五、项目所处阶段
经过多年的研制和开发，CoXML系统已经完成1.0版本。目前CoXML已经应用到金融领域、电子政务、教育等领域，实现了基于XML的异构数据的集成、共享和交换。
六、市场状况及市场预测
基于XML的数据集成与交换，无论是在学术界还是工业界都得到了广泛关注，并且成为当前XML数据管理领域一个重要的研究和开发方向。其中很多研究成果都是结合原型系统的开发进行的，例如SilkRoute、XTABLES和Clio等系统。
为了实现XML数据和关系数据库数据之间进行有效的转换，典型DBMS系统如IBM DB2、Microsoft SQLServer、ORACLE等均提供了相关工具来实现XML文档和关系数据的转换。但是对于异构关系数据的发布，目前的工具支持还很不够，例如各开发商提供的语言通常缺少灵活性，支持查询的能力很有限。
从上面的分析可以看到，自从XML诞生以来，几乎国外各大软件公司开始研究Internet上的信息集成、共享和交换技术，各类标准相继出现。比较而言，国内相应产品相对匮乏，虽然也有些相关技术的研究，但都没有形成产品化和系列化，而信息集成、共享和交换的需求却非常迫切，在国内企事业单位内部的应用只能被国外某几家厂商的产品垄断，开发并应用Internet上的基于XML的数据集成、共享与交换平台，蕴含巨大的商业潜力。
七、所需设备及投资估算
CoXML客户端支持Windows、Unix等操作系统，后台服务器支持Oracle, DB2, SQL Server等主流的数据库。CoXML的运行环境和应用系统的需求相关，最小配置包括(CPU:PII/内存256M/网卡10M)。
八、合作方式
合作开发、技术服务。