基于MongoDB的信息集成系统的设计研究.pdf

信息记录材料 年 月 第 卷第 期基于 的信息集成系统的设计研究房 萍（延边职业技术学院 吉林 延吉）【摘摘要要】信息集成是基于信息采集实现的，数据采集有两种方式：自动数据收集和手动数据收集。手动采集主要由软件完成，而自动采集通常由硬件单元支持。设计一个基于 的信息集成系统，系统通过数据集成收集和转换存储在不同位置的数据，利用 集群分布式方式存储大量数据。对系统进行实验，结果表明，这一系统具有良好的可扩展性、较高的灵活性、较强的容错性，具有很大的实用价值。【关关键键词词】信信息息集集成成；分分布布式式系系统统；数数据据共共享享【中中图图分分类类号号】【文文献献标标识识码码】【文文章章编编号号】（）作者简介：房萍（），女，吉林延吉，硕士，副教授，研究方向：计算机技术。引言互联网技术的快速发展提高了数据组织的效率。与此同时，每天都有大量的数据需要进行比较和组织。如何提高数据组织的效能也成为一个非常令人担忧的问题。随着数据量的快速增长，数据存储也将得到扩展。然而，在分布式数据的存储中存在许多关联。需要解决的问题是如何整合这些数据并利用它们来探索潜在价值。因此，本文 设 计 了 一 个 基 于 的 信 息 系 统，选 择 作为存储底层，以此来实现多个异构数据源的可靠集成，并通过在大量数据中集成和共享来自多个源的数据来解决有效的效率问题。信息集成的意义信息系统使用不同解决方案来应对不同技术、不同环境和特定需求，并且信息系统实现了独立性、互操作的功能。但前概念的决策支持系统等全球应用程序需要广泛集成这些异构性，从而为管理人员提供完善的信息，科学地决策计划。系统异构是客观存在的，包括硬件和软件的异构。同时，考虑到成本、对系统自主性的要求以及现有系统对企业的关键知识，系统的集成将创建一个和谐、统一、高度可访问和高度互操作的新系统，同时尊重现有系统并努力保持其自身的自主权。包括运行支撑环境集成、功能集成、信息集成、人员组织集成、应用集成等。信息集成是实现信息的正确及时传输，也是支撑信息的关键，所以具有重要意义。信息集成比传播更重要，信息集成可以产生更多效果。集成信息可以帮助我们利用现有资源来科学地预测和评估业务趋势。信息集成可以发挥信息的力量，提高生产效率。关键技术研究 分布式存储系统分布式存储系统通过计算机网络连接大量服务器，提供存储工具。与共享存储系统相比，分布式存储系统具有独特的优势，如可扩展性、低成本和高性能。分布式数据库、分布式表格系统、分布式键值系统、分布式文件系统均是当前常见的存储系统。属于与未非关系型数据库，提供了一种数据存储方法，不仅灵活、可扩展，并且十分强大。使用键值来存储数据，其结构尚未固定。不同的提示可能有不同的字段，适合非结构化的数据储存。相较于数据库关系来说，存在一定的优势，包括：（）处理海量数据时的高性能：一般关系型数据库是采用的 是。在更新时，会失效，这也导致频繁访问更改数据的数据集高效化不足。而 是细粒度、记录级的，更适合存储访问频繁更改的数据。（）扩展性更强：利用文档化的数据模型，实现数据共享。不同席位之间的数据没有外键，使数据更容易扩展。（）数据结构比较灵活：以键值对的形式存储数据，不再需要给存储的数据建立存储结构，可以对数据灵活增加和减少字段。数据集成技术数据集成是将格式不同、来源不同、属性不同的数据进行物理集成和逻辑集成，从而实现完整的数据。当前有逻辑集成和物理集成两种常见的数据集成类型。其中，逻辑集成仅提供接口，或是看起来在本地查询，但是数据无需储存在本地。逻辑集成见图 所示。物理集成见图 所示。物理集成是在本地中储存所有来源不同的数据，仅询问数据是否应该存储在本地。基于 的信息集成系统设计 系统架构系统设计的总体目标是集成和集成来自多个来源的异构数据。图 所示为系统设计架构图。系统分为数据转换模块、数据采集、数据格式管理、系统访问管理、数据查询和数据存储等重要模块。数据格式管理能够进行访问与目标数据结构的数据定制；管理系统主要负责调整端口号、数据库密码等数据源。数据收集模块负责收集众多来源异构数据，并且收集数据后要通过数据转化和存储模块将数据存储在分布式存储系统（类）中，实现了多元文化数据的集成。另外，数据查询模块还会提信息记录材料 年 月 第 卷第 期图 逻辑集成示意图图 物理集成示意图供统一问卷，使用户可以在本地查询存储的数据。核心模块设计数据存取模块根据定义的结构映射化将待接入的数据转化为目标数据。因为需要访问系统中的多个数据源，并且数据结构具有一定差异，因此需要分别访问每个数据源，从而合并相同类型的数据，将其妥善保存。由于数据具有广泛的来源，如果使用传统关系数据存储数据的话，会出现大量空间浪费的情况。同时在数据量急剧增长时，查询效率也会下降。扩展数据库接受向上扩展机制时，需大量成本。因此，基于上述多重因素，本文选择 为存储底层。不仅能够通过 文档库消除各个数据源之间数据字段的差异。同时 开放了其源属性，使扩展和分发操作变得更容易，更好地处理大量数据。为了解决大量数据造成的可访问性问题，采用分布式图 系统架构图集群创建，并采用数据共享理念，即共享一个数据集，然后进行划分，使其成为不同的 节点。系统用三个服务器建构 集群，将其分为三个部门，且每一部分均具有三个复用集。另外，考虑到数据源的频繁访问问题，所以对于数据源要采用不同的片键，同时确保片键均匀分布，以此来实现数据的均匀分布，最终提高系统的数据收集性能。一般情况下，将其中一个分片用作读取和写入数据的主分片，其他分片需要与主分片之间进行通信，确保数据完整。另外，其他分片也拥有查询功能，在主分片忙碌状态下，也可以使用其他分片进行查询，实现了并发查询功能。每一分片有三个复用集，即拥有两个额外的数据备份。一旦其中一台服务器出现故障，其他两台服务器上依旧可以保持全部的数据，提高了系统的容错性和可靠性。在 集群内部，数据存取模块根据目标数据的操作实体创建了一个数据集合，并将这些来自不同来源的业务实体存储到一个集合中，以实现多个数据源的集成和集成。信息集成系统功能 数据采集与处理数据采集是应用程序在系统运行过程中一项非常基本的功能。与传统的数据收集不同，传统的数据有一定程度的延迟。如果在化工厂工作，数据延迟可能会导致严重后果。因此，系统进行数据收集过程中，必须确保信息的时效性。数据的实时传输需要控制误差，尽量在 以内。应定期监测采集数据的时效性，以确保任何相关数据收集都能为后续数据处理提供保障，并提高数据效率。数据收集完成后，必须立即对信息进行处理。大数据时代下，每单位时间生成的信息总量非常大。要提供数据流计划，设计者必须依靠系统本身来创建专业的数据模块流程。根据模块化系统的分类标准，实时数据管理被划分为一个过程系统，并将各种类型的信息数据放置在相关的数据过程中，以提高数据处理的准确性和效率。信息记录材料 年 月 第 卷第 期 数据咨询结束信息分类后，对于内容进行分类处理，构建不同种类的数据库。或是将分类标准应用于数据处理。一旦所有数据都经过科学存储，工作人员还应注意任何数据内容，这些数据内容可作为后续查询。操作员可以通过数据查询功能，了解详细信息。数据传输根据实时传输要求，利用 来建立数据库系统，从而实现信息的保存和处理，使信息数据使用人员快速了解具体 情 况。的 实 际 数 据 传 输 模 块 是 一 个，利用标准的 方法实现数据读取功能。另外，用于 客户端的 可以与数据传输模块连接，该模块可以导致到公司数据库的实际数据传输。数据库更新数据整理模式以往采用的是数据报表形式进行，但是因为后续生产或相关参数发生变化，数据信息也需要随之修改。但修改多次之后，必然会丢失初始数据，无法确保数据的完整性。而使用数据库设计方法，在软件编制结束后，无需进行软件修改，仅需修改各种报表数据库即可完成报表数据的增加或减少，而表格、表头的改动使 中修改更加方便，有效避免了编程人员反复修改数据库这一重复且繁琐的工作内容。系统试验与结果分析本文比较了、单机和 集群作为存储数据库的几种信息集成系统的数据集成效果。测试集选择一定数量的异构数据集，基本信息见表 所示。表 测试数据集的基本信息情况数据集测试集 数据量 条数据集测试集 数据量 万条数据集测试集 数据量 万条数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 数据集 使用、单机和 集群来测试数据集成系统。三个测试集合分别在系统上执行数据集成，表 所示为集成结果情况。表 平均时间对比测试集测试集 测试集 测试集 单机 集群 结果发现，当集成数据量较小时，单机的性能与传统集成数据库相差无几，基于集群节点通信之间的时间开销，因此 集群低于 单机；但随着数据 量 增 加，单 机 的 性 能 逐 渐 高 于，集群的性能也逐渐超过 单机。对于大量数据来说，集群的性能优于 和传统集成数据库。这意味着采用 集群模式搭建存储底层，能够有效提高系统性能。另外，为了增强 集群的查询效率，将查询条件字段添加索引，以下为代码：（：，：，：，）；在设置完索引之后，对于索引前和索引后查询所需时间的平均值分别进行计算，并对于索引前后的查询效率进行对比，表 所示为测试结果。在结果中可以看出，当数据量较大的情况下，在一定程度上提升了索引后数据查询效率。这证明海量数据背景下，在 中建立索引，提高在系统中的数据查询效率。表 索引前后平均查询时间对比测试集测试集 测试集 测试集 索引前 索引后 结语在大数据时期，需要对大量数据进行汇总和组织。如何提高数据组织的效率也成为一个非常令人担忧的问题。使用数据收集系统和信息集成系统能够有效解决这一问题。加强系统设计，提高数据收集效率和数据应用的价值是非常重要的。所以将 作为存储底层进行系统设计，解决大数据时代下的数据集成性能的问题。但是还需要对 的索引、分片等进行下一步研究，以便更好应对数据量飞速上升的情况。（下转第 页）信息记录材料 年 月 第 卷第 期主从结构，通过中心节点能有效连接加密管存请求，该拓扑的结构较简单，处理能力适中。实验使用的电子档案格式较多，包括 支持电子档案、支持电子档案、电子档案，因此本实验设置了多个数据传输接口，实现不同类型档案的双向存储。在实验过程中，需要进行档案检索，获取对应的实验样本，因此，本文使用 文件资源检索器完成检索。实验结果与讨论结合上述的实验概况及准备，即可进行电子档案加密管存实验，即分别使用本文设计的基于全息数字水印技术的电子档案加密管存方法、基于代理重加密的电子档案加密管存方法以及基于混沌序列的电子档案加密管存方法进行管存，记录不同时间下三种方法的加密管存信息量，实验结果如表 所示。表 实验结果时间加密管存信息量 本文设计的电子档案加密管存方法基于代理重加密的电子档案加密管存方法基于混沌序列的电子档案加密管存方法 由表 可知，本文设计的基于全息数字水印技术的电子档案加密管存方法在不同时间下的加密管存信息量较高，均高于 ，基于代理重加密的电子档案加密管存方法及基于混沌序列的电子档案加密管存方法在不同时间下的加密管存信息量相对较低，在 之间。上述实验结果证明，本文设计的基于全息数字水印技术的电子档案加密管存方法具有一定的应用价值。结语常规的电子档案加密管存方法的管存效果较差，不符合目前的电子档案加密管存要求，因此，本文基于全息数字水印技术设计了一种全新的电子档案加密管存方法。实验结果表明，设计的电子档案加密管存方法，具有良好的加密效果，适用于电子档案信息加密。【参考文献】韩妍妍，魏万奇，窦凯丽 基于代理重加密的区块链学生档案管理系统设计研究 北京电子科技学院学报，（）：苑克宗 基于混沌序列的疾控档案用户隐私信息加密方法 兰台内外，（）：摆玉龙，潘维双，李晓风，等 多涡卷混沌系统在图像水印加密上的应用研究 西北师范大学学报（自然科学版），（）：，徐依朋，胡坤，王小超，等 基于 和 的遥感图像零水印算法 计算机辅助设计与图形学学报，（）：黄慧玲 面向单套制的档案管理系统功能需求分析：基于电子档案管理系统通用功能要求与 的比较 办公自动化，（）：（上接第 页）【参考文献】刘江涛，王亮亮，崔夏阳，等 基于 和 的铁路选线案例系统设计与实现 铁路计算机应用，（）：孙赫勇，王星 基于实验室信息管理系统的信息系统集成设计 工业控制计算机，（）：潘伟，李新建 基于深度置信网络的信息快速集成系统设计 电子设计工程，（）：张远林，周后签，卢熙 基于集成平台的移动护理信息系统的设计与应用 当代护士（上旬刊），（）：任丽红，张飞宇，李海涛 医院信息系统集成总体设计思想及具体实施方案选择 安徽科技，（）：鄂晶晶，张光亮，刘卿，等 大型三甲医院健康体检信息系统集成设计与应用 中国医学装备，（）：谈永奇，王换换，阳媛，等 基于智能化集成设备的医院大数据信息化云测试系统设计 计算机测量与控制，（）：钟兴 烟草行业信息系统集成技术的应用研究 电脑知识与技术，（）：