T_CI 095-2023 公共基础服务业云边协同技术标准 第3部分：数据协同.pdf

1ICS 35.100.05CCS L79团体标准T/CI 095-2023公共基础服务业云边协同技术标准公共基础服务业云边协同技术标准第第 3 部分：数据协同部分：数据协同Technical Standards for Cloud Edge Collaboration in PublicBasic Service IndustryPart 3:Data Collaboration2023-07-13 发布2023-07-13 实施中国国际科技促进会发布2目次前言.31 范围.42 规范性引用文件.43 术语和定义.44 逻辑隔离网络数据传输方法要求.65 基于人工智能的云边协同文件数据分类服务要求.66 非结构化数据云边协同.67 结构化数据逻辑一致性恢复.78 基于共享存储的无代理连续数据保护方法要求.73前言本文件按照GB/T 1.12020 标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。本文件编制公共基础服务业云边协同技术标准 第3部分：数据协同，弥补现有标准中对跨域云边应用中数据协同进行系统归纳整理的缺项。本文件由中国国际科技促进会标准化工作委员会提出。本文件由中国国际科技促进会归口。本文件的发布机构提请注意，声明符合本文件时，请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。所涉及专利持有人已向本文件的发布机构保证，他愿意同任何申请人在合理且无歧视的条款和条件下，就专利授权许可进行谈判。所涉及专利持有人的声明已在本文件的发布机构备案。相关信息可以通过以下联系方式获得：专利持有人姓名：南京壹进制信息科技有限公司地址：江苏省南京市江北新区星火路14号长峰大厦1号楼10层本文件起草单位：云上贵州大数据产业发展有限公司、贵州海誉科技股份有限公司、南京壹进制信息科技有限公司、贵州省广播电视信息网络股份有限公司、中铁二院工程集团有限责任公司、江西师范大学、重庆大学、电子科技大学、西安电子科技大学、北京理工大学、贵州大学、暨南大学、长安大学、西北工业大学、同济大学、江西电信信息产业有限公司、陕西思极科技有限公司、国网思极网安科技（北京）有限公司、国网陕西省电力有限公司、中国电子科技集团公司第十五研究所、北京城市排水集团有限责任公司、国网江西省电力有限公司、国网甘肃省电力公司电力科学研究院、田禾信息科技（上海）有限公司、渝丰科技股份有限公司、安徽百诚慧通科技股份有限公司、北京工业大学、北京交通大学、合肥商贸科技学校。本文件主要起草人：黄明峰、李凡、马勇、刘军、李博嘉、邵诗韵、魏伟、周万青、王似巍、罗梦灵、李闹、张有成、李海鹏、李国政、赵涵、戴梦轩、夏云霓、张小松、牛新征、李发根、赵生捷、曾令果、梁良、叶礼斌、沈玉龙、殷树刚、陈健、何美斌、陈明亮、代漉川、刘驰、朱文佳、田有亮、戴光、陶俊、鄂驰、马志程、马慧生、张树军、杨仕博、房涛、郭晶晶、马菁、张烨、蔡国强、张德涵、俞伦华、朱远旦。本文件为首次发布。4公共基础服务业云边协同技术标准 第 3 部分：数据协同1范围本文件规定了公共基础服务业云边协同技术标准 第 3 部分：数据协同的术语和定义，以及对跨域云边协同中的数据存储，数据备份，数据分类等核心问题提出了完整的技术解决方案。本文件适用于公共基础服务行业跨域云边协同中的数据存储、数据备份、数据分类。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T 32399-2015信息技术 云计算 参考架构GB/T 32400-2015信息技术 云计算 概览与词汇T/CI 093-2023公共基础服务业云边协同技术标准 第 1 部分：总则3术语和定义GB/T 32399-2015、GB/T 32400-2015、T/CI 093-2023 中有关术语适用于本文件。下列术语和定义适用于本文件。3.1云计算 Cloud Computing一种通过网络将可伸缩、弹性的共享物理和虚拟资源池以按需自服务的方式供应和管理的模式。3.2云服务 Cloud Service通过云计算(3.1)已定义的接口提供的一种或多种能力。3.3云计算基础设施 Cloud Computing Infrastructure由硬件资源和资源抽象控制组件构成的支撑云计算的基础设施，包括为云服务客户提供计算资源、存储资源、网络资源、安全资源所需的软硬件设备及云管理平台。3.4云计算环境 Cloud Computing Environment将分布在互联网上的计算机等终端设备相互整合,借助某种网络计算方式,实现软硬件资源共享和协调调度的一种虚拟计算系统。3.5边缘节点 Edge Node在靠近用户的网络边缘侧构建的业务平台，提供存储、计算、网络等资源节点。3.6连续数据保护 Continuous Data Protection5一种自动保存对数据更改进行实时备份的数据存储系统，通过捕获保存的每个版本数据，允许用户或管理员将数据恢复到任何时间点。3.7数据共享 Data Sharing使相同的数据资源可用于多个应用程序、用户或组织的过程。数据共享可以通过不同的机制和协议来实现，以促进数据的访问和利用。3.8数据集成 Data Integration将来自不同来源、不同格式和不同结构的数据整合到一个统一的视图或数据存储中的过程。数据集成旨在实现数据的一致性和互操作性，使数据可以在协同环境中有效地使用和分析。3.9数据协同 Data Collaboration多个团队、部门或机构之间共同合作、共享和处理数据的过程。旨在促进协同工作和决策，并使数据能够在协同环境中流动和交换。3.10数据同步 Data Synchronization确保多个数据源或数据副本之间的数据保持一致的过程。数据同步可用于确保数据在不同系统或数据库之间的更新和一致性，以支持数据协同和协作。3.11一致性恢复 Consistency Recovery通过一定的算法或机制，将数据库状态恢复到一致性状态的过程。一致性恢复旨在保证数据库系统的可靠性、一致性和可用性，确保系统在发生故障后，能够继续提供正确的服务。3.12封闭式网络 Closed Network一种限制网络连接和访问的环境，外部访问和连接受到限制，只有经过授权的用户或设备才能进入该网络。3.13公共基础服务业 Public Basic Service Industry提供基础性服务和基础设施的行业，通常由政府或公共机构提供或监管，以确保全民平等享有服务，并维护社会的整体利益，包括交通、能源、通信、政务、教育、住房、救援等与公众生活息息相关的基础服务。6图1 公共基础服务业云边协同技术标准数据协同关系图4逻辑隔离网络数据传输方法要求具体指标包含但不限于以下项目：a)计算机应拥有多张网卡与封闭式或非封闭式网络相连，且同时只能连接一个网络；b)数据传输应保持数据格式一致性；c)当切换操作系统时，应断开网络并关闭原操作系统所有任务；d)在封闭式网络中所产生的数据都只存储于虚拟盘中；e)操作系统内应安装监控软件，保证数据不可在无授权时复制。5基于人工智能的云边协同文件数据分类服务要求具体指标包含但不限于以下项目：a)应同时使用文件数据关键词分析模块、文件数据摘要分析模块，抽取信息，并由文件数据分类人员进行分析得到其标签；b)分类过程中应计算分类效率，当分类效率小于阈值时由专家进行二次分析评定再保存；c)应使用存储模块存储已分类文件数据及摘要、关键词和最终分类标签，并动态更新关键词提取模型、摘要生成模型和文件数据分类模型的参数。6非结构化数据云边协同6.1 高效的文件备份与恢复方法要求7具体指标包含但不限于以下项目：a)当文件修改时应将文件属性和文件变化量数据存储；b)文件属性存储于介质，文件变化量数据分块存储并对其生成相应映射；c)备份时应获取最近备份操作记录，并将其与文件变化量数据进行合并；d)恢复时应读取对应文件属性与文件映射；e)读取文件映射时应读取其每个数据块并合并。6.2 基于标识符的增量文件数据保护方法要求具体指标包含但不限于以下项目：a)数据库表应包括目录信息表、文件信息表和增量文件信息表并建立索引；b)首次完全备份时，应生成对应标识符并生成文件全备份记录；c)系统中应安装文件过滤驱动程序，实时监控所有文件的操作并生成文件操作记录；d)应用程序读取文件操作记录时应形成并存储增量文件，生成数字标识符并添加增量文件记录。7结构化数据逻辑一致性恢复7.1 保证数据库一致性的CDP备份与恢复方法要求该方法应具备支持CDP备份与恢复的功能。具体指标包含但不限于以下项目：a)备份时应配置I/O过滤驱动，将数据库文件添加到文件列表中；b)I/O过滤驱动应分析I/O记录是否具有一致性并生成存储相应记录；c)数据库文件完全备份时应先完成初始全备份，并写入备份存储中；d)数据恢复时，应先停止I/O过滤驱动、数据库的运行；再从备份存储、I/O记录集进行恢复；最后重新启动数据库、I/O过滤驱动，恢复完成。7.2 基于数据重整的关系型数据库快速恢复与逻辑备份的方法要求该方法应具备对快速恢复关系型数据库的功能。具体指标包含但不限于以下项目：a)应先分析数据库信息，得到数据总量规模、数据库记录条数、数据库记录的数据分布、数据库记录的数据大小；b)应执行性能测试，获取执行消耗基准值与记录数基准值；c)应根据执行消耗基准值与记录数基准值，通过效率增益值分析，计算最佳切分值；d)应根据最佳切分值对原始数据库备份集进行重整，输出新的数据库备份集，提高恢复效率，减少恢复时间。8基于共享存储的无代理连续数据保护方法要求具体指标包含但不限于以下项目：a)应在备份服务器上加载一个虚拟块设备驱动程序，创建一个虚拟块存储设备；8b)应断开生产服务器和IP SAN共享存储服务器之间的网络连接，将备份服务器和生产服务器网络连接，备份服务器和IP SAN共享存储服务器网络连接；c)处理模块同步转发读写请求给IPSAN共享存储服务器时，应同时将数据变化提交给备份服务器上的CDP备份模块处理；d)CDP备份模块应记录数据变化日志，变化日志包括时间戳、数据内容、数据大小、数据位置。