元数据标准化发展研究.pdf

标准化研究Standardization Research2023 年第 9 期http:/25随着大数据技术的发展，万物皆可数，我们进入到物理世界和数字世界的双重世界，数据已经成为一种重要战略资源。元数据作为后数据时代治理管理数据的一种重要技术手段，面临如何建、如何管、如何用等问题，即如何通过元数据的建设研究推进数据产品化、服务化，推动全域数据上网上线，落地建设基于元数据的共享数据空间，促进数据搜索发现、有序流转，释放数据价值与活力，实现数据为战的目标。本文从元数据标准化建设的视角，分析比较国内外技术发展，提出发展思路和框架。1 元数据概述1.1 元数据概念与分类数据是客观事物的符号记录，是信息的可再处理和解释的形式化表示，以适应于数据的通信、解释或处理。元数据是用来描述数据的数据，是对数据的更高层级抽象，是认识和管理数据的一种媒介和途径，其使用目的在于：识别资源、描述资源、评价资源、追踪资源等，实现数据资源的有效发现、理解、组织和管理等。数据反映了真实世界的对象、事件、活动和关系，而元数据则反映了数据的结构、特征、关系、管理等。在国际上，元数据的标准研究一直非常活跃，并随着数据建模、Web 互联网、大数据等技术的发展同步发展。2019 年 ISO 发布的 ISO/IEC 19583-1:2019 Information technology-Concepts and usage of metadata Part 1:Metadata concepts 中规定，根据元数据的功能不同，主要可以将元数据分为 3 类1-2。(1)结构元数据。在信息系统中负责数据管理的编辑：贾静宇E-mail:中国电子科技集团公司第二十八研究所1 全军大数据中心建设专项办公室2 军事科学院战争研究院3严 红1 穆志勇2 李明哲3 武志功1 王 静1 周 宇1Research on the Development of Metadata Standardardization摘 要 元数据作为后数据时代治理管理数据的一种重要技术手段，面临如何建、如何管、如何用等问题。为了促进元数据规范化建设发展，有效提升元数据质量，介绍了元数据概念、分类和发展趋势，分析了国内外元数据技术标准化进展，提出了元数据标准体系的总体框架，并梳理元数据标准化发展重点和关键技术，以推进对数据的治理管理能力提升，从而提升数据的可发现、可访问、可理解、可互操作等能力。关键词 元数据 发展趋势 标准体系 总体框架Abstract:Metadataas an important technical means of governancing and managing data in the post-data eras,faces problems such as how to build,how to manage and how to use it.In order to promote the standardized construction and development of metadata,effectively improve the quality of metadata,this paper introduces the concept,classification and development trends of metadata;analyses the standardization development of metadata technology at home and abroad;and puts forward the overall framework,development priorities and key technologies of the metadata standardization development.So to promote the improvement of data governance and management capabilities,and improve the discoverability,accessibility,comprehensibility and interoperability of data.Keywords:metadata;development features;standard system;overall framework元数据标准化发展研究标准化研究Standardization Research信息技术与标准化http:/26人所使用的元数据，用来描述数据的“容器”，例如，使用 SQL 数据库语言管理的数据库中的表和字段。(2)描述性元数据。其用于发现和识别内容的元数据，如图书管理员的元数据；有助于进一步描述其他数据的元数据，如科学家观察到的关于连续或系统产生的数据的元数据。(3)管理元数据。与数据值相关联的元数据，例如描述何时以及谁创建了数据的元数据，谁可以编辑和管理数据，以及关于数据的任何其他有用信息，包括描述多媒体数据的元数据。本文从结构元数据、描述性元数据和管理元数据 3 个方面分析国内外元数据的技术和标准的发展。1.2 元数据技术发展趋势纵观国内外元数据技术发展，主要呈现以下发展趋势：(1)元数据是数据目标实现的关键。从美国 2009年启动开放政府数据，2014 年发布国家数据门户的元数据方案Project Open Data Metadata Schema v1.1，POD v1.1 3；欧盟 2014 年为推进其各国间不能交换元数据而形成“信息孤岛”发布了 DCAT-AP 等4，可以看出元数据是全球范围“开放政府数据”(Open Government Data，OGD)的关键，同时也体现了元数据在实现其数据目标中的地位和作用。(2)元数据模型基于本体融合化发展。一是元模型逐步回归到本体，在 W3C 的溯源标准 PROV、元数据编目 DCAT 等标准中都基于本体扩展，如将数据对象作为实体，将对其的处理作为活动等；二是相互融合，在 DCAT 包含了 PROV 和质量元数据等，在 ISO/IEC 11179 系列标准中，增加第 7 部分面向数据集等，均体现了不同标准体系的互相借鉴和融合发展。(3)元数据互操作是瓶颈也是发展方向。目前看没有哪个元数据能解决所有问题，大多是在基础核心模型上扩展应用。元数据互操作问题，从早期的ISO/IEC 19502:2005信息技术 元对象设施(GB/T 329132016信息技术 元对象设施(MOF)与其等同)5，到 W3C 的 DCAT，都在试图为元数据互操作提供解决方案。2 国内外元数据技术标准进展分析2.1 国外元数据技术标准进展2.1.1 结构元数据技术标准进展早期元数据主要集中在结构化数据的描述方面，元数据标准通常可以分为两类：一是专用的结构元数据标准。通常这类元数据标准与其描述的数据模型标准同步发布，如北约多边互操作性计划(Multilateral Interoperability Program，MIP)发布了联合指挥控制信息交换数据模型(Joint C3 Information Exchange Data Model，JC3IEDM)的同时，配套了元模型规范(JC3IEDM Metamodel)；美国国土安全部和司法部共同实施的国家信息交换模型(National Information Exchange Model，NIEM)6-7，其结构域是一个规范其他域的描述方法，只是未明确说明是元数据。二是通用的结构元模型。此类标准是更抽象地描述这类元数据的模型规范，如国 ISO 发布的 ISO/IEC 11179-3:2013 Information technology-Metadata registries(MDR)Part 3:Registry metamodel and basic attributes(规范了元数据注册表的概念模型是个 典型8。2.1.2 描述性元数据技术标准发展描述性元数据最早由都柏林元数据发展而来，并在各领域的派生发展，由此带来了元数据互操作问题，推进了 W3C 对元数据编目的标准发展。(1)都柏林元数据标准都柏林核心元数据集(Dublin Core Element Set,DC)由美国联机图书馆中心和美国国家超级计算应用中心于 1995 年 3 月联合发起9，目的是要建立一个广泛适用的元数据元素集，可以描述任何网络数据，方便在网络上存储、检索、传递和获取数据。都柏林核心元数据集是一个致力于规范 Web 资源体系机构的国际性元数据解决方案，由于它定义了一个所有 Web 资源都应遵循的通用核心标准，其标准化研究Standardization Research2023 年第 9 期http:/27内容简单，比较通用，因此得到了其他相关标准的广泛支持。它已经成为 Internet 的正式标准(RFC 2413都柏林资源发现元数据)。(2)W3C 开放数据的元数据编目 DCATDCAT(Data Catalog Vocabulary)是 一 个 RDF 词汇表，最早(2010 年)是由爱尔兰国立高威大学的数字化企业研究所(Digital Enterprise Research Institute)开发。DERI 在对美国、英国、澳大利亚、新西兰、爱尔兰、伦敦和旧金山 7 个数据开放平台的元数据进行分析后得出 DCAT 的初始框架。2012 年由 W3C的 政 府 关 联 数 据 工 作 组(Government Linked Data Working Group)的进一步完善，2022 年 7 月发布第 3版 DCAT 3。根据目前的 OGD 元数据标准，DCAT是最为广泛采用的元数据词表，美国和欧洲的标准均是基于 DCAT 来设计的，而英国和澳大利亚则将其作为标准的重要组成部分，支持 DCAT 的描 述10-11。2.1.3 管理元数据技术标准发展(1)溯源元数据标准溯源元数据模型目前也有多个标准：2008 年，为了解决来源互操作性问题，首次提出开放溯源模型(Open Provenance Model，OPM)12；后 Provenir 模型采用基于本体的方法来表达溯源信息，使用 OWL-DL 来定义通用的溯源术语和关系13，Provenir 已经在生物科学、海洋、传感器和卫生保健中得到了广泛应用；2013 年 4 月溯源工作小组(Provenance Working Group，PWG)发 布 了 第 一 个 溯 源 标 准PROV14，成为全球互联网信息溯源规范的一个关键性里程碑。2017 年 我 国 家 发 布 GB/T 349452017 数 据溯源描述模型，定义了名为 ProVOC(Provenance Vocabulary Model)数据溯源描述模型15。(2)质量元数据标准在 DCAT 标准中，以本体(即 RDF 词汇表)的形式建立元数据模型，修订版 DCAT 1.1 在原有本体的基础上，借鉴其他元数据)的一些做法，引入了新类和新属性，不仅融合了 W3C 溯源本体 PROV-O，还引入质量元数据。数据质量词汇表(DataQualityVocabulary，DQV)由 W3C“Web 数据最佳实践工作组”开发，为dcat:dataset 类补充 dqv:hasqualitymeasurement(质量测度)等属性，同时引入 dqv:qualitymeasurement(质量测度)、dqv:metric(质量指标)和 dqv:dimension(质量维度)等新类16。2.2 国内元数据技术标准进展科技平台元数据系列标准，为促进科技资源整合与共享，全国科技平台标准化技术委员会组织中国标准化研究院等单位自 2011 年以来先后制定了基础类标准如 GB/T 305222014科技平台 元数据标准化基本原则与方法、GB/T 305242014科技平台 元数据注册与管理等标准；数据资源类标准如 GB/T 305232014科技平台 资源核心元数据、GB/T 310732014科技平台 服务核心元数据 等标准；数据管理类标准如 GB/T 328462016 科技平台 元数据汇交报文格式的设计规则、GB/T 328452016科技平台 元数据汇交业务流程等科技平台基础的元数据标准。科技平台元数据系列标准是成熟应用于整合和共享数据资源的元数据系列标准，并于 20142016 年正式发布实施17。3 元数据标准体系信息系统建设经历了从要素到系统、从系统到体系的演进过程，正处于聚能蓄势、提质增效的体系能力建设阶段，将海量数据资源转变为数据，是当前国家大数据体系建设的一项紧迫任务。元数据是为提升数据可发现、可获取、可理解、可链接、可信任和可互操作等能力，支撑治理、管理和应用各类数据资源的数字化手段。元数据体系建设是网络信息体系建设的重要基础，是大数据体系建设的重要任务之一。推进网络信息体系、大数据体系和元数据体系建设，亟需研究确立数据标准体系，从标准化方面指导和规范元数据的建设发展。标准化研究Standardization Research信息技术与标准化http:/283.1 设计思路参考相关技术标准体系框架结构，聚焦元数据相关总体标准、资源要素标准、基础服务标准和应用功能标准等内容设计，服务于数据建模、采集、存储、管理、应用等全生命周期，立足元数据标准建设实际需求，在对应提出元数据总体类、资源类、管理类和处理服务类标准，形成元数据标准体系 框架。3.2 标准体系框架如图 1 所示，元数据标准体系框架主要包括元数据基础标准、元数据资源标准、元数据处理服务标准和元数据管理标准等 4 个方面。图 1 元数据标准体系框架(1)元数据基础标准，重点规范元数据总则与术语、参考架构、描述模型及相关制度机制等。(2)元数据资源标准，重点规范结构/发现/应用元数据模型、元数据标识以及元数据分类编目。其中，结构元数据模型包括结构元数据和交换数据模型等，发现元数据模型包括数据资源发现元模型及模型资源发现元模型等，应用元数据模型包括数据处理、数据评估、数据交换等元模型。(3)元数据处理服务标准，重点规范数据及其元数据的存储服务、采集与封装、数据保密、数据传输等处理。其中，数据存储服务重点规范元数据存储、数据编目存储等存储要求，采集与封装重点规范数据元数据抽取以及数据化过程中的封装要求等。(4)元数据管理标准，重点规范元数据注册、数据确权、元数据共享交换以及数据集成等标准。其中，元数据共享交换重点规范数据订阅推送、数据请求响应等，数据评估重点对数据的合标、质量、价值等进行检测评估。4 元数据标准化发展重点与关键技术4.1 元数据标准化发展重点(1)聚焦共享数据空间构建，体系化推进元数据是为提升数据可发现、可获取、可理解、标准化研究Standardization Research2023 年第 9 期http:/29可链接、可信任和可互操作等能力，以支撑数字化数据治理管理和应用而建设。在网信体系架构下，元数据标准体系应聚焦分布式共享数据空间的构建，从建模、标识、编目、应用等方面进行体系化推进。(2)平衡统一与开放性，与领域数据建设同步 发展元数据标准体系的建设是一个长期渐进、逐步迭代的过程，同时需要与元数据建设实践紧密结合，可以采用急用先行和分步推进；兼顾元数据自身特征，抓住核心模型的互操作性，推进与领域业务的结合和扩充，注重标准与实践结合，保障元数据规范化建设；兼顾开放性与动态性，预留变化空间；兼顾历史的继承性和发展的前瞻性。(3)物化数据标准，推进数据标准化建设数据标准化问题是长期困扰我军数据工程和数据建设的问题，是制约数据共享交换的关键。将数据模型标准等物化为元数据，提高数据标准的数字化管理水平；元数据支持对数据的语义结构的描述，同时也支持对数据模型标准的语义结构的描述，因此，元数据特别适合于作为数据模型标准符合性检测和评估的一种数字化的手段，通过元数据对数据模型的标准符合性进行评估。4.2 元数据标准化亟需突破的关键技术(1)数据共享空间的数据溯源和确权元数据技术数据共享交换首要解决的是数据权属关系、数据的质量和溯源等问题，除去管理和法律法规等问题外，从技术角度解决，参照 W3C PROV，对数据对象、数据对象处理的活动和涉及的相关方等描述数据权属关系、数据质量和数据溯源关系，通过元数据的标准化研究和探索解决方案，推进数据共享空间的建设。(2)元数据封装与存储技术数据产品同样也面临长期储存、封装和交互等问题，封装的目的是确保在未来环境下，元数据能够为数据产品提供充足的背景和技术信息，从而确保数据产品的凭证性和长久保存；应同时支持多样化数据产品，实时的和非实时的，结构化的和非结构化的；应可封装多样化元数据，结构、发现、质量、溯源、权属等；应能适用多样化应用，独立于任何平台或实施，以及可扩展等。(3)开放元数据与互操作技术随着元数据的建设发展，推进元数据开发性和领域落地建设的过程中，必然会面临分布异构元数据整合应用等互操作问题，如何克服元数据在内涵和取值标准方面的异构问题，实现元数据在语义层面的互操作性是提高异构信息系统间互操作能力水平，实现信息深度聚合的核心问题和挑战。5 结语元数据建设和技术发展，对大数据体系建设至关重要；反之，大数据体系建设和治理管理，对元数据体系建设提出迫切的需求。在网络信息体系构建未来数据空间顶层设计和规划下，以动态发展的原则，做好元数据技术标准的规划和研制工作，对解决新时期大数据建设面临的问题十分必要和迫切。建立和完善元数据标准体系，规划元数据标准的制定，从而推动元数据建设管理工作迈向更高层次的数字化、网络化、服务化和智能化。参考文献1 ISO/IEC.Informationtechnology-Conceptsandusageofmetadata-Part1:Metadataconcepts:ISO/IECTR19583-1:2019S/OL.http:/www.iso.org/standard/67365.html.2 YANH,WANGJ,ZHOUY.Ontology-BasedMetadataModelDesignofDataGovernanceSystemC/ProceedingsoftheDataMiningandBigData-7thInternationalConference.Beijing：7thInternationalConferenceofDMBD2022,2022.3 U.S.Govenment.Projectopendatametadataschemav1.1EB/OL.2023-08-12.https:/project-open-data.cio.gov/v1.1/schema/.(下转第 53 页)标准化研究Standardization Research2023 年第 9 期http:/53台服务的专业性。4 结语标准大数据公共服务平台是创新标准服务工具和模式、助力产业和技术创新发展的重要手段。当前我国标准信息相关的平台以政府主管部门运营为主，探索更符合产业和市场化需求的运营模式，提供标准精准服务，实现标准数字化转型是符合当下发展趋势的必然选择。标准大数据公共服务平台将基础服务能力建设和未来可扩展的增值服务能力输出相结合，将为我国产业发展提供良好的助力 支撑。参考文献1 崔静,杨建军.标准数字化服务探索 J.信息技术与标准化,2022(10):6-12.2 中国共产党中央委员会,中华人民共和国国务院.中共中央国务院印发国家标准化发展纲要EB/OL.2023-08-23.http:/ 秦晓东.政务大数据平台的架构设计和运营实践 J.数字技术与应用,2021,39(8):130-134.(收稿日期：2023-08-25)(上接第 29 页)4 ISAProgramme.TowardsanopengovernmentdataecosysteminEuropeusingcommonstandardsEB/OL.2023-0812.https:/joinup.ec.europa.eu/document/towards-open-government-data-ecosystem-europe-using-common-standards.5 全国信息技术标准化委员会.信息技术 元对象设施(MOF):GB/T329132016S.北京:中国标准出版社,2016.6 NIEMOpenProjectGoverningBoard(PGB).NationalinformationexchangemodelEB/OL.2023-08-12.https:/www.niem.gov/about-niem/niem-model.7 戴剑伟.跨领域信息交换方法与技术 M.2 版.北京:电子工业出版社,2020.8 ISO/IEC.InformationTechnology-MetadataRegistries(MDR):ISO/IEC11179S/OL.2023-08-05.http:/metadata-standards.org/11179/.9 DCMIUsageBoard.都柏林核心元数据集 EB/OL.2023-08-13.http:/dublincore.org/documents/dces/.10武琳,黄颖茹.开放政府数据平台元数据标准研究进展 J.图书馆学研究,2017(6):14-21.11谢真强,翟军,李红芹,等.W3C 开放数据的元数据标准 DCAT 建设进展及对我国的启示 J.情报杂志,2019,38(11):167-174.12MOREAUL,CLIFFORDB,FREIREJ,etal.TheOpenprovenancemodelcorespecificationJ.FutureGenerationComputerSystems,2011,27(6):743-756.13SAHOOSS,SHETHA:Provenirontology:towardsaframeworkforescienceprovenanceManagementC.MicrosofteScienceWorkshop.Pittsburgh:MicrosoftCorporation,2009.14W3C.ProvenanceWorkingGroupWikiMainPageS/OL.2023-08-06.http:/www.w3.org/TR/prov-o/.15陈希,胡良霖,朱艳华,等.数据溯源描述模型国家标准研制与推广 J.标准科学,2019(4):108-112.16DataontheWebBestPracticesWorkingGroup.Dataonthewebbestpractices:DataqualityvocabularyS/OL.2023-08-12.https:/www.w3.org/TR/vocab-dqv/.17王志强.科技平台元数据标准与应用 M.北京:中国质检出版社,2017.(收稿日期：2023-08-15)