电网数据治理的应用研究.pdf

2023年第14期中国高新科技89MANAGEMENTSCIENCE理科学电网数据治理的应用研究刘凯王震王鹏李金泽北京国电通网络技术有限公司，北京10 0 0 12摘要：国家电网公司积累了大量的数据资产，通过对这些数据进行数据标准化、数据质量、数据监控、数据质量报告、数据服务等方面的治理，提高了公司数据的质量和数据安全性、数据治理的效果和价值以及数据资源的利用效率，助力公司数字化转型进程，为公司业务创新和发展提供有力支持。关键词：国家电网；数据治理；数据标准；数据质量；数据监控文献标识码：A中图分类号：TM76文章编号：2 0 9 6-4137（2 0 2 3）14-8 9-0 3D0l:10.13535/ki.10-1507/n.2023.14.25Research on the application of power grid data governanceLIUKai,WANG Zhen,WANG Peng,LI JinzeBeijing Guodiantong Network Technology Co.,Ltd.,Beijing 100012,ChinaAbstract:State Grid has accumulated a large amount of data assets.the quality and security of the companys data have beenimproved through governance of data standardization,data quality,data monitoring,data quality reporting,data services,etc.It hasalso enhanced the effectiveness and value of data governance,improved the efficiency of data resource utilization,and assisted thecompanys digital transformation process.It provides strong support for business innovation and development.Keywords:State Grid;data governance;data standardization;data quality;data monitoring在国家电网公司的数字化转型过程中，数据的安全性和唯一性非常重要。其中，数据治理在数据安全性和唯一性中起着关键作用。目前，国家电网公司由于数据种类繁多，报送及收集渠道繁多，存在数据源不唯一、安全性无法保障等问题，数据治理工作迫在眉睫。为解决这些问题，近年来公司对项目中台在数据治理方面的研究与应用加大了关注力度和投入力度。本文旨在分析数据治理方面的价值和作用，结合实际案例和数据统计，进一步探讨如何实施和完善项目中台的数据治理过程。1工项目中台数据治理的价值和作用项目中台数据治理包括：数据标准的制定、数据格式的统一、数据质量的提升等。最终达到数据源唯一、数据格式统一、数据标准一致、可利用数据质量高等目的。1.1制定数据标准目前，国家电网公司有大量的数据报送系统，这些系统对数据标准要求不一致，报送指标及报送格式也不尽相同。因此，出现数据重复报送现象，给基层组织造成填报负担。若对数据进行标准化处理，原始数据转换为无量纲化的数据，数据处于同一数量级别，则可对数据进行综合分析使用。1.2统一数据格式统一数据格式可减少设置查询逻辑，提升查询性能和效率，提升代码的可维护性和可扩展性。1.3提升数据质量数据治理的核心目标之一是提高数据质量。公司在数据采集、整合、处理、存储等环节都会存在数据质量问题。数据质量差会导致数据分析和决策的错误，增加企业决策与运行的风险和成本。通过项目中台数据治理，对数据进行清洗、验证、去重、补充等操作，提高数据的准确性和可靠性，进而提升数据的质量。例如，某地市公司采用项目中台数据治理工具，对采集的数据进行清洗和验证，结果数据质量得到明显提升。经过多次测试和验证，企业数据错误率降低了30%，数据准确率提高了50%以上。1.4提高数据利用效率加强数据集成和数据共享，提高数据的利用效率和价值，促进企业的数字化转型和业务发展。数据集成是指将不同来源的数据集成到同一平台中，以便进行一致性管理和分析。数据共享则是指在不同部门和业务之间共享数据，以实现更高效的数据利用。例如，某省公司将采购、销售、库存等业务数据整合到项目中台平台，不仅实现了数据一致性管理，还能够通过数据分析发现销售渠道和库存变化的关联，提高业务效率和利润率。1.5降低数据处理成本通过数据规范化和数据质量管理，可以降低数据治理成本。数据质量管理可以减少数据治理的重复工作和错误率，降低企业的人力成本和财务成本。例如，某省公司采用项目中台平台实现了对数据的规范化和数据的质量管理，数据处理成本降低了30%以上，企业原本需要大量的人力和财务资源来处理数据，现在可以将这些资源用于业务创新和发展。1.6提高数据安全性数据安全是公司信息化建设和数字化转型过程中的重要问题。随着公司数据量的不断增长，数据安全隐患也相应增中国高新科技2023年第14期90管理科学MANAGEMENTSCIENCE加。例如，数据泄露、数据丢失等问题都会对公司造成严重损失。通过项目中台，对数据进行加密和脱密等处理，同时采用数据权限访问等措施，加强数据的安全性。例如，某公司二级单位在项目中台平台上进行数据加密管理、权限管理、访问控制管理等措施，大幅度提高了数据安全性，数据泄露和丢失的风险降低了6 0%以上。2实施和完善项目中台数据治理的关键问题2.1定义数据治理的标准和流程在实施和完善项目中台数据治理的过程中，必须定义一套数据治理的标准和流程，以便进行数据的统一规范和管理。例如，对于数据质量管理，可以制定数据准确性、完整性、一致性等指标，并制定相应的数据清洗、验证、去重、补充等流程。对于数据安全管理，可以制定数据访问权限、安全加密、漏洞检测等指标，并制定相应的安全策略和措施。2.2实施数据采集和集成数据采集和集成是项目中台数据治理的重要环节。通过采集和集成来自不同系统和平台的数据，可以实现数据的集中管理和利用。例如，通过项目中台平台实现采购、销售、库存等业务数据的集成，可以实时监控业务的变化，及时调整业务策略，促进业务提质增效。2.3完善数据质量管理数据质量管理是项目中台数据治理的核心环节。通过对数据进行清洗、验证、去重、补充等操作，可以提高数据的准确性和可靠性。例如，采用项目中台数据治理工具，对采集的数据进行清洗和验证，大幅度提高了数据的准确性、一致性和可靠性。2.4提高数据安全性数据安全是公司信息化建设和数字化转型过程中的重要问题。在实施项目中台数据治理过程中，必须重视数据安全问题。通过对数据的加密、脱密、权限访问等措施，可以提高数据的机密性和完整性，降低数据泄露和丢失的风险。例如，通过项目中台平台对数据的访问权限控制和安全加密等，保护和提升公司数据的安全性。2.5建立数据质量监控和报告机制在实施和完善项目中台数据治理过程中，建立数据质量监控和报告机制非常重要。通过对数据进行监控和报告，可以及时发现数据问题，并采取相应措施进行修复和优化。例如，通过项目中台数据治理工具对数据质量监控和报告，实时或定时生成警报，及时发现问题并修正，提高数据的质量和可靠性。3实例分析数据建模是数据治理的重要工作，它可以帮助公司将数据转化为可用于分析和应用的形式，从而实现数据的价值最大化。目前，国家电网公司的数据治理机制趋于完善，数据治理各个环节形成闭环，提升了数据质量，加强了数据安全性。3.1建立数据治理模型国家电网公司在数据建模方面采用了面向服务的数据建模方法，通过对业务领域进行抽象和分析，将业务领域划分为一系列服务，并将每个服务实现为一个数据模型。在数据建模的过程中，公司注重数据模型的一致性和可扩展性，不仅将数据标准化，在数据模型方面，也采用标准化模式，采用统一的机器语言对数据模型进行管理。同时，公司还通过自动化工具和规范化流程提高数据建模的效率和质量。3.1.1数据治理模型构建数据治理模型包括：需求定义、数据收集、数据清洗、数据标准化、数据质量分析、模型验证、模型应用等内容。3.1.2需求定义过程需求定义过程包括数据收集、确定主题、确定业务、设计需求模型等。公司在处理数据前，需要对现有数据的需求、主题和业务进行确认，从而有针对性地进行数据收集、治理等工作。3.1.3数据采集公司完成对现有数据的需求、主题和业务等确认工作后，采用数据管理系统对数据进行收集、分类、管理和归档，包括各类数据元数据、数据字典、数据资产清单等信息的管理，将数据进一步规范化，有利于统一管理。同时，公司应用数据管理系统，可以实现对数据的深入挖掘和分析，发现数据的价值潜力。3.1.4数据标准化国网公司采用指标一致化处理和无量纲处理2 种方式，解决了数据之间不同性质及数据之间可比性问题。例如，国家电网公司按照某标准化体系，对采集处理后的数据进行标准化处理。按照基础分类标准、数据权限规则、元模型标准、数据分类标准、命名规范要求、存储规则等，规定字段命名规则、制定数据维度、确定数据层次定义，最终按属性原则将各类数据标准化。3.1.5数据治理模型验证（1）数据质量管理方面。在数据采集环节，公司采用自动化数据采集工具，对数据采集过程进行规范化管理，确保数据采集的准确性和完整性。在数据清洗和规范化环节，公司采用自动化数据清洗和规范化工具，对数据清洗和规范化过程进行规范化管理，确保数据质量的一致性和可维护性。在数据验证和监控环节，公司采用自动化数据验证和监控工2023年第14期中国高新科技91（责任编辑：周羿廷）MANAGEMENTSCIENCE理科学具，对数据验证和监控过程进行规范化管理，确保数据质量的稳定性和可持续性。（2）数据安全管理方面。公司采用全面的数据安全管理措施，包括数据访问控制、数据加密等。在数据权限访问方面，公司采用严格的数据访问控制策略，只允许授权的人员访问敏感数据。数据加密方面，公司采用各种加密算法和脱密算法，保证使用的加密数据已进行权限控制，其他数据已进行脱密处理，提高数据使用的安全性。在数据备份和恢复方面，公司采用规范化、流程化的制度要求，对数据资产进行定期备份与恢复，提高数据的可用性和安全性。（3）数据应用方面。公司采用数据应用管理平台，对数据应用进行集中管理和监控，包括数据应用的开发、测试、上线和下线等环节。通过建立统一的数据管理平台，完成数据的统一开发和部署，提高数据的安全性、数据的质量以及数据应用的高效率性，为业务创新和发展提供有力支持。（4）数据服务方面。公司采用数据服务管理平台，对数据服务进行统一管理和发布，包括数据服务的开发、测试、发布和调用等环节的管理。通过数据服务管理平台，公司可实现数据服务的共享和重用，提高数据服务的效率和质量。国家电网公司在计划、技术、队伍、技经、安全、质量、采购等专业，利用ETL技术，对已确认需求的数据进行抽取、转换、加载等，最后将治理后的数据传输至各个中台，便于其他系统调用，如图1所示。业务中台数据中台算法中台数据加密数据脱密处理处理需求定义数据收集数据清洗计划技术队伍技经安全质量采购设备.图1ETL数据治理通过数据采集、数据质量、数据安全、数据应用、数据服务等方面对数据治理模型进行验证，从而保证数据治理模型的可用性、可靠性，为公司业务创新和发展提供有力支持。4结论国家电网公司在数据治理方面采用了一系列创新措施，从数据资产管理、数据应用管理、数据服务管理、数据安全管理和数据质量管理等方面，对数据治理实践的分析，还可进一步优化，包括如下内容：（1）强化数据治理的落地执行力。公司在数据治理方面已经取得了一定的成效，但仍需加强对数据治理的落地执行力。具体来说，需要加强对数据治理的培训和推广，提高员工对数据治理的认识和意识，同时建立有效的数据治理机制和流程，确保数据治理措施能够得到有效落实。（2）加强数据质量的监督与管理。公司已经建立了完善的数据质量管理框架，但仍需加强对数据质量的监控和评估。具体来说，需要建立数据质量的监督和管理机制，对发现的数据质量问题能够及时记录并解决。同时，采用先进的数据质量评估方法，及时评估和反馈数据质量状况，为公司业务创新和发展提供有力支持。（3）推动数据共享和协同。公司在数据共享和协同方面还存在一定问题，需要加强数据共享和协同的推进。具体来说，需要建立有效的数据共享机制和流程，推广数据共享文化，建立数据共享的信任机制。同时，加强数据协同，推动不同部门之间的数据共享和协同，为公司业务创新和发展提供有力支持。（4）提升数据治理的AI化。公司在数据治理方面已经采用了一些智能化和自动化技术，但仍需要加强推进。具体来说，需要探索先进的数据治理技术，如人工智能、机器学习和自然语言处理等，加强数据治理的智能化和自动化，提高数据治理的效率和质量。综上所述，国家电网公司在数据治理方面还可以进一步优化，不断推进和完善治理工作，以提高数据治理的效果和价值，为公司业务创新和发展提供有力支持。作者简介：刘凯（19 9 1-），女，内蒙古包头人，北京国电通网络技术有限公司工程师，研究方向：项目全过程管理。参考文献1金莲基于WEB的网络设备监测系统的实现 J内蒙古科技与经济，2 0 0 7（2 4）：135-136.2】李紫丁：基于深度学习的气象要素格点预报模式订正D长沙：湖南师范大学，2 0 19.3】邢郁，杨益诚。政府信息系统管理设计的依据及方案J科技成果纵横，2 0 0 6（5）：36-37.4】陶玉波，程波，张亚飞，等基于虚拟化技术的数据服务器升级新途径 J电脑知识与技术，2 0 18，14(19):270-271,273.