电气化局主数据治理研究.pdf

文章编号:()收稿日期:基金项目:中国铁建股份有限公司科技研发计划项目()作者简介:詹秀峰()女内蒙古乌兰察布人高级工程师硕士主要从事铁路通信信息工程设计、科技研发工作:.引文格式:詹秀峰司福强陈照 等.电气化局主数据治理研究.铁道建筑技术():.电气化局主数据治理研究詹秀峰 司福强 陈 照 王继军(.中国铁建电气化局集团有限公司 北京 .北京中铁建电气化设计研究院有限公司 北京)摘 要:施工企业在生产经营过程中会产生大量原始的业务数据 如何将这些数据进行归类和识别并有效提高数据的统一性充分挖掘数据价值以满足“数字铁建、智慧铁建”转型的应用需求是我集团需研究的一项重要课题 本文提出一种主数据治理办法和落地一套主数据管理平台工具以接入海量异构的原始数据构建主数据模型规范主数据编码规则建立数据质量稽查任务保障主数据使用安全方便主数据分发使用履行全生命周期管理流程 同时针对接入的现有业务系统的源数据进行数据治理并依托平台的数据资产化服务形成高价值、高可用的主数据形成电气化局集团数据资产加快“智能型”电气化局建设关键词:主数据 数据治理 数据分发 管理平台中图分类号:.文献标识码:./.(.):.:引言随着现有信息化系统数量的不断增多业务转型节奏的不断加快直接导致集团原有信息化系统之间的数据交换量增加 同时集团与上级股份公司、下级子公司之间的垂直数据交互需求也不断增加 这种情形集团迫切需要建立统一的数据治理平台进行主数据治理相关工作以通过集中的分发交互接口实现高效率的数据协作和流通从而达到数据“海量汇聚、集中治理、规范统一、资产运营”的目的 电气化局主数据治理现状近年来电气化局信息化工作一直围绕中国铁建电气化局集团“十四五”信息化发展规划进行开展在实现一体化技术平台和智能化转型方面进行了大量尝试但是随着集团各类业务系统应用的不断深化暴露出集团公司在数据管理层面的一些不足给顺利对接股份公司一体化平台和集团层面实现数据共享带来了一定的难度 具体体现在以下几个方面:()缺少规范的管理要求铁道建筑技术 ()詹秀峰 等:电气化局主数据治理研究不同系统在重复管理一样的数据(组织、客商、人员等)目前集团公司核心业务数据存储于多套异构业务系统中包括合同管理系统、财务共享中心系统、协同办公系统、股份公司 系统等 集团公司各业务系统中重复管理着很多相同的数据例如人员、组织机构、个人信息等造成数据不准确、不完整甚至不同系统中的数据是矛盾或冲突的情况(如未进行主数据治理之前财务系统和经管系统中供应商信息在数据结构和编码上有很大差异)()缺少统一的共享平台系统数据交互过分依赖数据接口没有统一的数据交换平台造成系统间横向的集成与纵向贯通的能力不足同时系统之间通过点对点接口进行连接随着系统数量不断增加必然造成接口数量井喷给系统管理造成困难()缺乏标准的规则定义相同含义的数据在不同的业务数据中以不同的编码形式存在系统之间不能相互识别 存储在不同业务系统之间的原始数据缺乏统一编码和规范的数据标准定义直接导致系统之间数据交互困难、数据共享效率低()数据责任不明数据的采集、存储、管理、应用缺乏专业的工具和平台影响业务部门对数据的使用和分析从而造成业务部门之间的纠纷直接影响了数据资产的价值最大化也影响了集团业务的深化升级 电气化局主数据治理措施针对以上现状集团借助主数据管理平台工具开展主数据治理工作.平台架构主数据管理平台对企业的核心业务数据进行采集进行清洗、转换和治理之后以数据应用的方式把标准化的主数据推送给关联的业务系统使用从而达到集团主数据的集中治理便利、全面的主数据服务和高效的主数据运用 主数据管理平台的功能主要包括:数据源接入、数据存储、主数据治理、主数据维护、主数据分发、数据质量、数据安全 主数据管理平台架构如图 所示图 主数据管理平台架构.数据源接入主数据平台的数据接入会将不同来源的数据整合到一个中央数据存储库中以便对其进行统一管理、共享和分析 主要包括内部数据库、上级单位数据库、第三方数据提供商等()结构化数据结构化业务数据的采集一般支持以下 种采集方式 一是通过连接池接入支持接入、等大多数关系型数据库支持接入、等多个大数据数据库同时支持达梦、人大金仓等国产数据库 二是通过接口数据源接入支持、/、三种格式的接口格式 三是通过 服务器接入支持、协议格式 四是通过文件传输代理接入支持 地址传输文件 五是通过 接入支持、类型的数据接入铁道建筑技术 ()詹秀峰 等:电气化局主数据治理研究()非结构化数据非结构化业务数据的采集支持线下、格式类型的文件导入 对于图片、视频等数据则可通过平台资源管理器上传至平台供查阅和调用()数据接入的测试和监控平台对接入的数据可通过连通检测功能实时测试数据接入的状态 同时系统日志也同步记录每次的数据测试结果 并且在连通状态一栏可以直观地观测到当前数据源的实时连接状态.数据存储主数据管理平台融合关系型数据库、大数据数据库、分布式数据库()、分布式文件系统等不同类型的数据存储组件支持海量数据的高效存储和统一管理 另外还可以通过数据清洗组件对各业务系统全量接入的数据进行加载、处理和转换实现对异构数据的标准化处理为后续的主数据治理奠定高质量的原始数据基础.主数据治理()主数据模型以供应商字段属性分析为例根据现有供应商属性字段制定供应商统一的属性标准通过主数据平台进行标准化落地对不满足标准的源头系统进行属性补充与优化改造以满足各部门对供应商主数据的需求平台不仅可通过视图方式快速创建主数据模型也可通过选择多个表的字段进行模型的创建亦可根据多个标准集的不同标准新建模型根据业务实际需要客商主数据建立基本信息和银行账户信息两个视图以满足不同部门、不同业务的使用和调用 供应商数据共性字段属性分析如表 所示表 供应商数据共性字段属性分析财务部供应商字段经管部供应商字段序号字段名称是否必填字段名称客商名称是供应商名称客商类别是对应供应商的分类(劳务、外包等)纳税人资格属性是资质等级法人代表是法人代表统一社会信用代码/税号是统一社会信用代码省份是省份城市是城市注册资本是注册资金(万元)客商属性是成立日期是营业执照发证时间外部单据编号是银行户名否账户类别否银行账号否银行账户联行开户银行否开户银行 ()编码规则以公司劳务资格准入证号(表示供应商类别)编码规则为例劳务资格准入证号规则遵循 位编码规则 位编码规则定义为:供应商类别 年度 分子公司编号 行业主专业 顺序号 如某劳务供应商编码 表示的是:年在三公司办理准入的铁路行业接触网专业第三个供应商平台通过设置多个码段组合的编码以及单个码段的顺序编码并为每个码段设置编码规则指定编码格式及编码长度同时在编码设置时预览、检查最终编码规则的设置效果()数据质量对于已经接入到主数据管理平台的业务数据通过定义质检规则(包括空值检查、值域检查、自定义脚本等 种规则)按照每日定期执行的周期生成质检方案 实施质检后在平台自动生成质检报告方便主数据管理人员实时查看数据质量情况并根据质检结果通知业务人员整改数据提高系统主数据质量保证分发出去的数据具有高可靠利用价值()数据安全对于敏感的主数据采用加密技术保护其在存储和传输过程中的安全在与合作伙伴共享数据时对主数据进行脱敏处理以保护敏感信息的隐私平台通过标准的数据安全组件实现数据字段的数据模糊化、数据裁切、哈希处理、随机填充、偏移值加密等数据脱敏通过配置 等分组加密算法的数据进行加密、解密操作()主数据全生命周期管理平台对主数据的管理包括从数据新增到数据销毁的全过程并且还对数据的变更进行流程审核 同时平台还管理数据治理过程中的衍生信息例如供应商之间的关系以及供应商的信誉、供应商在各种服务渠道上的行为轨迹等 该功能保证了平台对数据全流程的闭环管理还运用数据安全、数据质量管控手段强化了过程数据的含金量.主数据维护通过对主数据进行新增、变更、查询、审批、留痕、映射管理等对主数据进行维护 其中通过字段匹配或者编码匹配的方式建立映射关系实现主数据管理平台与业务系统的单条来源数据的一一对应 同时一个主数据模型可以创建多个映射关系实现与不同业务系统之间的互联.主数据分发建立企业数据总线()利用总线统一对外发布主数据更新已接入数据总线的系统可通过预先定义铁道建筑技术 ()詹秀峰 等:电气化局主数据治理研究的事件流程访问系统 进行数据处理尚未接入数据总线的系统可通过消息接口通知相关人员进行数据处理将原来网状系统集成结构彻底改造成总线型集成结构同时将原来应用层数据互联转变为数据层数据互联主数据分发方式如图 所示图 主数据分发方式 主数据治理效果此次主数据治理实现了集团主数据治理的数据源接入、模型构建、编码固化、流程配置数据维护和对外分发建立并实施对各类主数据的申报、审批、变更、质量管理、安全管理等全生命周期的业务流程实现了主数据的全面自动化管理和全生命周期的平台管理对应主数据治理工作开展前的局面有了很大改善:()建立规范的主数据管理体系依托主数据管理平台工作建设集团对应建立了职责清晰、流程严密、长期有效的管理体系 主数据管理组织机构通过设立主数据管理专业岗位建立专业化的主数据管理团队制定完善的主数据管理制度支撑实现高效的主数据管理和落地()建立统一的主数据管理平台改善了原有信息化系统网状交互的混乱现状实现了集团主数据的统一集中治理为进一步实现集团数据资产化运营和加快集团业务数字化转型打下了数据基础同时规范了供应商、人员、组织机构三大类主数据编码规则和规则定义使得这些主数据以规范的数据格式在各业务系统之间被调用()制定了统一的编码规则和数据标准实现了集团主数据编码、属性规则、业务流程的全面标准化和规范化建立了各类主数据的管理标准实现主数据业务处理包括申请、审批、变更、发布、归档等过程的标准化和规范化建立了主数据的集成标准在集团集成服务标准的基础上制定主题域主数据的集成技术路线、集成架构、集成流程和服务规范确认主题域主数据的源系统和目标系统明确主数据交互的数据属性、分发频度等()主数据管理责任得到明确和加强制定了主数据管理规范和主数据管理工作责任书对各级部门和下属单位的主数据管理职责与主要承担的工作任务进行了清晰划分明确数据的管理者和使用者以及相关冲突的协调机制、管控流程和沟通机制 为适应公司多种主数据维护场景主数据管理平台提供图形化的流程管理可实现快速的流程开发与部署 结束语结合集团数据战略部署和信息化发展规划要求以及参考先进企业主数据体系建设案例此次主数据治理工作的开展是严格按照“急用先行、业务主导、周期可控、成本可控、风险可控”的原则遵守分期分批全面推广的策略进一步建立健全了各类主数据的管理体制和运行机制明确了集团公司与所属单位在数据管理方面的分级、分层的关联关系以全面实现各类主数据的规范化、标准化管理为我集团顺利实现智能化转型奠定主数据基础参考文献 邱超许金涛元晓华等.基于大数据技术的水情云数据中心设计与研究.浙江大学学报(理学版)():.李寅龙杨淼帆.基于财务共享的企业大数据资源治理机制研究.价格理论与实践():.孟勇王飞宽郑亚平等.面向国家能源集团铁路业务系统的数据治理平台.铁道运输与经济():.王兆君王钺曹朝辉等.主数据驱动的数据治理:原理、技术与实践.北京:清华大学出版社:.张桂平董建林李文友等.高铁站机电设备人工智能运维系统研究.铁道建筑技术():.连永章.基于大数据和 技术的工程造价管理策略.铁道建筑技术():.问梁军.主数据管理体系建设.企业管理():.贾思柔包建军.基于主数据管理的制造企业物料数据管理研究.机械研究与应用():.于百勇杨旭易危香等.基于数字化驱动的南京地铁主数据转型创新与实践研究.城市轨道交通():.解亚龙尹逊霄刘延宏等.基于本体的铁路工程主数据管理关键技术研究.铁道工程学报():.向晟尹乔王晓莉等.基于 的铁路主数据中心 资源运维服务方案.铁路计算机应用():.高亚萍.基于企业数据服务总线的主数据管理系统的集成方案.电子元器件与信息技术():.黄超梅.面向大数据应用的主数据管理解决方案.智能制造():.铁道建筑技术 ()