2023数字化转型战略下的企业数据治理方法论与解决方案.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,数字化转型战略下的企业数据治理方法论与解决方案,数字化技术革命对组织建设与运营的影响,数字化技术加速发展，成为引领新一轮科技革命的主导力量,主机,客户端,/,服务器,互联网,1.0,数字化,认知,文件系统,批处理和在线事务处理,个人电脑,图形化用户界面,关系型数据库,软件包,B2B,B2C,电子商务,ERP,社交网络,移动设备,大数据,云计算,物联网,自动化技术,机器学习,人工智能,虚拟化,机器人,自动化数据处理,知识型工作,;,企业重构,互联的客户,;,全球化的,IT,采购；,数字化业务,人工智能，决策系统,;,预警认知；机器人员工,1970s 1980s,1990s,2000s,2010 2020,2020,2030,核心驱动技术,新的商业模式,技术发展浪潮,新技术驱使企业商业模式和运营方式发生变化,客户更加互联、信息灵通，参与度更高,自适应性流程,客户驱动的交互模式,协作型生态系统,虚拟团队,开放式创新,自由职业者,供应商,一体的内、外,部数据,孤立的客户,孤立的数据,僵化的流程,复杂的层级架构,不灵活、单一界面,界面,坚固的壁垒,供应商,在开放化、服务化、生态化的企业运营模式下，数字化技术引领企业的商业模式发展,IT,时代,计算机,+,软件,互联化时代,云服务,+,数据服务,模式单一、重复建设、各自为阵,一切皆服务（,XaaS,）、万物互联、敏捷,云化的平台式架构,“烟囱式”孤立系统,服务化,组件化,池化,自动化,集成化,互联互通,体验一致,资源开放,成本节约,数据共享,企业需要引入云架构及平台化思想，建立创新敏捷的数字化生态环境，驱动并引领业务创新发展,IT,平台化发展，实现面向互联网,+,模式的转型,采用全新的厚平台微应用架构设计理念，从竖井式的系统建设向“云计算”架构转变,建立前店后厂敏捷的数字化架构体系，前台应用敏捷化、共享化，后台技术平台标准化,建设数字化统一平台（中台）提供高质量、可重用的平台服务,通过标准化组件，模块化快速开发部署,“厚平台”,互联服务,计算资源,存储资源,网络资源,数字化技术平台,生态型企业应用,数据服务,集成服务,应用运行,服务,企业业务应用向云端迁移，企业数据架构也要从以前以应用为中心的架构模式，向以分析为中心的架构模式转变,云模式将各个分散业务应用的数据资源集中在一起，形成统一的数据资源池，为集中、高效的数据分析提供了可能，推动了,企业数据架构由以前应用为中心的模式，向分析为中心的模式转变,业务应用,数据,分析,业务应用,数据分析,业务应用,基于业务应用的数据分析,(,仅分析来自于本业务应用的数据）,面向应用的分析人员,面向应用的数据管控,数据分析,业务,应用,业务,应用,业务,应用,从以应用为中心,到以数据分析为中心,驱动力：云,业务应用的数据资源统一集中到云,综合性数据分析平台,专业的数据分析团队,统一的数据管控机制,需要构建集团统一的数据管控体系,统一数据平台包含三个方面：,统一的数据分析平台、集中的数据管控组织、统一的数据管控工具,，其中，统一的数据分析平台是组织和工具发挥作用的基础和核心,数据分析平台,数据存储与分析,ERP,CRM,物联网数据,移动设备,数据,社交网络,数据,日志数据,经营管理类应用,客户服务类应用,生产营运类应用,传统数据分析,大数据分析,实时数据分析,数据接入,数据分析服务,投资项目管理,风险管理,智能企业,智能工厂,电商平台,支付与金融,.,数据,组织,数据,管控,工具,风险预测分析服务,绩效分析服务,项目组合优化服务,设备预测性分析模型,运行状态优化服务,生产动态分析,客户细分服务,营销活动优化服务,行为分析服务,生产运营数据分析服务,经营管理数据分析服务,客户服务数据分析服务,企业数据治理方法论与解决方案,数据治理的范畴,数据治,理,战,略,组织和角,色,政策和标,准,项目和服,务,问,题,估,值,数据架构管,理,企业数据模,型,价值链分,析,相关的数据架,构,数据质量管,理,规,范,分,析,度,量,改,进,元数据管,理,架,构,整,合,控,制,交,付,文档和内容管,理,获取和储,存,备份和恢,复,内容管,理,检,索,保,留,数据开,发,分,析,数据建,模,数据库设,计,实,施,数据操作管,理,获,取,恢,复,调,优,保,留,清,除,数据安全管,理,标,准,分,级,管,理,授,权,审,计,参考数据和主数据管,理,外部规,范,内部规,范,客户数,据,产品数,据,维度管,理,数据中心和商务智能管,理,架,构,事,实,培训和支,持,监控和调,优,数据管理框架,从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。,技术支,撑,领,域,机,制,数据发现与分,类,数据采集与清洗工,具,数据管理系,统,质量检查工,具,数据安全管理 数据建,模,数据模,型,数据安,全,主数,据,元数,据,数据存,储,数据分,布,数据交,换,数据集,成,数据质,量,数据服,务,组,织,制,度,流,程,角,色,目,标,规,划,战略,数据治理整体思路,重新组织数,据,重新组织数据，让数据变得 更好用。,主数据建设,真实世界模型,数据仓库,数据标签和画像,盘点数据资,产,让数据成为资产，了解企业有哪 些数据，在哪里，有多少量级。,业务流程梳理,数据流程梳理,数据识别与分类,让资产变得干净，少歧,义,通过数据ET,L,，建立数据标准化。,数据采集与清洗,数据标准化,数据治理的延伸：数据管,理,数据治理的结束是数据管理的开始。,数据资产透视,智能搜索和发现,主数据管理,数据治理持久,化,对数据治理工作持久化，一 次治理，永久治理。,数据治理工作日常化,元数据和标准化治理维护,更新,新类型数据的自动化治理,数据资产盘点,在数据治理的实际操作中，,只有先发现数据，对数据进行有效分类,，才能避免一刀切的控制方式，也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。,0,4,02,业务流程梳理,03,业务流程分解,梳理,业务与业务之间的流程关系,，,业务,流程本身的输入输出上下文,情 况；,补充每个业务流程涉及的属性；,识别各业务环节涉及的人、事、物，,输入,、输出、组件和数据沉淀；,输 出业务流程图；,根据,梳理好的业务流程图，转换,成,对应的数据流图；,01,业务系统调研,调研业务系统情况：,建设目标、系统类型划分；,系统运行架构、硬件支撑情况；,使用者、用户来源和规模；,06,数据分级分类,根据,行业标准和特点对于数据资,产 进行分类；,将数,据资产划分为公开、内部、,敏 感等不同的敏感等级；,数据标准梳理,05,业务关系梳理,梳理业务与业务之间的关系,业务流程逻辑、业务交互数据；,业务权限分配、输入输出控制；,访问权限控制、操作流程规范；,风险规范要求等；,对于业务数据按照主体、参考、交易、,统计进行,分类，并梳理出数据的技,术 标准和业务标准；,补充和整理完整的数据字典；,让数据变得更干净，少歧,义,如何让数据变得干净可用？主要从三个方向入手：,数据采集与清洗、对元数据进行管理、数据标准化治理,数据采集与清,洗,数据同步,数据交换,数据整合,数据标准化治,理,技术标准,数据标准,管理标准,元数据管,理,理解元数据需求,开发和维护元数据标准,标准化元数据评估指标,创建和维护元数据,整合元数据,分发和交付元数据,查询、报告和分析元数据,数据采集与清洗达到的效,果,数据同步,实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影,响,源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数,据,平台等,）；,数据交换,不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换,规,则设计,；,数据整合,将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者,数,据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调,度,数据清洗、转,换,数据源,ET,L转换,数据目的,数据迁移：将数据进行转,移,数据同步：保持两个同构或者异构库的数据,一 致,增强抽取：对于发生改变的数据进行更,新,列映射：数据类型转换、列名变换、删除列,、,增加,列,数据库查找器：过滤所需数据，并且根据,规,则进行数据的替,换,自定制转换：调用,java,程序执行特殊的数,据,处,理,数据质量检查：专业的数据质量分析、清洗,、,验证和监督引,擎,元数据管理,元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、,CRM,等）的价值，帮助分析人 员作出更有效的决策。元数据管理方法如下：,理解元数据需,求,确认企业元数据管理环境、,范,围、优先级、元数据内部标准,、,企业基于元数据的服务等,；,标准化元数据评估指,标,评估指标主要应采取定量指标，包括,：,元数据存储库的完整性、元数据的质量,、,元数据的使用,/,引用、元数据血缘分析,/,影响分析等,；,整合元数,据,把来源库中抽取到的元数据，与,相,关的业务元数据和技术元数据进,行,整合，最终存储到元数据存储库中,；,查询报告和分析元数,据,指导如何使用数据资产，体现在商务智,能,（报表和分析）、商业决策（操作型、运,营,型、战略型）以及业务语义方面使用,。,指导如何管理数据资产,：,具有前端应用程序，并支持查询和获取，,满,足以上各类数据资产管理的需要,；,开发和维护元数据标,准,根据行业或共识标准，以及国际标准,，,再结合企业范围共识建立元数据标准,；,创建和维护元数,据,通过元数据创建和更新工具定期扫,描,和更新存储库,；,采用审计流程验证各项操作活动并,报,告异常,；,发布元数,据,将元数据从存储库分发到最终用户,和,其他需要使用元数据的应用或工具,；,数据标准化治,理,数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一的标准规范体系，实现信息高度共享、系统运行高度协调的保障。,标准规范包括技术标准、数据标准和管理制度三类：,技术标准,管理标,准,重点解决数据整合、交换接口标,准,业务数据库建设规范、数据整合规,范,平台接口规范、环境配置规,范,数据接入实施规范、编码规范等标准规,范,企业统一标准的数据规范标,准,对企业现有业务系统进行梳理,按照数据标准规范的构成进行数据标准规范的制定 以此为依据进行规范化的升级、管理以及曰后的变更 维护,主要包括数据元、数据元代码集和信息实体等,建立实用、高效、统一的管理体,系,制定信息系统运行维护管理制度、安全保障制度、数据安全管理规范、数据共享交换管理规范等,管,理规范,。,数据标,准,重新组织数,据,重新组织数据包括：,基础工作：主数据建设，真实世界模型；,扩展内容：数据仓库，数据标签和画像；,主数据建设,真实世界模型,数据仓库,数据标签和画像,建立企业数据资产,统,一口径、统一标,准,从实际出发，,用,数据描述业,务,资源整合、统一,数,据，企业决策支,持,用户信息标签化，,支,持多场景业务应,用,（如战略分析、产,品,运营、用户服务等,）,主数据建设,建立主数据是一个庞大的工程，结合,DAMA,理论体系和具体实践经验，提出了以下主数据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：,数据梳,理,数据问题确,认,数据标准定,义,数据管理方,案,管理流程确,认,业务系统接口改,造,识别主数据,：,结合目标数据所涉及到,的,业务部门与业务系统，,展,现数据标准梳理与对应,。,系统与数据问题：,针对,梳,理过程中出现的各种数,据,问题与相关业务部门与,业务系统进行确认,。,主数据定义建模,：,针对数据问题反馈结果，,完,成目标数据技术规则、业,务规则、,CRUD,标准定义以,及,与业务部门的确认,。,主数据利用与管理,：,针对目标数据的管理方,案,与管理流程完成与相关,业务部门的确认,。,主数据利用,：,针对目标数据的业务规,则,和技术规则，与相关业,务,部门和系统管理员确认,，要求数据源改造,。,真实世界模,型,“真实世界模型”建模方法论，主张从数据的角度反映真实业务的本来面目，建立规范的建模体系；,按照业务本来面目去组织、集成和交换数据,黑盒子分析方法,标的物和输入输出分析方,法,流程、组件和资源标准,化,全面数字化运营，运营信息整,合,监管质量和合规,性,运营流程改善，提高服,务,建立用户主数据，统一业务档,案,构建用户画像，精准化服,务,360,视图模型,管理层驱动的问题发现改善,精益团队驱动的流程改善,员工自我驱动的工作改善,真实世,界,模,型,准,确,精,益,模,型,360,视,图,模,型,平衡计分,卡,模,型,真,实,实,时,全,面,数据中心,真实世界模型,平衡积分卡模型,360,视图模型,精益模型,数据仓,库,数据仓库架构图：,数据治理持久,化,有必要对数据治理工作持久化，,一次治理，永久治理。,元数据和标准化治理维护更,新,不断的更新元数据和标准化治理以反映 当前的诉求。,新型数据的自动化治,理,超过原先治理范围的数据，需要经历暗数据发现 和分类，数据质量清洗和重新组织数据的全过程；,在生产过程中，实时识别这部分数据，将其引入 数据治理流程，使新类型在产生的初始环节就是 可识别，高质量，可理解和可利用的。,数据治理工作成果日常,化,把数据治理工作利用自动化引擎实 时或者准实时自动化运行。,数据治理的延伸：数据管,理,数据治理的结束是数据管理的开始！,数据资产透,视,反映数据资产状况，有哪些数据、数据在哪、数据量级、数据业务逻 辑关系等；,智能搜索和发,现,款速检索企业数据、内容语义理解、用户兴趣识别，智能信息化过滤和 推荐等；,主数据管,理,主数据集中管理，一体化的主数据 提取、审查、发布机制，数据质量 控制；,数据模型管,理,规范定义、模型架构设计、数据组 织和存储方法、数据模型生命周期 管理；,数据中心管,理,监控数据中心运营情况、数据标准 化建设、数据质量体系建设等；,元数据更新和维,护,元数据完整性监测、元模型增加、修改、删除、发布等；,数据生命周期管,理,静态数据从创建、使用、备份、再 利用、销毁过程；动态数据溯源；,数据台帐和审,计,数据资产记录，数据使用审计等；,数据治理体系架,构（示例）,示 例,企业只有建立了完整的数据治理体系，保证数据内容的质量，才能够真正有效地挖掘企业内部的数据价值，对外提高竞争力,企业数据难管理无标准质量低,企业的,IT,系统经历了数据量高速膨胀的时期，海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统，系统与系统之间的关系、标准数据从哪里获取都无从知晓。,数据是企业争夺优质客户的关键,数据是企业的生命线，谁掌握了准确的数据谁就获得了先机。在当前竞争日益激烈的市场上，企业都在不同的细分市场上争夺优质客户。如何在在这样的市场环境中选择市场的经营策略？企业每一笔资金的来源与利用、每一次经营管理决策都必须基于准确的数据分析判断。只有基于准确的数字，才能够帮助企业在激烈的竞争中取得竞争优势。,高质量数据是业务创新的基础,企业在市场中的竞争领域已经从同一领域市场份额争夺，发展到开发新竞争领域的创新性竞争阶段，这从客观上对企业的创新能力提出了更高的要求，现在企业的创新在很大程度上要借助科技的手段，在业务数据的开发和利用基础上进行创新，数据为企业实施有效的创新提供了丰富强大的动力。,企业数据管理成熟度模型评估,企业数据成熟度评估让企业的项目目标更明确。我们的项目不是每个都从头做起，企业对数据建设的重视程度与现状都是不同的。数据治理项目会为企业评估现阶段的企业数据发展在行业内所处的位置。企业数据治理从影响因素等若干维度进行全面的评估。,人员组织,流程制度,技术支撑,随机阶段,临时人员或无人员,无,无,认知阶段,科技人员兼职,项目方式的临时流程,Office,文档,数据分散存储,成长阶段,有专职或兼职人员,有明确的职责,系统内、部门内固化流程,系统内数据管理,数据集市,没有或者分散的数据管理平台,成熟阶段,有固定专职人员,人员分工细化,跨系统、跨部门的固化流程,数据仓库,企业级数据管理平台,创新阶段,专职组织,人员、分工常态化,数据服务常态化,优化的企业级管理流程,优质数据仓库,大数据仓库,掌握企业数据、业务需求，联动的、常态化的数据管理平台,企业数据成熟度阶段划分,找到差距、制定计划,根据企业的现状得分制定近期、中期、长期的战略计划，急用先行。,了解企业近期以及中长期在业务和技术上的策略及目标，特别是与数据治理相关的信息。,通过书面访谈和现场调研等方式在企业内部营造数据治理的氛围、让相关人员数据治理目标普遍达成共识。,根据现实的差距制定计划，制定企业未来,3-5,年的数据规划。,数据规划的过程,业务战略,业务需求,IT,需求,差距分析,信息科技规划,差距分析,差距分析,行业趋势和最佳实践,评估当前环境,路线图,实施计划,技术突破,约束条件,优化过程,3-5,年实施计划,复核、监控和更新,万事开头难：建立数据管理团队,根据业界先进的数据治理经验，建立企业的数据治理要素体系、组织架构等。,结合企业自身的管理架构，一般需要如下角色：领导决策层、业务部门主管角色、,IT,部门主管角色、执行项目经理等。可以是专职人员，也可由各部门抽调兼职人员。,决策层,1.,数据资产管理委员会,管理层,2.,数据资产管理工作小组,3.,各业务部门数据管理责任岗,执行层,4.,数据集成小组,5.,数据管控项目组,6.,各业务部门数据管理综合岗,1,2,3,4,5,6,管理制度是保障：制定管理办法与认责划分,数据需求,管理办法,元数据,管理办法,数据质量,管理办法,结合企业的现状，为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度政策等。,规定了工具产品的使用方法与产品使用流程。,书同文、车同轨：数据标准,数据标准提供了一整套规范，目的是为了业务人员、技术人员在提到一个词的时候有规范的含义。,要适应业务和技术的发展要求，优先解决普遍的、急需的问题：,开发数据标准，以业务数据为出发点。经过详细的数据调研、访谈、涉及、评审等严格的标准定义流程。,遵循“循序渐进、不断完善”的原则。,可落地的数据标准产品。支撑完整的数据标准创建过程、确保每一个数据标准对应企业的数据需求，做到数据标准有理有据。也可作为数据质量的发现问题的依据。数据标准绝不孤立存在。,目标规划,公司业务策略,信息规划蓝图,项目目标定位,标准设计,标准审议和发布,标准执行,标准维护,现状调研,现有定义搜集,为题梳理,现状分析,参考文档收集,标准定义,标准分析,标准数据项,标准值,标准口径,审议流程,发布工具,数据映射,规则映射,执行建议,标准管理制度,实施管理,业务与,IT,的桥梁：元数据,元数据管理能够增强数据理解，可以架起企业内业务与,IT,部门之间的一座桥梁。,无论是企业的业务部门还是,IT,部门，很少能完整地拿出一套企业各项数据的业务含义、口径、技术标准、分布情况等的说明，使用元数据管理可以自动化地获取整个企业的数据业务含义，帮助理解数据，增加分析的敏捷性。,使用元数据产品能够方便内部管理、审计或外部监管的需求追溯业务指标、报表的数据来源和加工过程，追还数据的来源。,元数据管理还可以针对企业内部、外部的数据需求，快速建立业务与技术之间的衔接，为企业管理提供重要的保障。,元数据管理提高了信息的透明度、有效性、可访问性、一致性及可用性。它有助于依靠节约成本、提高资产价值、利益相关者满意度和卓越运营来调整,IT,投资。,源系统,数据模型,数据集市,商务智能工具,哪些源系统,数据清洗,技术定义,运算,业务定义,形成报告,信息使用,数据沿袭,追溯系统间信息生命周期,包括对数据进行的操作和流程,数据增长尤其重要的是满足更新的合规性,一些厂商提供该领域不同的产品,业务与,IT,的桥梁：元数据,一个元数据管理全面框架的关键在于：,降低复杂性,提高基础设施的可重用性,让用户更容易理解数据含义,理解跨环境的数据沿袭关系,元数据管理体系规则,元数据管理团队,管理者,所有者,使用者,元数据管理制度,元数据管理办法,元数据管理考核办法,元数据管理流程,元数据定义,元数据变更,元数据同步,元数据权限申请,元数据检查和报告,元数据管理系统,常用的业务数据先统一：主数据,审批,修改,扩展,归档,创建,结清,使用,申请,主数据,管理,1,2,3,具有共性的数据，客户数据、产品数据等帮助企业构建单一、准确、权威的数据来源。,提供,360,度的主数据模型，大大增加交叉销售的机会，提升市场效率。,可落地的面相,SOA,的主数据产品。,随着企业信息化程度的不断深入，自跨业务、跨部门、跨业务系统的业务连贯性需求越来越迫切，许多已经实施或者正在实施的,ERP,、,CRM,或,BI,应用对企业系统数据的一致性、完整性和准确性提出了新的要求。目光纷纷投向主数据产品。,组织和流程,数据标准,数据平台,数据价值的重要保障：数据质量,为什么企业内部的数据质量总是不高？其实只要有数据存在就有数据质量问题存在。我们提供行业专业的数据问题管理方法。,全面梳理企业的数据质量问题,全面的通俗易懂的数据质量检查手段,提供数据问题修改的最佳方法,技术,人,流程,信息,元数据,数据,质量,数据传递,流程,实施,管理,激励,培训,基础设施,架构,产品,模型,加工,定义,变化频度,覆盖率,有效性,完整性,精准性,漏传,配置,测试,优化,设计,复查,及时性,责任心,目标,优先级,奖励,反馈,进修,上岗培训,网络,硬件,OS,设计,工具,缺陷,性能,数据质量问题,数据质量的改进是一个持续不断的过程,感谢聆听,