飞利浦数据治理实践_企业数字化转型的数据治理概述.pdf

企业数字化转型的数据治理概述ClassifiedClassified数字化生产模式：以数据为处理对象，以ICT平台为生产工具，以软件为载体，以服务为目的的生产过程智能终端平台1接触客户获取数据平台2数据处理数据分析机会平台3开发部署服务服务商业循环：数据变机会、机会变服务、服务变收入初始数据123456加工需求收入4在今天，数字化生产已逐步成为普遍商业模式ICT:Information and Communication Technologies 信息与通讯科技应用筛选提供Classified人工智能销售预测模型的建立数据要准确考量数据特性预测目标计算资源业务需求模型的评估和调优；交叉验证、超参数调整Classified人工智能销售预测模型的建立.传统时间序列分析纪要历史数据来预测未来趋势 自回归（）、移动平均（）、自回归移动平均（）季节性自回归移动平均.机器学习模型 线性回归 决策树、随机森林（处理非线性关系）.深度学习模型 循环神经网络（RNN）、卷积神经网络（CNN）.混合模型Classified信息来源：Gartner数字化转型的核心：“业务优化”和“业务转型”Digital Business OptimizationDigital Business TransformationBetter CustomerExperienceImproved Productivity and Existing RevenueNew BusinessModelsNet-New RevenueProduct and ServicesDigital Business Strategy4Classified数据分析1.提出问题2.理解数据选择全集或子集中列名重命名缺失数据处理数据类型转换数据排序异常值处理4.构建模型3.数据清洗5.数据可视化数据量数据类型数据内容数据属性E-R图描述数据组织数据对数据进行操作描述数据库类型和属性为什么要分析哪些分析指标得到什么结果需要哪些数据将数据转换成图或表，以更直观的方式展现和呈现数据ClassifiedE-R图（实体关系图）ER图是一种描述现实世界的概念模型的方法，用来表示实体，属性和联系Classified表格：由行和列组成，用于比较变量。表格以结构化方式展示大量信息。饼图和堆积条形图：这些图形分成多个部分来表示一个整体的不同部分。它们提供了一种简单的方法来组织数据并比较组件的大小。线形图和面积图：这些视觉显示通过绘制一段时间内的一系列数据点，来展示一个或多个数量的变化。线形图利用线条展示这些变化，而面积图用线段将数据点连接起来，然后将变量堆叠起来，并用颜色区分不同的变量。直方图：该图形使用条形图绘制数据分布（条形之间没有间隔），表示属于特定范围的数据数量。这种视觉表示使终端用户容易识别给定数据集内的异常值。散点图：这些视觉表示对于揭示两个变量的关系十分有用，通常用于回归数据分析。但是，有时可能会与气泡图混淆，气泡图用于通过 x 轴、y 轴和气泡大小来呈现三个变量。热图：这些图形显示有助于按位置呈现行为数据。位置可能是地图上的地点，甚至是网页。树形图：以一组嵌套形状（通常是矩形）展示层级数据。树形图非常适合根据面积大小比较类别比例。数据可视化ClassifiedClassifiedClassified什么是数据治理 数据治理是一项战略计划，用于优化企业处理数据的方式。它旨在对数据资产进行规划、监控、执行、管理；组织和改进公司用于定义、收集、存储、保护、管理和货币化业务数据的政策和程序，并有目的性的实践活动；良好的数据治理不仅旨在保护数据，而且旨在寻找为企业创造数据价值的新方法。Classified什么是数据治理 战略规划组织和角色理念植入政策和标准项目和服务技术和支持成本和资源Classified全流程监管的数据治理体系关键数据资产有清晰的业务管理责任IT建设有稳定的原则和依据作业人员有规范的流程和指导数据管理数据采集数据处理数据应用全流程监管的数据治理体系010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101当面临争议时，有裁决机构和升级处理机制；治理过程所需的人才、组织、预算有充足的保障标准梳理组织制度落地策略Classified数据治理体系Classified数据治理的核心工作在企业的数据建设进程中，保障企业的数据资产得到正确有效地管理。Classified什么是数据管控数据治理和数据管控缺一不可，治理在前、管控在后。数据治理针对的是存量数据，是个由乱到治、建立规范的过程；数据管控针对的增量数据，是个有章可循，行不逾矩的约束。数据管控专注在纵向管控深度，上层定标准，基层去执行Classified为什么要做数据治理 症状有垃圾数据关键数据缺失数据不同步数据无法追溯数据异常业务和财务口径不一致前端数据和后端数据不一致根因政策不清晰管理力度缺失体系和规模庞大，梳理困难培训不到位主人翁意识不够标准化缺失Classified为什么要做数据治理 提升数据质量为共享数据建立清晰的决策规则和决策流程提升数据资产的价值提供解决数据问题的机制促进IT和非IT人员共同参与决策促进部门和业务单元之间的协作和相互依赖为共享数据建立共同责任制保证数据的可用性保证数据质量保证数据安全Classified为什么要做数据治理 当前可能的情况：问题长期积累能容忍重要但不紧急IT在管理和做补救可能采取的模式业务部门主导IT部门主导企业数据管理部门主导Classified数据质量维度完备性：是否存在所有必要的数据有效性：数据指与定义的值域一致准确性：数据正确表示“真实”实体的程度一致性：确保数据值在数据集内和数据集之 间表达的相符程度完整性：即连贯性，包括与完备性、准确性、一致性相关的想法 及时性：数据产生到可用的时间延迟程度唯一性：数据集内的任何实体不会重复出现Classified数据治理的内容 架构管理数据开发操作管理安全管理主数据管理数据仓库管理内容管理元数据管理质量管理数据模型价值链分析数据架构建立数据分析数据建模数据库设计实施获取恢复调优保留清除标准分级管理授权审计外部规范内部规范客户数据产品数据维度管理架构实施培训和支持监控和调优获取存储备份和恢复整理检索保留清除架构整理控制交付标准规范分析度量改进Classified数据类型主数据：关于业务实体的数据，描述组织内的“物”，如供应商、客户、产品等。通过全局视角对企业主要的“人”和“物”有个全局把控，为其建立现实和数据领域的唯一标识。交易数据元数据即过程数据，描述组织业务运营过程中的内外部时事件或交易记录的数据。如：销售订单，通话记录，供应商名单等数据。交易数据是BI分析的基础即描述数据的数据，帮助理解、获取、使用数据，分为技术元数据、业务元数据等用于将其他数据进行分类或者标记整理的数据，外部对标数据参考数据统计数据即对企业业务活动进行统计分析的数值型数据，也就是指标，如年度销售额Classified主数据管理制度明确相关的组织职责、流程规范、数据标准主数据管理办法各类主数据属性模板主数据流程清单绩效考核Classified主数据标准的梳理编码：建立适用全企业的编码规则，全局统一管理、辨别和使用遵循全局性、唯一性、适度性、灵活性、扩展性等编码原则满足编码共享、自动生成、编码扩展等使用要求，分析现有编码问题，提出改进意见，最终确认主数据编码规则Classified主数据标准的梳理分类：建立统一、规范、科学的分类，提升管理效率，降低因分类不准确造成的错误1.调研、收集相关分类标准2.差异及对标分析3.确定信息分类4.确定结构及规则主数据类型物料主数据原料，辅料，半成品，服务设备主数据类型，地点，资产，费用财务主数据科目，分录供应商类型，产品，价值客户区域，规模，价值Classified主数据标准的梳理数据三大属性：业务属性、技术属性和管理属性属性标准的梳理是对数据的每个属性项分别定义相关标准规范，从而可以约束各系统中的属性差异。属性标准可以参照国家、行业标准，内部的业务制度从业务标准、技术标准、管理标准等不同角度进行标准化。Classified数据标准核心内容主题定义和分类标准属性标准代码明确业务主题概念、本质和内涵（如，什么是客户）明确具体的数据来源、分类体系、使用规则需要遵守的规则、标准属性、负责部门、业务定义和描述（所属主题、名称、引用的数据项名称、参考标准、数据类型、长度和其他业务定义）明确代码取值和业务含义（编号、编码规则格式、名称、数值、描述等）主数据标准的梳理业务定义管理信息技术属性谁是主？谁来用?干什么？什么时候干？准确性，及时性，全面性Classified主数据标准的梳理国际标准（ISO,ITU)国家标准行业标准（YD，YD/T，JT）同行标准（GDW）企业自定标准数据标准的依据数据标准的类型编码类代码类标志类文本类金额类比例类数值类日期类时间类日期时间类数据标准来源于业务，服务于业务。Classified一张名片的数据公司部门职位姓名地址电话电话邮件传真邮编CompanyDepartment TitleNameAddressPSTNCell phoneEmailFaxZip codeClassified数据标准体系基础类数据标准管理类数据标准客户数据标准产品数据标准销售渠道数据标准交易数据标准区域数据标准地址数据标准信用数据标准资产数据标准联络数据标准 数据标准体系的建立分析指标定义框架分析指标定义体系分析指标维度体系指标库评价标准（环比、同比、KPI）指标库和分析维度关联关系 Classified数据标准业务属性技术属性标准主题标准大类标准中类标准小类标准编码标准名称业务定义业务规则相关标准标准来源标准依据数据约束 数据标准生命周期管理数据类型数据长度数据格式编码规则取值范围数据类型数据精度使用系统管理属性标准定义人标准管理人标准使用人标准版本应用部门使用系统权限范围使用期限Classified数据标准的制定循序渐进不断完善外部借鉴内部适配审核到位指标落地战略规划实践平衡思维改变全员参与确定可通过数据实现的具体业务目标，并定义实现这些目标所需的特定数据元素标准的制定和维护、标准的治理、完整性和可操作性在标准落地应用过程中逐步完善清晰认定企业战略，标准的制定需要结合企业发展的战略，要有前瞻性数据标准需要平衡收益和成本，需要考量投资回报需要对全员进行指导和提供培训，指定数据所有者和数据管理专员业务需要全面参与标准的制定和实施以及逐步改善建立关键绩效指标(KPI)来衡量数据治理计划的成功与否KPI与组织的特定公司战略和具体业务目标紧密联系、与时俱进数据标准需要参考国际和行业标准，也要兼顾企业内部实际需求内部外部数据的标准接轨需要逐步完成，需要分析目前相关流程规范后做出相应改变Classified主数据管理平台ClassifiedDAMA(国际数据管理协会)ClassifiedDAMA(国际数据管理协会)Classified数值治理总览1.整理业务规则，统一数据定义2.及时同步数据来源4.确保关键业务数据质量3.确认业务关键数据指标5.创建数据自动化管理调控体系6.定期评估数据质量对业务结果影响7.跨部门合作，按需进行数据治理8.创建数据质量动态感知平台监控数据治理进程9.持续学习提高团队技能和水平10.业务流程根据的前端业务变化随时调整Classified数值治理关键点1.文化共识，循序渐进2.业务情况和能力现阶段调研3.纲举目张，明确主数据定义上的责任边界，在企业内部明确岗位职责、管理流程，操作规范，保证核心主数据信息的一致性和共享4.根据业务管理和报表需求来合理进行主数据分类5.权限控制，严格审计，考核到位Classified创新迭代 持续改善应用新技术，风险管控，拥抱交互革命与生产力革命保持不断持续创新的心态，全力增加内部和外部的协作和数据连接，真正创造生态链认可的价值和体验高速迭代与不确定的环境下，谨慎小心投入，持续积极努力探索，发现这个时代最大的机会