德勤-证券行业数据治理现在与未来.pdf

源于数据 服务于数据证券行业数据治理的现在与未来德勤中国|风险咨询服务2016年12月2016.1201PART ONE源于数据，数据治理的驱动力02PART TWO证券行业数据治理规划与推进03PART THREE服务于数据，数据治理的未来01PART 1源于数据，数据治理的驱动力41.风险管理中的数据治理公司内各条线的业务人员在业务开展的过程中往往会面临大量的、来自不同数据源的、异构的数据，如何有效管理和使用这些企业未来最重要的资产经常成为数据管理者和使用者的一大难题典型的数据源包括：公司内部数据、政府平台数据、征信数据、银联数据、第三方数据供应商数据、社交网络数据、埋点数据等等如何管理和使用数据数据是企业的重要资产5德勤全球数据中心（GDC）是一个专注于为客户提供（风险）数据的专业团队，目前设立在重庆依托德勤丰富的风险管理项目经验以及对客户一线需求的深入理解，该团队搭建了德勤风险数据平台提供风险数据服务数据来源德勤拥有丰富的风险管理项目经验，通过项目实施，在德勤内部数据库中积累了大量脱敏后的数据德勤内部数据针对外部数据的公开性，通过开发网络爬虫获取各监管单位、行业协会、类权威财经网等众多网站发布的数据通过外包形式，人工收集部分逻辑复杂的定性/非结构化数据外部公开数据通过API接口等方式接入第三方，针对性的获取第三方数据通过付费方式购买第三方数据第三方数据通过对接工商局、法院、教育部等政府平台，获取权威数据有权机关数据数据仓库涵盖所有银行、证券等金融企业所有上市公司、发债企业其他企业企业数据集成自企业数据的业务逻辑，进行行业整合与分析，为各类企业定位提供支持行业数据涵盖基本背景信息、舆情风险、监管诉讼等各类外部公开数据外部数据全国；32个省、市、自治区、直辖市；400+地级市；2000+县1000+指标宏观数据客户可根据自身业务需求，订阅评级、预警、指数等资讯服务，德勤将第一时间为客户推送相关讯息数据订阅数据服务在项目实施过程中和后续服务期内，以定期推送的方式为客户提供相关数据项目+数据根据客户需求，为其量身定制成套数据模板，进行定期更新推送数据个性定制客户可通过实时/批量数据接口接入德勤风险数据平台进行数据查询与获取数据接口数据维度11+类金融行业14类非金融行业25+行业包含企业基本信息与历史沿革(企业年限、股权结构与变更等)、经营模式(技术优势、主营业务等)、上下游企业(稳定性、集中度等)等定性指标120+定性指标涵盖规模类、杠杆比率、流动性、盈利能力、运营能力、成长性等6大类270+定量指标270+定量指标通过对原始数据进行清洗整合，根据不同的维度体系建立不同的数据仓库。以企业数据为例，主要数据维度如下：1.风险管理中的数据治理6企业数据1.风险管理中的数据治理德勤GDC应用展示71.风险管理中的数据治理自营资管柜台期货完整性情况完整性规范性及时性唯一性一致性准确性数据质量问题各维度0%20%40%60%80%100%0100200300400客户产品协议事件财务资产公用信息平均通过率规则数量本月各主题通过率产品规则数量：61柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空CRM十万条数据中存在61779条数据为空，且在代理人标识不为空的情况下，仍有61540条数据为空CRM十万条数据中存在236条数据为空，该列为空时代理人证件类型、代理人姓名存在不为空的情况柜台51918条数据中存在7102条数据为空，且在登记人不为空的情况下存在6881条数据为空的情况柜台十万条数据中存在2382条数据为空，由于存在基准利率非空但是基准利率类型为空的情况，可认为基准利率类型填写不完善柜台十万条数据中存在99990条数据为空，保证金金额不为空的情况下，仍然有账号为空柜台十万条数据中存在17962条数据为空，涉及第三方1不为空时存在本字段为空的情况自营十万条数据中存在18291条数据为空，涉及第三方2不为空时存在本字段为空的情况自营十万条数据中存在99996条数据为空，涉及第三方3不为空时存在本字段为空的情况自营十万条数据中存在93998条数据为空，存在还款账号非空但是还款账户名为空的现象自营十万条数据中存在94026条数据为空，存在还款账户名非空但是还款账号为空的现象资管十万条数据中存在61779条数据为空，存在代理人证件标识不为空，但是代理人姓名为空的现象资管十万条数据中存在61896条数据为空，存在代理人姓名不为空，但是证件号为空的现象期货346数据中存在337条数据为空，存在联系人不为空，但是证件号码为空的情况期货十万条数据中存在97934条数据为空，存在姓名为空但是电话号码不为空的现象数据质量问题严重制约数据价值发挥81.风险管理中的数据治理数据问题解决方式原因数据对接人员缺乏各项目团队各自为战，重复工作时效性差数据未能在第一时间及时更新样本缺失使用过程中发现缺乏一些关键样本数据值缺失一条记录里可能含有缺失值数据文件损坏保存或处理方式不当，导致数据文件损坏数据文件遗失电脑系统崩溃、遗失、操作不当等，导致文件遗失数据重复相同或者部分相同的记录出现多条数据异常数据错误数据没有严格按照规范输入，导致错误数据差异定性数据的录入存在主观性差异数据无效数据完整、但因格式等问题不可用数据口径不统一数据统计口径存在差异，如财务数据，万元/元等单位不一数据处理技术落后传统工具无法处理组建数据团队创建了重庆GDC数据中心，组建了截至目前数十人的专的数据团队建立健全的数据机制以爬虫+API的建立监测机制实时监测数据动态建立完善的数据流引擎进行数据清洗、数据校检、异常值处理建立标准的数据库并以及数据备份机制规范数据标准根据业务需求和规范，建立标准的指标体系规范数据命名、类型、质量标准搭建数据补录平台，规范数据录入流程及标准技术革新结合R、SAS、Spark等专业数据处理软件引进数据挖掘与机器学习算法云服务器、分布式、并行等大数据解决方案没有专业的数据工作人员及团队没有健全的数据样本和数据监测机制缺乏异常值处理机制没有完善的处理机制、备份机制数据清洗机制不健全没有严谨的数据校检机制人工数据录入错误数据录入不规范没有建立标准的指标体系缺乏专业技术应对大数据时代的海量数据GDC建设过程中曾遇到的各类数据问题91.风险管理中的数据治理人员、组织与架构标准、制度与规范 过去各业务团队独立收取所需数据，易出现重复收集以及资源不足的情况 过去各业务团队自行收取数据导致数据标准不统一，数据处理整合难度大 通过建立GDC大数据中心对数据进行统一收集，再供数给各业务团队，实现共享化与专业化 通过建立GDC大数据中心，建立统一的各类数据标准与规范，提升数据管理效率宏观数据行业数据企业数据业务团队A业务团队B业务团队C宏观数据行业数据企业数据业务团队A业务团队B业务团队CGDC数据治理案例101.风险管理中的数据治理流程、活动与机制技术、平台与工具 根据项目需求清单整理相关报告，进而进行数据补录 采用人工的方式对数据情况进行搜索、下载和分析，耗时耗力 GDC大数据中心集中进行数据自动化补录，通过数据补录平台，建立了完整的样本及数据监测机制、数据补录触发机制、数据清洗机制、数据校检机制，流程简洁高效 通过数据补录平台，实现数据的自动化监测、获取、存储以及初步分析数据治理案例11数据治理是成功的企业数据管理中不可或缺的重要组成数据治理基于生命周期的数据管理数据人员、组织与架构数据流程、活动与机制数据标准、制度与规范数据技术、平台与工具数据模型与分析模型描述性分析360度企业全景视图商业智能应用程序管理仪表盘，报告如：客户洞察，客户统一视图数据应用基于可靠的信息行动决策决策流程优化预测与前瞻性分析如：以客户为中心的产品研发，营销战略策略与执行，服新务开发等.大数据基础架构数据概要数据清洗数据整合明确数据治理职责分工，明确不同部门在数据生命周期各个阶段的具体职责建立数据治理的规则制度及流程，详细指导数据治理工作的开展建立数据标准，建立统一的数据规范，统一的指标计算规则与逻辑建立数据质量管理端到端的闭环管理机制，做到事前防范，事中控制，事后治理相结合，提升数据质量，提升数据应用的可靠性结合内外部数据，力求发挥最大数据价值数据应用数据模型与分析模型数据治理大数据基础架构具体做法企业数据管理的4个组成部分1.风险管理中的数据治理02PART 2证券行业数据治理规划与推进132.证券行业数据治理工作实践以证券公司发展战略为导向围绕证券公司数据的生命周期从数据管理和服务的整体角度出发描述券商数据各项功能和活动证券行业数据治理工作框架要求、指导数据应用管理数据管控数据组织与职责企业数据管理企业数据架构管理主数据管理元数据管理数据标准管理数据质量管理数据安全管理数据生命周期管理技术支撑数据战略与规划数据应用与数据服务规划与需求管理数据基础平台建设发展战略目标保障举措实现支撑促进数据制度与流程142.证券行业数据治理工作实践各领域工作内容分解企业数据架构企业数据模型企业数据分布企业数据流转数据架构管理数据模型管理数据分布管理数据标准管理基础类数据标准分析类数据标准数据标准管理标准落地实施标准管理平台维护存量数据质量管理增量数据质量管理数据质量主动保证数据质量监控数据质量清洗数据质量平台建立元数据管理业务元数据技术元数据操作元数据元数据获取与应用元数据管理工具维护主数据管理主数据技术支撑主数据规范与规则专业系统开发主数据生命周期管理主数据规则管理主数据管理工具维护数据质量管理数据生命周期管理数据分类数据存储数据归档数据销毁数据备份与恢复备份存档管理数据恢复管理数据认证数据授权数据监控数据审计数据等级管理数据安全监控数据安全事故处理数据安全管理数据管控数据战略与规划数据组织与职责数据制度与流程数据仓库ODS数据集市ETL数据应用与数据服务信息服务数据需求管理信息服务体系规划指标管理大数据应用规划规划与需求管理数据基础平台建设DAM数据应用管理DG数据管控EDM企业数据管理管理报表仪表盘BI专项应用监管报表技术支撑152.证券行业数据治理工作实践德勤在广发证券数据治理项目中的工作内容产品主数据落地基本制度现状分析及成熟度评估制定基础数据标准基础数据模型优化元数据管理实施方案数据质量提升数据治理工作实施数据治理制度建设规划数据治理组织架构制定数据治理规划方案制定数据治理制度流程数据治理制度专项制度与流程数据标准、数据质量、元数据、数据安全、数据需求16德勤数据治理体系模型成熟度五级模型同业优秀实践支持重点部门访谈问卷调查现有资料文件整理事实依据收集1成熟度评估工作现状关键问题数据需求能力差距2实施路线图设计目标设定任务识别项目优先级排序实施路线图3组织架构、制度流程设计数据管理组织架构数据管理流程、制度4数据治理体系实施评估(回访阶段）5实施成效评估2.1 数据治理现状评估与体系规划工作方法与流程172.1 数据治理现状评估与体系规划数据治理实施路线图设计通过数据治理工作，促进数据质量的标准化，实现数据的全面管控：阶段目标完善重点领域管理能力，数据质量明显改善，加强数据模型应用，推进数据管理各领域工作全面开展和数据管理能力全面提升，全面提升企业的数据成熟度。大力开展数据治理、主数据、数据标准、数据质量、数据应用等领域相关工作，建立数据管理长效机制，夯实数据基础工作，支撑数据模型的运行。中长期短期182.1 数据治理现状评估与体系规划数据治理组织架构设计数据治理委员会数据管理的最高决策机构。数据管理工作小组数据治理工作的统筹协调与议事的组织。数据治理中心数据治理工作的管理组织和推动的部门。数据内容所有者(Content Owner)业务部门与职能部门内部设置全职或兼职的数据治理岗位。数据平台所有者(Platform Owner)信息技术部各系统管理岗位或数据库管理岗位。192.1 数据治理现状评估与体系规划数据治理制度流程设计与编制数据治理制度数据需求管理办法数据安全管理办法数据标准管理办法数据治理操作手册基本制度1专项制度24操作手册管理流程3数据标准管理流程元数据管理流程数据质量管理流程202.2 数据模型管理模型优化 架构层面 设计规范模型健康性检查01克服数据黑暗现象02明确数据与流程的关系03挖掘数据意义04各项数据活动的基础通过清晰的数据模型管理让企业可以真正理解和运用自身的数据，并不断扩大应用和分析数据的范围和规模。了解数据访问与业务流程之间的关系，帮助企业业务使用者应用更好完成工作，推动全面数据化运营。连接和映射更多数据，充分发掘现有的数据之间的关系，扩大数据规模效应，让数据可以充分发挥其作用和价值。其他的数据资产管理活动，包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。1 管理流程 业务层面21.结合行业通用数据模型的成果，扩充基础模型的覆盖范围2.充分考虑数据标准定义及大数据平台的特点进行优化设计3.主题及实体的定义更贴合业务实际，同时考虑到可扩展性的要求4.考虑目标应用是否能够方便、快捷支持212.3 建立数据标准体系企业数据标准协议主题客户主题交易主题公共信息主题渠道主题产品主题财务主题数据标准是企业或组织的数据项的分类、语义定义、值域和计算机应用的规范化集合，数据标准管理是建立、维护、应用数据标准的过程。定义和分类数据业务标准（业务层面）数据技术标准（技术层面）管控标准（管理部门）数据标准体系基础类数据标准结构分析类数据标准结构分析类指标定义框架分析类指标分类框架分析类指标维度框架分类、业务含义、维度、统计口径业务类、财务类、风险类、客户类币种、产品、机构（总分）、区域归口管理部门数据项数据类型、数据长度、数据精度数据项编号、中文名称、英文名称、业务定义、定义依据、参考标准明确业务主题的概念、本质与内涵资讯主题222.3 建立数据标准体系客户主题机构客户控股性质国标证监会标准系统现状码值业务定义：公司控股主体的性质信息项类型：代码类信息项国家统计局关于统计上对公有和非公有控股经济的分类办法证监会公司控股情况分类标准国家单位10国有独资11国有控股12集体企业20民营企业30港澳台投资40港澳台独资41中外合资50外资独资51其他99选用依据券商生产、报送、发布统计数据涉及的控股情况分类需遵循本标准。232.4 数据质量管理2.测量1.定义3.分析4.改进5.控制质量需求定义质量范围定义剖析方式定义剖析计划定义选定测量数据制定测量规则编写测量脚本测算数据质量生成质量报告指出质量问题分析问题原因质量问题派分质量问题处理定义改进方案执行改进方案评估改进方案持续质量管理持续质量检核知识库管理问题流程优化数据质量持续提升数据质量管理数据作为全公司一项重要资产，质量管理是核心目标；保证公司数据质量，数据认责和数据质量考核是抓手，数据标准、数据模型、元数据等是基础的必备条件；通过建立数据质量管理端到端的闭环管理机制，做到事前防范，事中控制，事后治理相结合，全面主动的进行数据质量持续提升；242.5 主数据管理准确识别企业的主数据，确保主数据在企业内部的完整性、准确性和一致性。建立主数据管理机制和平台，为企业的主数据建立统一的视图。流程规范主数据的创建、维护流程流转明确主数据源头及系统间的数据流转关系定义主数据的定义与范围应清晰明确质量确保主数据的完整性、准确性、一致性252.5 主数据管理产品目录设计业务树客户树标的树组织树按照四个维度进行理论上笛卡尔积的生成对四个维度一起生成的笛卡尔积的数据进行合理性检查，删除不合理组合。产品目录设计目标能覆盖证券公司母、子公司各业务条线业务、产品、客户；能为各产品部门提供统一产品衡量标准，便于部门之间沟通管理；产品目录实现方式262.6 元数据管理元数据查询与展现元数据管理元数据分析提供技术元数据，业务元数据等信息查询的展现，支持元数据的统计等。对元数据版本进行匹配，及时通知和提醒业务元数据的变更。通过元数据的登记修改流程对元数据进行管理。实现数据分布地图，数据血缘分析和影响分析。MIB自动/手动抽取最新元数据获取数据管控平台原版本元数据比较两个版本之间差异生成差异报告在数据管控平台中展现差异管理员浏览和审批差异内容对差异变更内容作评估分析审批通过是将数据变更到数据管控平台开始结束否在管理员中显示待办事项元数据采集实现对管理范围内的技术元数据（数据结构、ETL加工，数据映射等）、业务元数据（指标报表、标准）的自动或手工采集，完成自动匹配，实现对无法自动采集的内容作补录元模型管理元数据采集公共接口（WebService、通用接口等）元数据应用(分析应用，元数据查询展现等)元数据管理（增删改查、统计管理、版本管理等）元数据存储与计算元数据管理272.7 数据安全管理数据生成与创建存储使用共享归档销毁数据生命周期安全源数据标准定义、格式与规则数据质量管理数据分类与定级数据存储安全标准数据存储介质管理技术控制规划(访问控制、加密、数据库活动监控)数据使用安全标准数据使用介质管理技术控制规划(应用系统访问控制、屏蔽、行为监控)数据传输安全标准数据传输介质管理技术控制规划(加密、DLP，传输环境安全控制)数据销毁标准数据介质处置管理技术控制规划(安全删除)数据归档标准数据备份、恢复技术控制规划(数据加密、资产管理)企业应通过建立对数据及相关信息系统进行保护的一系列措施，确保数据免遭未经授权的访问、使用、修改或删除，保证数据完整性、保密性和可用性03PART 3服务于数据，数据治理的未来293 数据治理发展趋势建立数据管理基本架构 建立数据管理角色，明确职责 编写数据管理制度与流程 建立数据治理组织架构 关注集中化的数据仓库实施方法1关注企业数据质量 贯彻并执行数据管理制度与流程 强化数据治理组织架构与角色定位 建立数据质量管理方法与管理标准 建立元数据管理方法与管理标准强化数据管控机制 设置“首席数据官”建立元数据管控平台，采集与完善企业元数据 建立企业级数据制度架构，规范数据源头、数据整合、数据分析与数据发布工作 定义企业数据主题与分类 评估用户的数据需求23企业全面数据治理 打造端到端的数据供应链管理 整合横跨企业数据模型、数据内容与SOX的控制环境 巩固企业数据政策与评价标准 元数据采集自动化 通过技术应用强化数据管理组织架构 培养专业数据人才4现状未来发展方向企业级数据管控服务经营管理活动数据管理技术广泛应用303.数据治理价值创造展望1.价值导向的数据应用价值层创造价值2.数据建模、数据挖掘分析层分析运用3.数据采集、数据质量数据层质量监督4.业务系统、基础设施基础层生产交易31数据管控平台将数据以搜索、点评的形式进行展现。将证券公司的数据资产以数据管控平台作为门户统一发布，提供给用户使用。3.数据治理价值创造展望CASE I 企业数据管控平台323.数据治理价值创造展望CASE II 建设风险管理基础设施数据源头加工处理应用客户数据数据治理工作实现风险管理要素风险识别风险限额风险偏好风险计量交易数据市场数据财务数据参考数据风险资本管理应对与处置监控与报告综合压力测试大数据平台（数据仓库）风险数据集市规范数据管理制度与流程建立企业级数据模型与数据标准实现数据质量持续提升数据资产统一管理风险管理系统数据和系统建设是风险管理的基础设施333.数据治理价值创造展望CASE III 建设客户信息平台(ECIF)ECIF应用客户信息整合营业部客户渠道其它网上开户客户基本信息管理客户关系管理客户账户信息管理客户签约产品管理分析信息经纪业务资管业务期货业务其它客户统一视图数据治理数据标准管理数据质量管理数据安全管理数据模型管理元数据管理为关联系统提供客户基础数据使用技术手段，实现“以客户为中心”的服务理念343.数据治理价值创造展望CASE IV 建立第一方DMP平台建立整合模型，实现营业部客户画像数据和CRM数据的贯通用户标识数据：Mac地址、IMEI号、IP地址等移动端数据：APP安装与使用等企业线上数据企业自有数据CRM信息：客户信息、账户信息、产品信息，营业部数据；平台数据：自有APP信息、网站访问追踪信息;营业部线下数据用户位置数据：归属地、工作地、居住地、常去地等线下POI数据：人群数据、停留时间、来访频次等数据管理平台数据接入数据预处理建立模型模型优化模型应用匹配打通用户分类属性标签潜在用户定位数据应用效果追踪优化基本：IMEI、MAC地址等标记数据：cid、did、gid传统富豪高层精英高知新贵奇进新锐基本属性：人口特征、兴趣维度价值标签：广告价值、品牌价值广告投放：人群、媒体等营销活动：策略、内容、客群线上行为：点击、跳转、交易线下行为：到店、购买人群特征所在位置生活形态行为特征数据模型价值DMP