华为大数据中台架构分享.pdf

大数据中台架构分享数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案DAYU目录业务场景：智慧工厂全球运营指挥中心智慧工厂智能供应链管理第三方风控|全球供应量可视化|质量控制前置|智能供应链（订单、仓储、物流）质量管控质量大数据（事后）|质量预测模型（事前）C2M动态供应链|柔性生产线智能物流智能仓储|智能装箱|物流可视化追踪|智能清关智能制造资产管理|AGV厂区物流|产线预防性维护|智能安全监控|工厂能耗管理|设备虚拟化|设计生产一体化生产运营可视化业务模块数字化应用数字化运营数字化指标运营系统质量管控工序数据质量实时监控预警E2E融合质量数据预警系统数据可靠性分析物联网数据应用数据资产管理物流数据采集系统IT产线数字化生产安全数字化制造能耗数据管理云制造数据分析测试，仪表，诊断，维修数据/智能诊断，装备维护，大数据云调度制造数据可视化订单全流程可视制造测试网络监控可视质量管控数据可视网络资源规划实时的路径规划作业能力规划工厂DC卡车运输-防盗感应器客户三级运输国际运输运输 连接承运商和货主预测性运输按需送达大数据分析客户需求、风险、外部运力等信息及时感知，自动给出预测性方案智能化基于Geocode的智能地址获取和校验感知式存储AS/RSWMS&TMS拣料叉车with RFID Sensors智能眼镜验收捡料RFID Scanner拣料国家仓基于先进技术与工具，物流信息自动感知与采集，实物流全程可视数字化承运商执行过程与结果可视，绩效自动生成智能化基于云端的与内外部高度集成的物流IT系统实时的物流信息驱动精准的资源计划管理智能化车辆追踪与LSP管理二次运输自动线体带感应器的装车垛口卸货by Trailer Skate Dock数字化的运输跟踪连接连接连接连接连接连接业务场景：智慧物流与智能仓储数字化运营企业越来越重视数字化运营，核心重点是数据管理、可视以及数据治理超过60%计划或已经建立数据管理委员会基础大数据产品逐步成熟，数据安全、数据开放以及主数据管理需求旺盛。大数据能力框架，数字资产管理作用将被关注From 信通院、艾瑞咨询：预计到2020年，大数据软件市场规模将达到268.2亿元，年复合增长率38.6%；大数据服务市场规模将达到165.9亿元，年复合增长率41.4%。初步估算数据管理市场约43亿，核心发展方向：数据资产管理、数据可视化以及机器学习From 中国信通院中国大数据发展调查报告2018n 井喷增长的数字化业务需求n 数据隐私和安全将对业务发展带来影响n 数据贯穿企业内外分布在多个系统n 人工智能将切实重塑商业模式n 规模化、复杂的业务生态新趋势及挑战Gartner数据分析和数据管理演进模型本地领域级企业级大数据逻辑数据仓库报告商务分析，展板数据科学，人工智能/机器学习自然语言处理信息生态和价值化使能商业成功Wave 1Wave 2Wave 3Wave 4Wave 5卓 越 数 据 管 理增强分析和优化组合（无处不在；自动化；算法集市)卓越数据分析基础分析（描述性、诊断性分析)高级分析（预测性、规范性分析)*来源Gartner CDO Circle Workshop Leading Innovation Practicesn内部数据n外部开放数据n社交数据nIoT 数据n个人数据n业界洞察Gartner：日益增长的数字化需求、复杂的业务生态系统、数据的分布式存储趋势，驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统目标：从烟囱式多个平台向融合大数据平台，建立统一的数据采集与整合大数据处理、计算及数据服务能力，降低大数据使用成本通过集中各领域数据，方便创新，让数据产生更大价值大中台、小前台，前台特种兵敏捷作战单元+中台航母舰群精确制导炮火统一数据平台(基础设施复用)离线分析近线分析实时分析内存分析现网烟囱数据IT系统数据采集运营生产数据采集数据采集建模挖掘数据中台统一数据资产中心统一数据建模、分析与挖掘统一数据服务统一数据采集销售预测建模分析客户分析建模分析销售客服生产辅助运营系统应用系统客服应用新业务挑战：1、独：烟囱系统，数据孤岛严重。重复开发、成本浪费；2、断：数据理解与数据价值链条的断层；3、缺：缺标准、缺治理、缺数据；4、难：知数据难、要数据难、懂数据难；数字化运营，需要由传统的烟囱式IT系统向数据中台转型生产数仓销售数仓客服数仓数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案DAYU目录数据中台定义与愿景定义：全域级可复用的数据资产中心与数据能力中心，提供清洁、透明、智慧的数据资产与高效、易用的数据能力，使能业务数字化运营；愿景：让数据成为如水和电一般的资源，随需获取，敏捷自助；让数据极大发挥价值，推动业务创新与变革；业务对象、规则、过程数字化数据联接数据透明数据采集/处理自动化、智能化数据领域由企业扩展到生态伙伴数据敏捷自助安全共享（隐私、授权、权限等）数据合规算法模型（AI）实现特性数据实时可视数据清洁数字业务化数据中台建设框架：1）以业务数字化为前提，数据入湖为基础，建设数据资产中心；2）打造能高效承载数据中台建设的数据运营平台能力中心数据服务CBCcloudscopeHRMS数据消费数据源业务报告实时可视智能决策自助分析运营监控批量/实时采集数据资产中心数据能力中心CMDBEsee客户基本信息主数据云服务信息云服务发布记录事务数据售卖记录故障信息营销活动客服投诉支付客户财报外部数据行业信息国家风险财经信息国家基础数据Region业务日志非结构化数据流媒体视频文件主题联接（数据模型、标签、图谱）分摊智能运维模型数据计算（规则、算法、模型等）销售收入预测模型员工主题站点主题合同主题客户主题智能搜索文本挖掘存货主题领域知识图谱项目主题云服务主题维度区域产品数据湖完整、清洁的逻辑数据湖统筹推动、以用促建，急用先行为数据中台提供一站式“原材料”汇聚各业务源系统数据，清洗/注册数据资产业务对象、规则、过程数字化对准需求，驱动业务数字化数据采集/处理自动化持续数据治理，提升数据质量数字化运营数字化运维业务流效率提升满足自助、智能的数据消费识别多场景数据消费需求构建数据消费快速响应机制数据业务化，数据反哺业务，促进数字化运营中台消费场景3业务平台中台核心资产数据质量元数据管理数据采集数据服务数据开发数据可视化数据地图数据共享与安全数字化研发内部数据外部数据运营系统运维系统人员机房建设CM客服社交媒体数据服务数据清洗资产配置数据建设平台建设12主题连接层，数据中台核心资产建立“面向对象、面向主体、面向业务流”的数据联接和标签持续沉淀业务规则、算法、模型建设公共数据服务，减少重复开发数据中台建设两条主线：数据建设数据产生数据提供数据整合、标识、联接、建模数据消费业务数字化消费场景数据湖中台核心资产数据湖源数据指标数据运营数据销售数据CBCcloudscopeSCM收入触发数据服务数据实时可视诊断预警故障数据FUXI项目数据财务数据主题联接发票信息合同基本信息开票计划业务主题收入触发回款核销开票触发计划云服务运营大屏技术保障全景销售毛利成本中心数据服务-云服务建设全流程明细数据服务-交付项目收入明细安全态势感知故障智能预警数据调优诊断智能扩容推荐研发效率大盘数据可视与分析运营指标运维指标平台建设智能决策中心大数据服务数据接入服务MRSDLICcloudTable数据呈现与决策数据智能服务OBSDWSES云服务运营大屏技术保障全景销售毛利成本中心安全态势感知故障智能预警数据调优诊断智能扩容推荐研发效率大盘智能决策中心实时数据接入DIS批量数据迁移CDM数据库实时同步Dsync日志数据采集log数据运营平台DAYU数据开发数据开发/处理/调度运维数据治理元数据管理/数据地图/数据质量/业务指标数据标准数据可视大屏开发/发布预览智能分析自助BI/报表OLAP数据服务服务创建/发布服务市场行动分析决策数据消费描述发生了什么?诊断为什么会发生?自愈系统自我控制解决问题。预测将会发生什么?指导要采取什么措施?人工判断和采取措施人工判断和采取措施人工判断和采取措施人工判断和采取措施数字化运营的不同层次数字化运营的不同阶段阶段一：数据实时可视数据展示实时可信报告上线在线开会支持数据层层下钻阶段二：诊断预警阶段三：智能决策提前感知业务问题自动预警潜在风险智能分析问题根因洞察趋势推荐方案支持客观精准决策中台数据消费解码：包含不同层次和阶段的数字化运营数据消费的不同用户类型业务人员数据科学家IT开发人员管理者数据中台背景洞察华为数据中台顶层设计华为云数据中台解决方案DAYU目录数据运营平台DAYU，产品定位与价值定位：提供给数据工作者（数据管理者、数据分析师、数据开发者）的一站式、高效易用的数据治理运营平台；客户价值：帮助企业快速构建端到端的智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，促进数字化转型；数据迁移实时接入离线迁移第三方工具敏捷可视能力自助分析能力全局治理能力高效探索能力快速开发能力用户数据消费支撑业务主题/画像/指标的访问查询检索数据开放应用分析数据源DAYU平台：一站式数据运营数据开发Pipeline开发、调度数据可视化大屏可视，BI视图数据规范数据模型，约束规则数据质量质量规则、质量报告全域数据目录（元数据Catalog）公有云数据湖MRSDLIGESDWS私有云数据湖严管数据非严管数据数据接入实时接入离线迁移第三方工具数据流数据流调度流调度流命名：DAYU像大禹治水一样帮助企业进行数据治理与运营，最终让数据变为企业创新的新能源，助力企业新增长。行业模板行业模板+运营，一站式构建企业数据中台智能数据湖运营平台DAYU快速开发全局治理共享开放数据可视 具有最优性价比的端到端技术平台，支持用户数据找得到，管得住 沉淀行业能力，快速构建数据中台，助力用户数据用得好智能数据湖存储计算主题数据模型指标计算Pipeline行业数据算子行业应用模型数据规范设计，基于华为数据体系建设方法论沉淀而成数据标准不统一数据业务断层数据重复建设历史不可追溯现状目标数据标准系统化、流程化数据需求全链路打通数据研发自动化、无码化元数据中心流程引擎数据需求管理 数据领域建模指标定义&数据模型权限&安全统一标准指标定义规范设计数据构建方法论行业标准指标内容指标发布下线指标合集输入：业务数据化需求输出：标准化数据中台设计一站式敏捷大数据开发治理，全流程可视治理资产服务开发 使用SQL进行图片识别，快速完成非结构化数据处理create table cars_no(filePath string,result arraystruct)using ocroptions(path obs:/bucket1/wangfei/cars,ocrApiUrl/v1.0/ocr/plate-number,ocrEndpoint https:/-north-,ocrRegion cn-north-1)SubmitID LogTimeNumberNumberColorColorLoacationFileFile12018072210:09:46粤B 12345白 坂田五和大道obs:/bucket1/wangfei/cars/file00222018072210:09:46粤B 67890黑 坂田五和大道obs:/bucket1/wangfei/cars/file002实时机器学习、深度学习，增强实时数据分析能力SQL中调用各种机器学习算法和深度学习框架，降低AI能力使用门槛AI能力与SQL融合，懂SQL就可以开发AI业务可复用的行业模板，加速数据价值发现流程行业数据标准行业主题数据模型行业指标计算流程行业算子行业指标业务对象中心（五大库）：产品、客户、合同、站点/网络、员工数据湖数据主题ITR主题HR主题行政主题IT主题CNBG销售研发主题供应主题采购主题交付主题RC经营主题企业运营消费者运营运营(ITO/DSO)流程域主题：经营、运营区域数据平面数据地图业务实体(项目合同)经营(收入/成本)合规(内控/账实)Data Lake：800+对象 7000+实体 100+万属性供应数据95%进底座CNBG数据50%进底座GTS数据60%进底座产品数据90%进底座流程IT数据及其它90%进底座数据统一采集入湖数据统一入湖，实现5大业务对象的数字化案例：华为内部IT数据运营，助力华为“清洁数据的数字化运营蓝图”推动数据入湖，实现内、外数据的获取 构建五大库，实现五大关键业务对象数字化，实现数据同源，减少数据搬家 重点建设大数据和人工智能平台，“数据获取数字化 智能化”三步走案例：智慧园区数据运营，助力企业降本增效智能数据湖运营平台DAYU人员主题库车辆主题库资产主题库设备主题库组织主题库时空主题库事件主题库资源主题库园区主题库批量数据集成实时数据集成数据ETL可视化开发任务调度管理权限管理数据集成数据标准数据质量元数据管理指标监控数据地图数据血缘数据治理园区智能运营中心IOC公司管理数据业务子系统数据外部互联网数据数据来源智能数据湖底座构建园区8+个主题库主题库含5000+属性数据集成开发从15天缩短到1天数据应用开发效率提升50%接入园区个数100+数据分析由T+1到实时应用数据14省国家电网：融合电力企业全域数据，助力企业业务优化和创新智能数据湖智能数据湖运营平台DAYU原始数据计量数据设备数据负荷数据能效数据交易数据发电数据设备监控负荷预测电价预测用电习惯发电预测节能建议主题数据人机厂电线综合能源服务电力驾驶舱用电预测电力大数据典型场景其他行业，基于华为云智能数据湖解决方案，在更多领域帮助客户实现数字化转型政府零售汽车 融合各领域数据，包括民生、交通、气象、经济、工业、商业、服务等，规范数据标准，实现数据资产管理，全域数据可视化 基于数据资产，对外提供数据服务，包括一网通办、民生服务、企业服务等应用场景 打通零售企业全域数据，包括ERP、CRM、订单、会员、电商、O2O等 基于全域数据支持企业经营决策，如经营报表、客户画像、个性化推荐、订单全链路追踪等应用场景 融合内外部数据，包括生产制造、用户声音、车辆状态等，经过整合清洗、数据模型的建立分析，可视化呈现分析结果 基于数据分析结果优化设计、生产、经营华为云智能数据运营平台价值融合全域数据打通，再无数据孤岛效率行业模板+全流程可视，快速构建数据价值链条变现数据-资产-价值，成本中心向利润中心转变智能+AI智能融合数据处理，数据统一管理华为云 智能，见未来