大数据技术应用方向和推动发展的探讨优品文档.pptx

Thank you,Copyright2011 Huawei Technologies Co.,Ltd.All Rights Reserved.,The information contained in this document is for reference purpose only,and is subject to,change or withdrawal according to specific customer requirements and conditions.,Click to edit Master title style,Slide title,:40-47pt,Slide subtitle,:26-30pt,Color:white,Corporate Font,:,FrutigerNext LT Medium,Font to be used by customers and,partners,:,Arial,HUAWEI TECHNOLOGIES CO.,LTD.,Page,#,HUAWEI TECHNOLOGIES CO.,LTD.,HISILICON SEMICONDUCTOR,Page,#,HUAWEI TECHNOLOGIES CO.,LTD.,Page,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文标题,:32-35pt,颜色,:R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,:Arial,中文标题,:30-32pt,颜色,:R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,):18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,:Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案,:,建议同一页面内不超过四种颜色，以下是组配色方案，同一页面内只选择一组使用。,（仅供参考）客户或者合作伙伴的标志放在右上角,.,Thank you,Copyright2011 Huawei Technologies Co.,Ltd.All Rights Reserved.,The information contained in this document is for reference purpose only,and is subject to,change or withdrawal according to specific customer requirements and conditions.,Page,#,HUAWEI TECHNOLOGIES CO.,LTD.HISILICON SEMICONDUCTOR,Page,#,华为,TECHNOLOGIES CO.,LTD.,Page,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文标题,:32-35pt,颜色,:R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,:Arial,中文标题,:30-32pt,颜色,:R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,):18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,:Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是组配色方案，同一页面内只选择一组使用。,（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据技术应用方向和推动发展的探讨,目录,大数据产业链洞察及商业价值,大数据应用领域,及,平台建设案例介绍,华为大数据解决方案介绍,浙江移动大数据能力构建研讨与建议,大数据成为实现企业智慧运营转型的核心引擎,合作伙伴商业创新,企业运营优化,客户价值创新,融合,智慧,开放,实时,电商云,政企,金融,服务,客户研究,精准营销,产品创新,客户维系,客户体验,融合服务,运营,效率,提升,经营能力提升,服务水平提升,管理能力提升,大数据,平台,商业架构,企业架构,应用,架构,网络资源为中心,客户体验及生态圈为中心,封闭,开放、用户驱动、实时知识,Silo,云化,业务感知,自编排,智慧运营转型,数字经济驱动运营商彻底进行数字化重构，企业运营以“网络资源为中心”必将转变为“以客户体验及生态圈为中心”；大数据作为发动机引擎驱动客户价值创新、企业运营优化、合作伙伴商业创新，实现企业智慧运营转型,BDRA提供如何使用华为大数据技术创建大数据平台及应用的规范性指导,（实时连续复制，1:1、1:N、双向、级联复制）,技术云图：深度参与和跟踪大数据业界技术堆栈各种技术的发展,（流失原因，预测模型）,各类微营销场景50个以上,（用户位置获取、地图，实时上报）,开放：渠道合作/能力开放，数据价值变现,简单应用场景，如客户查询上网详单，流量详单和计费详单相关联等,有针对性的，实时的营销,数据/信息资产管理架构设计思路,（Web行为分析，网页点击流，广告优化）,Elasticsearch/Splunk,安全的、可自定义/自编排的API框架,上海XX案例：大数据应用场景建设端到端分解视图,（音视频、图片实体提取、摘要）,（策略中心，实时分析，决策执行）,Machine Learning,大数据业界通用的分层架构模型,规划咨询与集成交付服务,企业知识引擎,Statistics,Data Mining,CEP,Machine Learning,Predictive Analytics,大数据基础设施,数据资产管理,数据源,（,BSS,|OSS|MSS|,Internet|App log|),数据集成,智慧中心,集成商业应用,Offline Ingestion(MED/Crawler),Real-time Ingestion(Probe/DPI),DWH,MPP DB,Hadoop,In-Memory Analytics,Streaming,客户知识库,产品知识库,渠道知识库,业务知识库,实时决策策略管理,精准营销,产品优化,客户体验,服务优化,数据货币化运营,数据,信息,智慧,知识,碎片化的大数据生态系统,与其他领域不同，电信行业大数据生态系统碎片化严重，缺少,E2E,集成解决方案,存储计算层,计算层硬件,2021：流数据处理,StreamSmart,数据仓库,HBASE,HIVE,Hadoop,内存库,软件：,AMStore,CEP,引擎,Greenplum,流处理,SmartMiner,，,Miner,数据挖掘,BDI,ETL,2012,：,GaussDB,CEP,2012,：,Gauss,内存库,Storm,Esper,Kafka/Flume,IT,产品线：,FusionInsight,应用,精准实时营销,体验提升,数据开放,数据仓库,MPP,内存库,dell,SAS,分析模型,IBM,oracle,分析模型,unica,Pontis,openX,服务,Accenture,TATA,外包运营服务,网络优化,SmartPCC,GFK,IBMSQM,Oracle,BI Apps,E,，,NSN,业务能力层,HP,技术能力层,Splunk,Smartcare,Ericsson,华为能力短板,Guavus,Guavus,Guavus,E,，,NSN,Guavus,Guavus,Guavus,分,析,引,擎,业务,分析,华为的优势在于：,1,）拥有自研的大数据处理核心组件和引擎（超越,IT,厂商）；,2,）电信数据和业务的深度运营能力（,OCS/SDP/,核心网,/CRM,等）的长期积累；,3,）全球客户项目接触界面，知识和经验的沉淀,电信领域企业级大数据中心分层建设的方案趋势非常明显,三类大数据技术,/,服务提供者,可以提供完整的大数据技术平台、分析工具；,可提供部分场景的应用解决方案及相关的分析服务。,IBM,：数据治理,方法论创建者，将大数据与传统数据中心结合起来，提供丰富、,完整的产品套件,，构建新一代混合型数据中心。,TeraData,：,传统,DWH,的,Top 1,厂商转型。,提供高度可伸缩的并行处理能力,，行列混合存储,MPP,架构，统一数据库服务与计算层，集成,SQL,与,SQL-MapReduce,。,SAS,：,数据分析与挖掘预测领域领导厂商，在运营商领域主要提供用户细分、用户保有、交叉营销等基于,B,域数据的垂直应用方案。,华为,主要是互联网巨头，提供云化的大数据分析服务,Google,：,提供,企业级的云端大数据分析处理服务,；,TB,数据秒级响应；,通过,Prediction API,，提供分类,/,预测,9,大类云服务。,腾讯：,支持单集群万台规模，存储容量,100PB,，每天,Job,数,100,万,+,，扫描数据量,6.5PB,；通用的分布式实时推荐平台，日推荐量,1,万亿；,使用滑动时间窗口训练模型，最小窗口粒度,5,分钟,。,阿里：,基于阿里云的计算和存储能力，打造,以数据为中心的共享平台,；提供基于工具链（,ODPS,，,M/R,，,Python,，,R,，,Xlab/Xlib,）的一站式数据开发引擎。,百度：,通过,百度云、数据工厂、百度大脑开放大数据引擎,；以深度学习为主的机器学习有,全球规模最大的人工神经网络（,200,亿向量）,。数据存储规模超过,1EB,，日处理,100PB,级，秒级时延的数据总线,BigPipe,。,在单点技术上具有独特价值,SAP,：,分布式列式内存数据库,HANA,业界第一；,Splunk,：,分布式多源数据采集，打造低成本实时分析能力。Cloudera,：,提供成熟可靠的,Hadoop,套件，拥有,影响,Hadoop,开源代码,的能力。,Tableau,：,数据可视化领域业界最佳。,TeraData/GreenPlum,：,Teradata,作为,MPP DB,行业标杆,，性能、可靠性好；,GreenPlum,作为开源厂家，价格便,Informatica,：,在,数据脱敏、主数据管理,等方面均处于行业领导地位。,解决方案供应商,技术供应商,分析服务供应商,目录,大数据产业链洞察及商业价值,大数据应用领域,及,平台建设案例介绍,华为大数据解决方案介绍,浙江移动大数据能力构建研讨与建议,概述,：,全球,1,、,2,线运营商向客户资产经营转型，数据成为资产，大数据成为其提升运营、洞察客户的重要手段，同时积极尝试对外变现,外部数据,面向客户,内部数据,面向运营,社交媒体,经济数据,人口统计,定价弹性与消费模式研究,竞争对手分析,品牌与广告推广,客户忠诚度,&,保有,移动设备信息,产品和服务性能,市场研究,设备和技术能力评估,带宽成本,客户宣传,客户投诉,地理空间数据,网络性能可视化,网络利用率,网络规划与覆盖,欺诈和泄露,客户体验,客户,LTV,营销成本与效果评估,营销效率,客户网络体验,计费和支付,CDR,和交易,订购及配置,客户使用模式,城市发展规划,网络监控,市场,&,客户洞察,运营洞察,网络优化,提升运营,收入和风险管理,优化网络投资,预测和提高网络容量和性能,优化网络维护和资源管理,呼叫中心的资源优化,客服的规范指导,订购配置和激活跟踪,收入保障和欺诈检测,客户信用评估,拓展市场,促进销售,改善客户服务,评估新产品和服务的需求,产品与服务创新,产品和服务的价格和性能优化,竞争洞察和快速响应,有针对性的，实时的营销,基于事件营销,客户细分市场,下一个最好的报价,基于位置的广告,客户保留,客户体验分析,交叉营销,呼叫减少,/,偏转,客户的网络体验,运营商大数据价值应用全景图,当前聚焦的应用场景,大数据在,电信运营商行业的价值,金字塔模型,金字塔模型展现的是冰山上的显性需求；,随着管道资产驱动增长遇到瓶颈，,经营客户资产变成战略焦点，企业级大数据中心成为其支撑其战略转型重要使能,。,解决内部的风险监控,解决外部的风险监控,既有业务的更好运营,解决业务扩展问题,解决业务方向问题,需求,FusionInsight/Universe,SQM(SmartCare,）,CVM/Universe,ISA(Universe),Campaign(Universe),Data Miner(Universe),聚合与运营,AEP(SDP),Universe,战略规划,企业经营管理,数据开放和交易,精细化运营和营销,用户体验管理,运营,/,运维风险管理,大数据分析平台,大数据基础设施,战略规划,竞争分析,收入分析专题分析,数据货币化,数据可视化,自助数据分析,活动收益提升,用户个性化推荐和生命周期管理,用户行为分析,产品体验分析,&,监测,异常智能监控,&,分析,大数据分析平台,Strategic Performance Management,大数据基础架构,自下而上，对于人的依赖性越来越强,自上而下，自动化程度越来越高,主题,大数据应用,需求和特征,B（Business）,I（information）,A（application),S(system),Level4,数字经营，建立与,OTT,差异化的业务优势,构建对外数据交换和交易能力,开放生态，聚合合作伙伴，创新商业模式,大数据中心提供对外的可管可控可运营的数据交易和变现能力,具备灵活的内外部数据交换和整合能力,行业大数据应用；面向个人客户的,appmarket,生态；数据开放和交易,在,level3,的基础上，增加数据变现能力平台,Level3,构建和,OTT,厂商持平的互联网化的运营能力,建设集中化的企业级大数据中心（四川联通大数据中心）,建设统一的平台级大数据中心面向客服，营销、支撑等领域提供,On Demand,的大数据服务,整合跨领域全量数据，建立灵活的数据供应链系统，对外开放融合的信息服务,通过开放信息服务，数据和应用解耦，全面繁荣大数据应用终端营销、内容营销,分层解耦的大数据系统建设,Level2,解决特定业务领域问题,应用场景牵引，建立垂直的大数据应用（,SmartCare/,流量经营等）,针对精准营销、,CEM,、客户维挽等具体的应用场景牵引，规划和建设应用级大数据系统,场景应用牵引整合共享域内数据,Smart,C,are/CEM/,精准营销,垂直的烟囱式系统构建（含大数据分析部件,+,RTD,部件,+,场景应用,）,Level1,大数据技术解决单点业务问题,原数据系统的存储和性能能力的扩展（详单云等）,简单应用场景，如客户查询上网详单，流量详单和计费详单相关联等,整合应用所需的信息,详单云、计费详单和流量详单关联,H,adoop/BDI/,定制业务系统,如何构建,运营商实施大数据的能力成熟度评估模型,Now,2021,2021,I（information）,（数据清洗，数据联邦、数据整合，质量评价）,通过BDRA，可以帮助运营商减少部署大数据应用的投资和上市时间,数据分析师：预置的分析能力，敏捷，智能，知识构建和管理能力，最短的TTM,可以提供完整的大数据技术平台、分析工具；,Universe解决方案3种领域能力（商业云图、数据云图、技术云图）,服务使用记录保存在事件中,ISA(Universe),原数据系统的存储和性能能力的扩展（详单云等）,技术云图：深度参与和跟踪大数据业界技术堆栈各种技术的发展,2021年Huawei向社区提交的补丁数和代码行排名第七，超过了Facebook。,2021年根据华为统计，华为贡献排名上升到第4名。,LTE,明显提升,客户体验,，,XXXX,需要稳固,存量市场,，避免用户流失，尤其对高,ARPU,值的用户维挽非常关键。,上海,XX,案例：业务困境,&,突围思路,运营商间激烈的同质竞争,增量经营向精细化存量经营转变,精准,：基于大数据,用户洞察,，微营销,敏捷,：基于,场景和事件,触发的自动营销,开放,：渠道合作,/,能力开放，数据,价值变现,来自互联网替代竞争越来越激烈,预计到2021年，在发达市场，OTT玩家将捕获差不多15的用户移动语音分钟数，电信运营商话音收入开始下降，运营商需要进行运营模式变革。运营商增值业务缺乏竞争力不断被OTT替换。,产品,互联网化：用户需求洞察，个性化产品开,渠道,互联网化：用户渠道洞察，个性化精准营,运营,互联网化：敏捷实时运营监控，主动维系,全渠道、全覆盖、精细化触点运作,单 用户维系成本14元，维系成本/用户贡献的关系为1:30,线上/线下渠道发展成本比1：7，后付费维系成本比为1：3,2021年运营商在信息产业的价值占比为21%，预计2 年下降至16%,2021年存量和增量的收入比已经达到2:1，新增用户ARPU水平持续下降，新老用户的单用户贡献比为1:1.4,后付费用户价值保有率提升1个点，全年收入可提升XXXX万,预付费用户生命周期延长1个月，全年可提升收入1XXX万,上海,XX,案例：“基于大数据的互联网化存量经营”的,UseCase,全视图,用户生命周期,大数据变现,价值提升,对内,对外,社会效应 用户维系,行业,考察期,提升期,成熟期,衰退期,离网期,垂直行业,线上广告,集客,咨询公司,市政公共,流量刺激精准营销,叠加包,/,升级包精准营销,终端机精准营销,预付费潜在离网用户维挽,后付费潜在离网用户维挽,对外,对内,定向包精准营销,离网,基站关联分析,2G-3G,套餐升级精准营销,移动生活指数,沃家庭增值,户外数字媒体价值评估,户外非数字媒体价值评估,户外移动媒体价值评估,城市和交通规划,交通拥塞指数,智慧旅游,大数据精准广告,零售业洞察,为垂直行业推荐精准客户,虚拟社会,/虚拟形象,集客用户精准营销,OTT,数据开放,(,金融、保险,),APP/,内容推荐,后向收费,用户维挽,提升业务使用量,对外价值,图例说明：,3G-4G,套餐升级精准营销,上海,XX,案例：大数据应用场景建设端到端分解视图,预付费潜在离网用户维挽,后付费潜在离网用户维挽,3G-4G,套餐升级精准营销,离网,-,基站关联分析,流量刺激精准营销,2G-3G,套餐升级精准营销,定向包精准营销,叠加包,/,升级包精准营销,沃家庭增值,户外数字媒体价值评估,户外非数字媒体价值评估,户外移动媒体价值评估,城市和交通规划,智慧旅游,虚拟社会,/,虚拟形象,移动生活指数,集客用户精准营销,终端机精准营销,商业,UseCase,客户来源、去向、重入网、异常用户识别,预付费,/,后付费用户分类,用户生命周期模型,用户离网成本评估模型,用户价值评估模型,用户离网预测模型,用户关系圈模型,用户终端信息及偏好,用户消费能力及价值观偏好,用户套餐匹配,用户忙闲时,/,活跃时段,用户位置轨迹模型,用户兴趣偏好评估模型,(,静态,/,动态,),用户渠道偏好模型模型,用户资源偏好评估模型,营销效果评估,用户消费热点发掘,用户行为监控影响经营结果分析,模型,/,规则,营帐,经分,DM,固网宽带,MR,业务系统,Gn,网管,互联网,数据源,账单,套餐订购,OTT,交换,语音短信话单,终端信息,增值业务订购,礼品,/积分兑换纪录,充值记录,对手客服接触记录,业务质量,网络质量,用户体验,流量包订购记录,用户位置信息,APP,使用记录,浏览内容,访问网页链接,城市地图,POI,城市交通网络,营业厅地图分布,渠道反馈数据,数据需求,上海,XX,案例：大数据应用效果,营销成功率大幅上升,全生命周期体验精准洞察和深度干预,每月发布,23,款大数据标准化能力,各类微营销场景,50,个以上,微营销平均用户规模从,9,万下降至,3,万,/,单活动，减少无效用户打扰,1100,万人次,华为,4,个月完成,23,个用户洞察模型开发和验证，并应用于,190,多次营销活动,六维用,户标签体系（,1228,个）,实现对用户的全覆盖,”,用户离网预测模型,”,准确率达,90%,，远高于业界平均的,70%,户均流量提升,50M,；,300M,用户,提升,7%,占比达到,35.1%,上海,XX,案例：新商业模式探索,人流轨迹数据产品开放,合作伙伴：,XXXX,客户：上海烟草、,GFK,行业：户外广告位估价、店面选址评估,价值：,100m*100m,栅格扫，开放单位时间内栅格的人流统计信息,定价：,按单栅格,*,时间进行基础定价,用户兴趣标签产品,合作伙伴：晶赞科技,行业：,RTB(,互联网实时广告,),价值：,向互联网广告代理提供基于用户兴趣标签的产品推荐,定价：,按流量人次定价,基于用户行为洞察的联合营销,合作伙伴：中青旅,行业：,零售，帮助中青旅高端旅游产品寻找潜在用户，精准营销,价值：,用户偏好与用户行为的实时洞察、用户相似性比较分析,定价：,佣金分成,行业指数,用户位置、行为、偏好等聚类分析，提升企业品牌,案例,：,TelcomSel,（,现状、架构、近期应用重点,）,2021年6月，集团IT规划提出了Data Analytics和CEM的发展方向,应用Case：规划了大数据分析平台建设路径，分析能力演进，数据分析use cases等,系统架构：利用现有系统（Netezza,SPSS）、采用cloudera hadoop平台、补助实时数据处理部件，为集团构建了大数据基础平台和大数据分析平台,分析服务：Telkom集团与本地三家IT公司合作，将规划的use cases在大数据平台上落地,1,、规划了一系列的分析,Case,，偏重营销、社交媒体分析、地理位置分析等,2,、,当前的痛点,（,1,）,Local,厂商分析（尤其是对网络侧数据）能力弱，分析,Case,进展慢,（,2,）没有统一的数据视图和管理框架，看似完备的基础设施效果有待验证。,TLF,集团：构建数据整合,DataHub,，聚焦数据变现,解决方案架构,项目背景,关键价值业务场景,2013,年,TLF,集团组织整合，以,CMO,和,CIO,驱动构建,Global IT,，增强集团对各个子网的控制。其中集团大数据平台为核心诉求之一,2014,年初,TLF,集团向各个,vendor,发出,RFI,，华为提出,Proposal,并完成技术方案交流，得到初步认可,数据集中化和拉通共享：构建,集团统一的大数据基础设施,，统一管控各个子网的数据资产，实现数据整合和共享，支撑集团经营决策,数据资产销售：,向合作伙伴销售数据，提供数据咨询服务,客户维挽,：利用客户数据资产进行深度分析，提升客户保留率,业务促销和多业务,交叉销售,：以客户数据为中心，关联产品、网络数据，实现业务精细化运营，提升业务收入,数据变现三部曲,数据采集,Collect raw data,数据采集是为数据洞察做准备，其包括,:,File-based,Realtime stream-based,实时分析和营销需求对实时流数据分析能力提出要求。,数据洞察,Generate insight,数据洞察是一个迭代的基于一定假设和前提的数据分析活动，目的是探索数据隐藏的内在联系和价值。,海量的数据分析和洞察需要,Hadoop,基础设施和服务能力的支撑。,价值呈现,Exploit insight,外部价值呈现需要通过洞察后的数据资产的对外销售，而内部价值呈现则是通过数据洞察提升营销效率（包括传统的营销场景和实施营销场景）,实时营销提升需要实时决策能力的支撑,广东,XX,深刻洞察用户的互联网行为,爱游戏,利用,RSS,、爬虫等解析互联网站及各级频道，按照客户访问行为进行分类，建立集团统一的客户访问互联网行为分类规范,URL:,当前平台累计完成超过,10,万,个,URL,地址,一级域名、二级域名、三级域名的归类整理,，,能够识别出,80,%,以上的,URL,访问,，一级分类有,47,个，二级分类有,273,个。,关键词：,系统每天能检索出,2000,万条的用户搜索词，并匹配到,121,中关键词分类中。,标签：,平台通过基础属性和标签组合的方式，目前可呈现出超过,1000,多,种的业务特征。,轨迹：,平台能够当前沉淀出广、深、东、佛四地市的客户轨迹信息。,经过半年的辅助运营，,XXXX,流量,KPI,在集团排名全面提升,2021-10,2021-02,Source:2021年10月联通集团流量经营省份排名情况,50,M,以上用户占比,8,73.4%,300M,以上用户占比,户均流量,5,272.68,M,上网收入占收比,1,39.21,%,9,203.30,M,6,67.84,%,16,23.96%,8,34.9%,16,23.4,%,流量单价,8,0.145,￥,20,0.122,￥,流量经营团队高效率响应和全方位的支撑下，,XXXX,流量,KPI,综合排名得到大幅度的提升。,13,3,集团综合排名,总结：,大数据技术已成熟、但大多数运营商尚未形成如何从大数据中获益的能力、人才、流程和组织,分类,问题描述,运营商,数据采集问题,数据种类不足：,如网络域的,WLAN,和有线宽带日志、用户级网络质量数据、业务平台日志、财务、人力、流程等管理类数据；,及时性不足：,网络事件、实时位置、质量数据等因采集流程、传输、转换、加载等问题延时（,330,分钟），很多情况下达不到实时应用场景的需要；,互联网数据分析能力不足：,网页（文本、图片、表格）分析能力和,App DPI,能力不足。,上海联通,安徽移动,四川联通,河南移动,Telcom,PLDT,.,数据质量问题,终端信息库：终端识别率只有,70%,左右；,URL,信息库：,URL,分类规则只能覆盖主流网站，,URL,内容分类只能达到二级，层级不细；,DPI,特征库：流量,DPI,识别率不足,70%能够识别的应用不足,500,项；,位置信息库：没有统一的位置信息库，无法支撑逻辑区域位置的营销；,状态码库：没有各厂家网络状态口径的集中管理，无法支撑网络质量的统一分析。,数据应用问题,数据解析能力不足：,对网络数据（如,Mr,、,CHR,）的解析和应用能力不足；,精确营销应用尚处于初级阶段，,客户画像和内容分类仍需细化，营销实时性仍需提升，覆盖渠道尚不完善,；,存量、流量、终端、宽带,等应用模型,还需要进一步完善；,网络运维中应用较少，,跨数据域的融合应用,依然不多。,数据运营问题,各系统独立建设、数据分别存储，数据大量冗余；,数据同步频繁，消耗网络和系统资源，且存在数据口径不一致性问题缺少对,数据资产的统一管理,，没有公司级数据模型，尚未形成跨厂商、跨部门统一开发、调度环境；,Hadoop,、,MPP,、流处理平台的,运维、应用开发能力不足,；,新技术、新平台运维和,数据挖掘等专业人才不足,。,缺少各部门专题分析系统的,分析作业的资源统一分配、执行优先级统一调度；,需要一,个开放的,ecoSystem,，各厂商可以在统一作业平台按照标准的规范流程进行开发、测试和发布上线,目录,大数据产业链洞察及商业价值,大数据应用领域,及,平台建设案例介绍,华为大数据解决方案介绍,浙江移动大数据能力构建研讨与建议,中国,(,南京,),BDI,SmartMiner,RTD,Visualization,中国,(,深圳,/,香港,),Hadoop,Artificial Intelligence,Big Data Mining,In-memory DB,Gauss DB,Streaming,Overall Architecture,印研,Hadoop,Streaming,Visualization,美研,MPP DB,Data Mining,MOLAP,欧研,SmartSwitch,RTD,Security,中国,(,杭州,),SmartStream,大数据是华为公司级别,TOP,战略,2021年华为确立大数据是公司级TOP战略,产品,地域分布,团队规模,Hadoop,平台,印研,/,深圳,300,人团队,内存分析,深圳,/,以色列,80,人团队,Gauss MPP DB,美研所,50,人团队,流计算,杭州,50,人团队,BDI,南京,100,人团队,数据挖掘,南京,/,美研,/,诺亚,200,人团队,多维分析,美研,25,人团队,RTD,实时决策,南京,50,人团队,CEP,复杂事件处理,欧研,/,南京,50,人团队,大数据可视化,印度研究所,150,人团队,截止到2021年6月份，全球拓展104个大数据市场项目,商业智能,流量经营,网络运维,客户关怀,大数据基础设施,精准营销,大数据分析和数据开放,华为在大数据领域深耕细作,5%,技术积累,实战经验,全球业界领军人物华为的积累,组织支撑,平台团队,+,业务团队,+,解决方案咨询人员 全部大数据达,到,两千多,人,在不同领域针对大数据应用积累了不同的经验：,江苏移动、联通集团的详单查询；,和记电信的,hadoop,应用；,山东移动、河北移动不同,MPP DB,的使用；,安徽移动的大数据量流式处理；,广西移动、福建移动、河南移动等地的互联网分析应用。,大数据相关技术专利,49,项（,42,项已有专利号，,7,项正在申请中）,中国区咨询解决方案,海外咨询解决方案,运营商产品线,大数据分析能力服务平台,(,挖掘,/,分析,/CEP/,能力开放,),IT,产品线,大数据存储和计算平台（,Hadoop/Spark/MPP,）,2012,实验室,/,中软,/,诺亚,/,外研,IR,Dr.Li Hang,DM and ML,Dr.Fan Wei,HCI,Dai Wenyuan,DM and ML,Prof.Yang Qiang,华为,Hadoop,社区贡献与成就,电信行业唯一 一家Apache基金银牌赞助商；向社区贡献HDFS 的HA方案，Hbase 二级索引方案和代码，正在准备贡献MR的HA方案，以在电信领域高可靠、高性能的长期积累为社区版本的高可靠和高性能做出巨大贡献。,2021年开始，积极参与Hadoop社区建设，年平均提交补丁600多个；在Hadoop社区，拥有PMC 1名，Committer 4名2021年Huawei向社区提交的补丁数和代码行排名第七，超过了Facebook。,2021年根据华为统计，华为贡献排名上升到第4名。,Devaraj K,Hadoop YARN Committer,Source：:/hadoop.apache.org/who.html#Hadoop+Committers,Rajeshbabu,HBase Committer,Source：:/hbase.apache.org/team-list.html,NO.7,2021年排名,NO.4,华为,Universe,运营商行业大数据解决方案的定位,SET I,3,=,S,ervice,I,ntegrator,E,cosystem,I,ntegrator,T,echnology,I,ntegrator,New,Business,Model,Data,Openness,Platform,Partner,Ecosystem,OOTB,Suites,Value,Applications,E2E integrated,solution provider,Innovation ecosystem,value chain leader,Delivery,Service,Consulting,Ecosystem Integrator,Service Integrator,Light,Your,Business,Technology Integrator,凭借对运营商的业务和网络的深度理解，华为构建了以,一套参考架构,BDRA,、三个套件、三种领域能力,为核心的运营商行业大数据解决方案。,Universe,解决方案参考架构,BDRA,（,Big Data Reference Architecture,）,创新商业模式云图,合作伙伴生态系统,数据云图,商业云图,柔性大数据供应链,数据安全与隐私,架构概述,产品组件,交付模型,标准规范,架构跪安,业务流,用例,非功能需求,+,+,BDRA,提供如何使用华为大数据技术创建大数据平台及应用的规范性指导,BDRA,包括部署大数据应用的流程，参考模块及其规范性指导文档,BDRA,中的参考模块作为该技术专题的权威参考,通过,BDRA,，可以帮助运营商减少部署大数据应用的投资和上市时间,利用完善的架构及原则，可以快速开发数据应用，减少失误，提升效率，并满足安全、性能、可扩展性等需求,确定需求，并使用向导工具开始使用数据供应链系统和服务,创建大数据应用和数据供应链系统所需的架构概述,1,2,确定大数据应用和数据供应链系统的产品组合,3,根据参考架构确定创建大数据应用的过程和详细的技术方案,对各相关技术指标或方案的要求,3a,3b,商业需求调研,客户化定制,+,企业运营优化,商业模式创新,数字,经营,智慧,中心,数据,工厂,企业运营,客服,财务,市场,运维,数字交换,生态,OTT,电商云,教育,政企,零售,数据资产管理,客户,产品,服务,网络,互联网,Hadoop,MPP DB,数据仓库,知识发现引擎,客户洞察,产品洞察,渠道洞察,服务洞察,互联网分析,数据开放框架,数据交换总线,消息总线,开放管理,Universe,解决方案,3,个套件,预置电信领域全域数据地图,面向业务概念的数据资产管理,面向商业问题预置,56,个领域分析知识,提供面向业务人员的使用体验,分析模型,TTM,从数月降低到天,安全的、可自定义,/,自编排的,API,框架,多种开发模式，构建数据生态圈,分析结果的开放,分析能力的开放,第三方数据的引入,Universe,解决方案,3,种领域能力（商业云图、数据云图、技术云图）,业务对象模型,企业知识数据模型,原始数据模型,产品知识,客户知识,渠道知识,营销知识,终端知识,网络知识,合作伙伴知识,O,域数据,告警,日志,信令,事件,统计,B,域数据,产品,帐务数据,用户数据,客服,渠道,业务,M,域数据,财务数据,企业数据,MBB,域数据,内容,终端,业务,互联网域数据,社交,搜索,新闻,其他第三方数据,零售数据,行业报告,游戏,电商,服务,参与人,事件,资源,营销,账务,企业,扩展属性,基本属性,事件明细,维度,参考数据,高维特征,服务,参与人,事件,资源,营销,账务,企业,应用数据模型,整合营销,商业智能,客户体验管理,数据开放,Data,Information,Knowledge,Wisdom,数据访问,数据存储与计算,数据开放,分布式文件系统,HDFS,文档数据库,MongoDB,Big Table,Hbase/Cassandra,KV DB,Redis,数据仓库,Oracle/DB2/SQL Server,列式内存库,HANA/RTANA,MPP,数据库,TeraData/GP/Gauss,语义数据库,流数据库,批量计算,MR/Spark,流计算,Storm/Spark S/Stream SMART,内存批量计算,Spark,图计算,PowerGraph/GraphChi/Petuum/Spark GraphX,交互式分析和查询,Shark/Imala/Presto,多维分析引擎,Kylin,搜索引擎,Elasticsearch/Splunk,数据透明访问,（屏蔽异构数据存储，数据路由，数据缓存）,SAS Access/IBM Federation Server,、,Data Explorer,计算透明调度,（统一多计算引擎编程接口，计算任务协同）,YARN,图数据库,Neo4j,数据可视化,（报表,/,监控，,Dashboard,，共享）,Tableau,实时决策引擎,（策略中心，实时分析，决策执行）,亚信,数据探索,（拖拽式操作，预统计，特征探索）,Splunk/Tableau,索引分析,