大数据时代背景下数据库分析平台解决方案.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,大数据时代背景下,数据库分析平台解决方案,目录,CONTENTS,1,大数据分析平台概述,2,大数据分析平台与新零售,3,大数据分析平台应用实践,4,大数据分析平台分析实践,大数据分析平台概,述,01,什么是大数据分析平台？,“大数据分析平台”实质上是人类利用数字认识和改造世界所达到的一个新的阶段，它具备大容量、高速度、多样性,和高价值四个特点。,大容量,（Volume）,高速度,（Velocity）,多样性,（Variety）,高价值,（Value）,数据体量大：对计算和存储,生成速度快：实时性，,来源多：企业内部、互,联网、物联网等格式多：包括音频、图,浪里淘沙却又弥足珍贵，,的要求，从TB级别，跃升,到PB级别,必须快速识别和快速响,应才能适应业务需求,虽然价值密度较低，但是,价值点比较高,片等非结构化数据,统计表明，人类文明至今获得的全部数据，90%在过去2年内产生,，标志着,数字化时代全面来临。,而电子商务、社交网络、传感器等,还在源源不断的产生数据,，预计到2020年，全球数据规模将会达到,今天的44倍。,大数据分析平台带来了思维的创新和技术的革新,大数据分析平台的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产,方式，进而释放了生产力。,决策思维,更加重视各类事物的关联关系，不仅仅局限于因果关系,更加重视快速预测，立即采取行动而不是等一个精确的结论,企,思,维,模,式,创,新,业,数,据,文,化,变,革,与,数,据,竞,争,力,重,塑,管理思维,数据使流程更加透明，有助于推动管理的扁平化，提升管理效率,数据使视野更为全局，有助于合理调配企业资源，提升管理效益,商业思维,数据可以是一种产品，满足客户的信息消费需求，换取商业利润,数据可以是一种服务，以数据能力汇聚商业资源，形成竞争优势,信,息,技,术,革,新,信息展现,GIS地图、轨迹图、热力图、标签云图、辐射图,分析算法,社会网络、自然语言处理、时序分析、逻辑回归,处理架构,Hadoop分布式计算平台、MPP数据库、STREAM实时计算,数据获取,网页埋点、网络爬虫、传感器技术,大数据分析平台客户标签管理应用场景,为零售商铺客户提供客流分析、VIP客户识别、员工管理、消费分析，店铺在线管理等场景化应用服务。使零售业,管理者精准知晓用户到店情况，会员到店情况，并对员工排班，分析顾客消费行为等起到辅助作用。通过人脸识别，,打通下客流和线上管理，满足客户多店铺管理的需求和远程管理的需求。,应用场景,智慧,商铺,AI+大数据,分析平台,大数据分析平台时代的背景,1:N人脸识别，客户首先建立人脸库，并在人脸库中导入人脸照片。通过上传一张人脸照片和人脸库中,的所有照片进行比对，可自动返回最相似的人脸照片。可用于商场门店等场所的VIP识别。,人脸比对展现,1010101010,0101010101,10101,人脸,采集,得分：86,视频采集,人脸检测,人脸质量评价,特征提取建模,姓名：XXX,1010101010,0101010101,10101,1：N特征比对相似度比对结果：98%,人脸,注册,入库,照片,人脸,特征提取建模,人脸特征库,大数据分析平台时代的背景,客流分析（性别、年龄分析）,对到店客流量进行分析，了解并触,达客户直接需求，洞察客户的潜在,需求，了解不同客户群体的消费特,征，使其获得更精准的服务和更好,的购物体验。,VIP/会员识别,店铺在线管理通过人脸识别形成对,VIP客户身份识别。分析会员占比，,进行会员分类，当VIP到店时，系统,发出提醒。,消费分析,可按日、周、月统计消费趋势、提,袋率情况。,店员管理,零售业管理者通过对客流的分析，,精准知晓用户到店情况，会员到店,情况，并根据客流量对员工排班，,令人力调配的达到最优。,在线看店,支持通过PC、APP实时观察客流信,息，VIP到店信息，选择历史抓拍人,脸进行会员的注册。,大数据分析平台时代的背景,智慧零售,视频巡店,支持通过时视频。PC、实现远程视频管APP实时观察店铺理。实,动线、热点,跟踪记录顾客在店内的析热点区域和商品关注度行走轨迹，分,消费分析,通过对接过和客流信息的结合。POS，获取销售数据产生商通,业分析报表。辅助店铺经营,客流统计,准统计客流基于人脸识别技术和头肩跟踪技量，并可按性别、年龄分别术，精,统计,会员识别,员、熟客和新客。通过人脸识别技术，提供会员满意精准识别会,度,大数据分析平台时代的背景,智慧零售,用户画像分析,会员识别,会员画像,会员服务,利用人脸识别技术、自动比对会员库，获,基于会员姓名、手机号关联,营业员通过手员的进店情况，并根据会员画像机、电脑等终端实时提供精准得知会,取会员姓名、手机号,画像大数据分析平台为会员的精准服务提供平台中的会员依,的营销服务,据,大数据分析平台时代的背景,以人为中心的新零售,线上流量,贵,线下流量,精准,价值洼地,可洞察,可运营,可服务,不精,准,用好线上用户洞察，挖掘线下价值,大数据分析平台精准营销平台获客挖潜客全网精准营销神器,聚集全网触点客户数据获客提高潜在客户购买转化率,提高会员客户忠诚度和粘性提高客户的复购率转销售,实现全网精准营销,推荐宝,Crystal,获客宝,精准营销,画像宝,视图宝,采集全网触点数据+客户统一视图+画像+推荐引擎+APP及分析,获客,+客户关怀+挖掘潜在客户+贵客推荐+精准营销,全网触点潜在客户和会员客户价值转化,原CRM售后销售,核心业务平台,数据,企业网站电商,APP自媒体,第三方社会网,站电商APP,门店客服活动,互动,社会化人口,方案行为数据,其他渠道关注,接触过方案,把触点客户,转化为潜在,客户,社会化全网触点客户库,把潜在客户,转化为购买,客户,客户分析,方案分析,订单分析,潜在客户,购买客户,行为分析,提高客户,再销售,转化率,高价值客户,提高复购和转销售,实,时,推,营,销,活,营,销,促,营,销,广,会,员,关,其,他,服,提高,高价值客户,购买金额,荐,动,销,告,怀,务,平台方案功能模块,聚合全网用户接触数据,清洗整合形成唯一标示,提供给其他平台和部门调用,对每一标签用户画像,分类群组并挖掘发现,其数据价值,不同场景为客户提高,服务提高购买转化率,提高接触客户转化率,第一大模块,全网数据采集,APP营销宝,电商WEB,APP接触数据,第二大模块,第三大模块,第四大模块,会员关怀,第三方电商WEB,APP、电信数据,标签标示,画像,服务,数据抽取,聚合清洗,用,主数据,户,标签查询,数据服务,门店客服互动数据,整合建模,画,像,营销活动,业务平台数据,360全景画像9,个属性,180个维度,6300个触点,分类分群分组,9个门类,27个群,1800个组,线上线下精,准推荐,数据价值挖掘解析,平台业务架构,特征是标签平台的基础，一般而言，特征,越丰富，圈选的标签就越丰富，所以有时候就,会有一个误区，数仓同学在开发特征的时候，,直接就是把业务的各种大宽表导入进来。从业,务上看大而全，但是实际应用中很多特征一次,都没有用过。在我们的一些经验里面，应该把,基础特征做全，其他根据业务的需求增量去开,发，避免一些无用特征的浪费，而且还要根据,特征的使用情况，淘汰掉一些使用度很低的特,征。特征/标签的口径说明应该是特征/标签体系,中最重要的部分，特征的口径/说明决定了特征,的使用度。从系统开发的角度，一方面是尽量,提供明确的口径说明，血缘关系，特征的联系,人，从应用的角度。尽量多创建一些通用的规,则型特征，方便业务方使用。,数据流的走向,查询引擎在数据平台中，其实应,该算是统一数据服务层的逻辑，不过,因为查询引擎涉及具体的逻辑计算，,所以单独拎出来。在我们的场景下，,一般只用kv做存储。所以并发量是很,可观的。而现在kv又做了主备。其实,并不用太关心kv挂掉的情况，如果你,实在担心，只能再多存储一份到hbase,了。其实也是可以的。,表达式匹配的话，我用的是,googlecodeaviator来做的。相对旧版,本匹配效率提升了不少。不过这里面,有个坑，在这就不展开说了。,行为数据驱动的个性化推荐服务,当,某,人,发,生,行,为,时,方,案,群,相,关,推,荐,历,史,购,买,推,荐,购,买,到,期,推,荐,相,关,搭,配,推,荐,客,群,相,关,推,荐,客,户,行,为,推,荐,客,户,属,性,推,荐,方,案,交,易,推,荐,方,案,特,征,推,荐,方,案,优,惠,推,荐,方,案,相,关,推,荐,方,案,搭,配,推,荐,客,群,相,关,推,荐,基于客群的推荐,基于方案群的推荐,群广告推荐,客户画像（客群）,方案（订单、行为）画像,在线实时,评分匹配,画像,客户标签,方案（订单、行为）标签,数据源,客户身份,交易售后,全网接触,方案特征,交易数据,被行为数据,属性数据,业务平台,行为数据,属性数据,WEB、APP、电商、门店秒级实时推荐精准营销,秒级实时个性化推送,行为模式模型,最佳方案模型,营销指标模型,交互执行,实时分析,RealTimeProcess,任何行为发生时,Kafka,RDBMS,实时预测模型,OLTP,在线评分模型,匹,配,身,份,+,行,为,+,方,案,评分规则,预测模型,PMML,Zementis,DataMart/Model,Near-line(reads),write&read,fine-grainData,数据集市,DataMart,RDBMS,NOSQL,挖掘模型,历史数据,挖掘分析,Mining,Model,Off-line,Gross-grainData,客户CRM身份数据,社交媒体WEB数据,EDW,探索分析,知识库,历史交易数据,移动位置APP数据,Batchprocess,账单明细订单数据,视频机具数据,全网触点客户和全渠道营销,视图,标签,画像,推荐引擎,全渠道营销,CRM订单已有客户,姓名年龄性别手机,家庭人口小区等级,兴趣偏好,女,直销员电话,区域人口基础客户,性25岁,推荐D包包和D鞋,每月8000,其他渠道来源客户,同学同事朋友,元工资,在,线,匹,配,自己网站,收入历史购买方案,客户兴趣习惯偏好,喜欢红色,活泼开朗,D品牌,推荐D包包和D鞋,门店咨询客户,客,户,唯,一,编,码,买A品牌鞋,37码红,色中跟,旅游鞋,自己APP微信,参加活动客户,包包一年,推荐D包包和D鞋,咨询问题关注要点,注册询价放购物篮,历史购买订单评论,搜索点击跳转停留,自,有,电,商,网站APP注册客户,购买时机,第三方网站,前周2次到,推荐D包包和D鞋,软文评价微博客户,专卖店咨询,统,一,视,图,D鞋包,第三方APP,网站APP点击客户,D品牌,推荐D包包和D鞋,上周3次在,第,三,方,电,商,上那些网站,麦包包网站,红色中,号带拉,链包包,网站APP注册客户,注册点击D,门店活动渠道,关注点击商品,推荐D包包和D鞋,软文评价客户,包,上网习惯,在APP关注,评价过D服,网站APP点击客户,线上线下关联,购买时机购买渠道,装,推荐D包包和D鞋,ADSL点击客户,大数据分析平台时代带来的三个理念转变,传统数据时代,大数据分析平台时代,1、样本=总体,在大数,据分析平台时代，可以,分析更多的数据，甚至,可以处理和某个特别现,象相关的所有数据，而,不再依赖于随机采样。,19世纪以来，当面临大量数据时，都,依赖于采样分析。但是采样分析是信息,缺乏和信息流通受限制的模拟数据时代,的产物。,高性能数字技术的发展突破了这种限制。与,数据范围相比，使用一切数据为我们带来了更高的精,确性，也让我们看到了一些以前无法发现的细节,大数据分析平台让我们更清楚地看到了样本无法揭示,的细节信息,。,局限在小,2、容忍混杂性,研究,传统数据处理追求“精确度”，这种思,维方式适用于掌握“小数据量”的情况，,因为需要分析的数据很少，所以我们必,须尽可能精准地量化我们的记录。,大数据分析平台纷繁多样，优劣掺杂，分布广泛。拥,有了大数据分析平台，我们不再需要对一个现象刨,根究底，只要掌握大体的发展方向即可,适当忽略微,观层面上的精确度会让我们在宏观层面拥有更好的洞,察力,。,数据如此之多，以至于,我们不再执着于追求精,确度。,3、因果到相关,不,果关,寻找因果关系是人类长久以来的习惯。,即使确定因果关系很困难而且用途不大,，人类还是习惯性地寻找缘由。,在大数据分析平台时代，我们无须再紧盯事物之间的,因果关系，不再把分析建立在早已设立的假设的基础,之上。而应该寻找事物之间的相关关系，让,大数据分,析平台告诉我们“是什么”而不是“为什么”。,再热衷于寻找因,系，而是转而,物之间的相关关系。,寻找事,传统零售数据现状,大数据分析平台对行业的影响,中信银行利用互联网地理数据，提升广告精准度，实现与第三方的双赢,中信银行与高德地图的合作，基于高德,地图的互联网开放API，获取商家公开数据,和地理位置，与中信银行自有客户地址数据,进行匹配，在中信银行的邮寄账单和群发短,信中，提供个性化的特约商户广告服务和刷,卡折扣信息，实现第三方商家和自身金融业,务的双赢。,阿里小微金融基于电商平台数据，打造信用体系，实现互联网金融创新,阿里巴巴通过自有生态圈内的数以亿计个,人用户和中小企业用户的交易数据，通过与第,三方金融机构的各类型金融数据的数据交换和,数据融合，打造了完善的互联网个人用户及中,小企业用户的信用体系，并在此基础上推出了,大量颠覆传统金融行业的互联网金融产品、服,务。,大数据分析平台解决思路,大数据分析平台,与新零售,02,较之其他企业，新零售具备更加丰富的大数据分析平台资源,新零售在BSS、OSS和MSS三域中都会产生丰富的数据资源，涵盖生产运营、企业管理和网络承载三方面。基于这些数,据可以更深刻的认识客户。,客户视图数据,生产运营,业务运营数据,（姓名、年龄、性别、,（订购记录、产品信息、,传统数据,消费、积分、终端）,订购渠道、）,通信话单数据,渠道接触数据,服务营销数据,（语音话单、短彩话单、（网厅、掌厅、短厅等,（投诉语音、主动维系、,营销互动、市场调查）,新型数据,上网话单）,电子渠道的访问路径）,行业应用数据,合作伙伴数据,自有业务数据,（MAS/ADC、物联网、,校讯通、12580黄页）,（银行支付、代理商、供,货商、物流商、CP/SP）,（阅读、音乐、游,戏等用户行为）,网络承载,企业管理,网页浏览数据,应用内容数据,运营管理数据,企业资产数据,（网页地址、网页内,容、搜索关键词、内,（应用名称、功能名,称、应用内容、交互,对象、应用分类）,（公文、邮件、审批,（仓储信息、物资资,流程、企业论坛）,源、物业资产）,容分类、网址分类）,客户位置数据,网络资源数据,企业收入数据,运营成本数据,（运动轨迹、家庭地,址、办公地、交通工,（基站信息、热点信息,（主营业务收入、投,（办公支出、薪酬、,市场营销费用、网络,、网元配置、设备性能,日志、综合资源）,资收益、税费）,具、区域通行速度）,运维费用）,新零售下大数据分析平台架构,国外新零售基于大数据分析平台已经获得良好的效益,流,客,量,运,营,户,保,有,MegaFon（俄罗斯新零售）,系统的数据，基于用户行为设计灵活的,流量资费套,餐,改善客户体验，迅速拓展市场份额拉升收入,：,通过融合不同业务,T-Mobile:,社交媒体数据、CRM和计费系统中的交易,数据进行融合，深度洞察客户，有效,降低离网率,客,第,户,服,务,与,营,销,三,方,数,据,服,务,Vodafone：,基于交际圈的,浸入式客服和营销,，迅,KDDI（日本新零售）：,基于开放接口方式,创新商业,速在欧洲市场建立了品牌,模式,，拓展收入来源，成为日本在互联网服务领域增,长最快的新零售,新零售消费画像,大数据分析平台是新零售适应市场环境变化的钥匙,移动互联网时代，能够把握客户需求开发APP的应用商、设计优良客户体验的终端商和掌握客户接入管道的新,零售，形成了三足鼎立的局面。谁掌握客户需求，谁就能占据主导地位。客户需求的多样化，使得通信资产被,管道化，而信息资产的价值凸显。,语音时代,移动互联网时代,客户需求,以满足人与人之间的通话为目的，客户,客户需求丰富多样，个性鲜明，以IT技术,使新,主要的期望是话务质量，需求简单,确，新零售处于支配地位。,而明,实现的各种应用满足了客户的需求，,零售趋于管道地位。,通讯资产,是客户建立沟通联系的手段，直接满足客,是客户接入互联网的手段，不直接满足客,户的通讯消费需求，业务单一但技术、资,金门槛较高，所以附加值高，通讯资产的,边际效益明显。,户的信息消费需求，附加值低，边际,明显低于语音时代，出现量收不匹,讯资产快速贬值。,效益,配，通,信息资产,以支撑和服务通讯主业的生产运营为目,由于丰富的应用，管道内积累了更多的客,的，主要实现从订购、计费到收费,节的信息处理，数据类型较为单,客户需求的理解较为狭窄，局,等环,一，对,户信息，类型更为多样，内涵更为丰,使深度洞察客户、掌握客户需求成,，数据价值产生了质的变化，信,富，,为可能,息资产快,限在通信,其他资产,财务资产：行业大发展，依靠移动通信业,领域内。,务，,财务资产：由于机制限制，无法利用财务,速升值。,资产,财务/客户,积累了大量的财务资产。,进行有效投资来获取高额回报。,客户资产：依靠卓越的网络质量和客户服务，,客户资产：优秀应用商和终端商依靠体验和免,“拨号盘”上形成了绝对优势的客户,户资产带来丰厚的回报。,规模，客,费服务，获取了同等或更大规模的客,新零售客户资产出现快速贬值。,户资源，,采集全网触点数据聚合,数采宝,范冰冰接触过某,数聚宝,范冰冰在集团,画像宝,集团给范冰冰,营销宝,集团全网轨迹,标签画像,的关怀与推荐,在国美网站点评过,某品牌冰箱,在京东把某方案,放入购物篮没有,付款,进入到某集团,APP留下点击方,案行为数据,进入到集团官网,注册留下手机邮,箱,淘宝买了一台吹,风机留下地址,最豪气的,电冰箱,方案推荐,世界上最静音,的空调,导购,空调冰箱,吹风豆浆机,优美生活组合,需求预测,全套方案组合,豆浆机,送给自己最好,的生日礼物,空调冰箱,吹风豆浆机,优美生活组合,服务关怀,把匿名用户转化为实名用户,把实名用户转化成购买客户,提高客户场景购买转化率,挖掘忠诚潜在流失客户价值,提高方案再销售转销售金额,维修留下了地址,电话邮箱,营销活动,购买一台A空调,留下姓名手机,第一类,业务平台数据的抽取,DMHBASE,核心业务,地址标准库,平台,Sqoop,HQL/MR,ML,ODS,HIVE,DWHIV,DMHBASE,销售数据,E,客户身份集市层,贴源层,模型层,CRM数据,DMHBASE客户行,方案数据,为集市层,交易数据,特征识别器,精准特征识别,(EMAIL.),模糊特征识别,DMHBASE,.,方案集市层,其他平台,.,数据清洗引擎,排错,去重,合并,DMHBASE,其他集市层,2022/1/11,数据属性不同，特征不同，清洗规则不同,逐步建立地址基准库,第二类：自动抽取WEB数据，建立方案库,社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取,样本分析,人为干预,形成规则及代码,配置好:交给机器就OK啦!,自动,编码,机器学习,类似传统,ETL过程,可视化,企业方案和行业方案内容数据采集,包含消费者和方案数据,的来源,种类,数据种类,采集方式,自有网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,行业网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,友商网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,京东天猫等第三方网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,第三类自有电商WEB行为数据抓取,数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）,进入网站,浏览网站,访问页面,注册会员,下单购物,关闭网站,线上,流量来源,浏览路径,页面点击习,个人信息,购物历程,访问深度,渠道转化率,来访时段,试用设备,广告有效性,访问量分析,页面跳出率,停留时间,页面关联,惯,联系方式,家庭地址,会员转化率,顾客留存率,顾客忠诚度,购买转化率,最有价值渠,访问时间,潜在销售机,页面停留时,间,道,会,自营电商平台,页面收藏,重复购买率,关联销售,促销效果评,估,自有电商、WEB数据采集,包含消费者和方案,数据的来源,种类,数据种类,采集方式,自有电商网站,自有门户网站,自有APP,自媒体,微信公众号,博客,微博,论坛,网页显示数据,商品名称、价格、营销方式、评价等,直接抓取,身份数据,注册姓名、邮箱、电话、手机、账号,IP、,行为数据,Cookie数据,进入网站打开页面数据,点击选择商品,鼠标点击停留时间,放入购物篮,支付,离开网页,购买商品名称、数量、价格、交易时间,交易数据,自营电商WEB端数据采集整合,结构化的,业务数据,业务数据库,数据处理,消费者统一视,图库,消费者,在自营,电商平,台浏览,非结构化的业,分布式消息队,在线流式,务数据,列,处理,行为特性库,页面埋点,程序,日志服务器,第三类,自有APP行为数据采集,应,用,层,APP数据平台,摇奖引擎,广告平台,同城会,用户画像,数据开放平,搜索引擎,台,仓,库,层,离线数据仓库,实时数据仓库,内存数据仓库,分,析,层,离线计算（Hadoop）,实时计算（Spark/MPP内存数据库）,（用户、实时行为、访问量、及时广告）,推荐引擎,（日常报表，规律趋势分析）,（广告精准营销）,存,储,层,分布式存储,即席查询,Redis,（HDFS）,（Mongodb）,总,线,层,数据总线,（DataBus）,采,集,层,数据采集总线,消息,APP请求,APP上报,渠道,网站,业务平台,服务器,(action/request),(event),(渠道API),(Session),（用户/消费）,（运营日志）,（Message）,自营APP端数据采集整合,结构化的业务,业务数据库,数据处理,消费者统一视,数据,图库,消费者,在自营,电商平,台视图,APP端操作,HTTP请求,服务器端,行为,行为特性库,数据处理,第四类,第三方电商WEB行为数据抓取,数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）,进入网站,浏览网站,访问页面,注册会员,下单购物,关闭网站,线上,流量来源,浏览路径,页面点击习,个人信息,购物历程,访问深度,渠道转化率,来访时段,试用设备,广告有效性,访问量分析,页面跳出率,停留时间,页面关联,惯,联系方式,家庭地址,会员转化率,顾客留存率,顾客忠诚度,购买转化率,最有价值渠,访问时间,潜在销售机,页面停留时,间,道,会,自营电商平台,页面收藏,重复购买率,关联销售,促销效果评,估,第三方电商,平台所产生,的数据业务、,行为数据,大数据分析平台客户标签管理流程,大数据分析平台可以在新零售业务运营的各个方面发挥价值,通过大数据分析平台汇聚、大数据分析平台转化和大数据分析平台变现三个环节的处理，挖掘大数据分析平台资产的价值,，对内可以提升精确营销、精益管理和精准建设能力，对外可以提供丰富的信息数据产品服务，创造价值蓝海。,产品服务,市场营销,个性化资费套餐,差异化贴心服务,定制化产品,基于社交网络、社交媒体、位,置等信息的智能营销,流量经营、存量经营、集客经,营、终端营销,客户洞察,360度视图,情感,交往圈,数据外部化运用,科学决策,服务社会公共事务,服务其他企业和行业,数据驱动决策,可视化决策,战略情报分析,网络优化,全程全网实时监控,智能网络规划,大数据分析,平台汇聚,大数据分析,平台转化,大数据分析,平台变现,新零售未来,大数据分析平台,应用实践,03,大数据分析平台上的探索和实践,，围绕流量经营课题，在大数据分析平台价值挖掘的三个环节，开展了一系列的探索和实践。,大数据分析,平台汇聚,大数据分析,平台转化,大数据分析,平台变现,引入五类网络数据，构建,通过大数据分析平台解析整,围绕精确营销和精准建站,基础分析模型，奠定,据分析平台分析基础。,大数,合，,，利用各种运营位渠,行了一系列大数据分析平,台场景应用实践。,道进,还原真实客户行为；,探索大数据分析平台客户,细分，打造客户标签体系。,大数据分析平台汇聚：突破传统计费数据，引入5类网络数据，贯通OSS域与BSS域,GPRS上网日志,宽连-手机上网行为分析系统,Aster,宽带上网日志,URL/WLAN/BPPP,DPI数据,华为-DPI数据,中创-信令数据,亚联-云化数据交换平台,位置信令,WLAN上网日志,大数据分析平台汇聚：基于大数据分析平台汇聚构建基础分析模型社交网络模型,在传统聚类频度分析基础上，通过详单自关联分析，构建社交网络模型，深入分析交往圈特征，得出群中成员,的影响力，为用户维系挽留、离网预警、精确营销提供依据，提升客户价值,。,构建可视化社交网络模型,构建可视化用户影响力指数,社交网络应用,通过各种交往记录（语音、短信,）进行自关联，利用三角算法，以,用户为中心刻画用户两两之间认识,的关系，构成的三角型越多,，交往圈越紧密,利用群聚系数构建用户影响力指数,，向量中心度表示该用户在社交网,络中的重要程度。交往圈越大，交,往对象越重要，该中心度越高,客户维系挽留：,高影响力客户流失预警、一人多卡客,户识别和维系、离网客户识别和赢回,等等,产品和业务营销：,有效社交圈,基于高影响力客户的产品和业务,营销，例如终端营销、4G潜在用,户识别营销等等,无效社交圈,社交网络变更识别及营销：,利用社交网络改变识别生命周期,阶段事件，例如用户上学、工作,、成家等事件进行针对性营销,特定群体识别及营销：,家庭成员识别营销、集团客户识别,营销、校园客户识别营销等特定群,体用户识别营销,大数据分析平台汇聚：基于大数据分析平台汇聚构建基础分析模型户轨迹模型,用户轨迹模型是对用户的轨迹数据（基站驻留）进行分析从而得到用户轨迹知识的模型，轨迹数据包括时间和,空间的位置序列和位置点语义标注，为用户精确服务提供依据,。,变量选择,模型输出,用户轨迹应用,字段,字段含义,个体用户的频繁模式挖掘,用户编号,用户编号,用户移动轨迹特征刻画,分析用户的驻留基站序列，刻,画用户的移动轨迹特征，识别,用户移动轨迹的频繁模式,用户手机号,用户手机号码,识别客户的生活习惯和兴趣爱好，支,撑基于位置分析的客户洞察和营销,码,开始时间,时段,用户在该基站小区的开始时间,用户在该基站小区的开始时间归属的,基于位置的客户细分,时段,基站驻留时,用户在该基站小区的驻留时长,用户复杂路径模式匹配,查找特定路径场景模式下的用,户群，获取更多的关于该场景,或该用户群的特征信息,用户移动轨迹的可视化,可视化的展示用户群的移动轨,迹的变化，展示用户群的轨迹,变化模式,根据用户位置轨迹相似性对客户进,行细分,间,基站小区编基站编码码,基站小区编码基站编码,基站网络选址分析,基站小区的纬度经,基站小区的经纬度坐标意两个基站小区的距，可用离于计算任,为网络可管理的科学选址奠定位置,基础,基站语义,该基站小区的语义铁站，居民区等，比如是商场，地,精确业务推荐,县市编码,地市编码月份,用户归属的县市,用户归属的地市数据月份,用户位置轨迹与业务订购和使用关,联性分析,大数据分析平台转化：通过大数据挖掘标签整合分析，实现用户行为还原和客户细分,在大数据分析平台引入的基础上，推进行为还原及客户细分等基础工作，奠定大数据分析平台运营的基础。,行为还原,通过大数据分析平台与传统数据的整合，逼真还原用户的完整行为习惯，实现,客户、终端、位置、网络及内容可视；,突破传统小型机+高端存储+关系型数据库技术架构，初步构建Hadoop分,布式平台实现内容数据的处理,客户细分,突破传统分析模式，采用超细分手段，围绕内容、应用、终端、网络、,位置等新元素构建三级共1050个客户标签，实现客户的初步细分,大数据分析平台转化：完善跨域大数据分析平台整合分析，还原用户行为,引入覆盖管道、渠道和行业应用三类领域的数据，夯实大数据分析平台基础，并通过大数据分析平台与传统数,据的,分和标签体系构建打下坚实基础，支撑大数据分析平台运营。,跨域整合，还原用户的行为习惯，例如客户的社交圈子、生活习惯、性格特征、消费能力等，为,客户细,客户无线接入时产生的数据，如：,大,客户的社交圈子：,通过社交,数,网络技术，可以发,现客户的互联,网社交圈，得,到更为丰富的客户,圈子信息,微博数据：客户的微博,账号,管,道,数,据,、关注对象、粉丝、,发布内,容等。,据,基,础,处,理,平,台,位置信令：从网络A口，采,客户的生活习惯：,通过位置轨迹分析技术，可以发现客户群体的迁移规律，,甚至个人的出行习惯，并预,测比如周末是否出行,集客户全量的位置更新和变,动数据,数,据,引,入,数,据,解,析,客户接触时产生的数据，如：,客户的性格特征：,通过语音,渠,道,数,据,识别、文本挖掘和情绪分析技术,，可以通过投,诉行为，得到客户,的性格,投诉语音：采集客户通,过,语音,10086进行投诉时的,内容。,行,业,数,据,行业应用网关产生的数据，如：,客户的消费能力：,通过内容,分析技术，可以发现客户刷卡消,费的金额，频,度等，得到客户的,消费能力,银行业网关数据：采集客户,刷卡消费后，各银,数据。,行回馈,大数据分析平台转化：持续丰富大数据分析平台客户标签体系,通过引入新的大数据分析平台和大数据分析平台分析技术，横向拓展刻画客户的维度，提升客户标签的广度,；纵向丰富原有维度的细致程度，提升客户标签的深度。,社会属性,性格情绪,消费能力,家庭用户,校园用户,集团用户,意见领袖,医疗从业者,银行从业者,乐观、抑郁,高兴、痛苦,开朗、内向,平静、激动,ARPU,通话收入,上网收入,网上购物消费,银行刷卡消费,商铺、娱乐场,所通信行为,社交行为,上网行为,通信一度,六度空间行,客户,购物行为,社交行为,资讯行为,社交行为,各类产品网上,产品网上价格社交对象,社交内容,交往圈,为,购物行为,上网流量,短信条数,社交应用交,标签,往圈,位置特征,交通出行,终端特征,通话位置,上网位置,住宅地,办公地,常驻地,购物商圈,开车一族,公交出行,自行车,上下班线路,手机终端,PC/PAD使用行为,PC/PAD品牌、,机型、品,牌,型号,换机周期,新数,据,管道数据,行业数据,渠道数据,新技,术,社交,位置轨迹,数据可视化,大数据分析平台变现：探索大数据分析平台运营实践，支撑流量经营发展（1）,围绕大数据分析平台开展场景创新，推动流量精确营销、精准建设等业务应用。,精确营销,利用大数据分析平台实时的特点，围绕位置、内容、异动进行基于用户行为时机捕获,的营销场景设计，建立,20多个,流量精确营销模型，月流量包精确营销成功量超过,100,万,，占公司新增流量包总量的,20%以上,利用大数据分析平台全面、多样的特点，打造基于用户上网行为的终端换机潜在用户,模型，换机营销成功率超过,8%,，为传统方式的,8倍,精准建设,和嘉兴公司合作，基于位置、终端等大数据分析平台与传统用户数据的融合分析，精准定位潜在分流,客户和分流区域，提出,2000个,基站优化建议，其TD分流比排名在较短时间内提升,2位,在WLAN热点建设上，分析用户特定场所驻留时长、高带宽应用使用、流量,使用水平和通信消费能力四个方面数据，识别出全省,300万,WLAN潜在用户，,提供,1.9万,个热点新建、,2千,个热点扩容和,100个,热点拆除等选址工作建议,嘉兴高倒流,大数据分析平台变现：探索大数据分析平台运营实践，支撑流量经营发展（2）,基于大数据分析平台实时、全面、多样的特点，构建基于,位置、内容、异动等类型,的13大流量精确营销模型，,其中8大模型已经投入实际应用，如基于内容搜索分析的终端潜在用户挖潜模型，营销成功率达到8%，较传统,方式提,利用,升,大数据分析平台,8倍。,实时,的特点，进行基于用户,行为时机捕获,的营销场景设计。,类型,营销场景描述,位置触发,在用户进入2G高负荷基站位置附近(200米)时刻推荐最近的WLAN网络,在终端潜在换机用户进入营业厅卖场时刻推荐就近购买终端,在用户驻留机场/车站驻留时刻推荐地图/导航/订票等商旅客户端软件,内容触发,在用户首次访问应用时推荐适配应用流量包,在用户使用2G网络观看视频、下载软件时刻推荐3G网络和TD终端,在用户访问起点等阅读网站时刻推荐手机阅读等自有业务网站,在用户登录手机阅读、WLAN及宽带portal时刻推荐流量业务,异动触发,流量接近阀值、超出使用推荐流量包及加油包,在用户访问网页出错时导到139内容推荐页面,利用大数据分析平台,全面、多样,的特点，进行基于用户,访问内容挖掘,的营销场景设计。,类型,营销场景描述,搜索分析,通过百度搜索过iPhone、S4等终端关键词的用户（80%会在三周内产生换机行为）推荐同等三星高端TD智能机。,内容分析,针对5月18日王力宏杭州黄龙体育场演唱会，提取访问网页含“王力宏”及王力宏代表名称的用户推荐音乐产品。,网站分析,针对中国雅虎邮箱于8月19日关停服务事件，通过互联网日志提取浏览雅虎邮箱的用户推荐139手机邮箱。,应用分析,针对近期使用过百度、高德等导航应用，或“非常准”等商旅应用的用户推荐自有手机导航应用。,23,大数据分析平台变现：探索大数据分析平台运营实践，支撑流量经营发展（3）,基于网络、计费等跨域大数据分析平台的融合分析，推进TD分流和WLAN分流的提升。,TD分流比提升（嘉兴）,基于大数据分析平台分析：,基于信令、基站数据，结合传统客户数据，综合运,用GIS可视化分析和雷达图分析方法，围绕TD终端、流量水平和TD网络三个关键,因素，进行全省对标分析，确定嘉兴短板。,提出改进意见：,利用针对网络覆盖短板，提出了3个批次共893个建,站区域和1295个优化基站建议；针对终端销售短板优化外呼客户群和政策匹配，,外呼成功率提高4pp,嘉兴高倒流,WLAN热点建设（全省）,潜在用户挖掘：,通过分析用户特定场所驻留时长、高带宽要求应用使用、流,量使用水平和通信消费能力等四个方面，识别出全省300万WLAN潜在用户,。,热点选址建议：,基于潜在或活跃用户的位置分布，结合WLAN热点的,建设情况，提供1.9万个热点新建、2千个热点扩容和100个热点拆除等选,作建议。,钱江新城,址工,杭州江干区,大数据分析平台,分析实践,04,动传统经营分析系统架构,移动传统经分系统主要包括数据仓库层和数据集市层，其中数据仓库层主要负责,，数据集市层从数据仓库获取基础数据模型，并在此基础上支撑端到端应用。,基础数据模型的处理和历史数据存储,数据仓库层主要包括主仓库、应急库、历,史库和互联网日志集群。,主仓库负责原始数据的采集和处理，并将,集市,处理后的基础数据模型分发给各数据,，同时承载一经、KPI、MIS等及,时性较高的关键应用；应急库作为主仓,的业务级容灾系统，用于保障核心业,续稳定运行；历史库存储主仓库历,，并用于长周期历史数据趋势分,网日志集群主要负责互联网日,库,务连,史数据,析；互联,志数据的预,主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建；处理。,报表库、地市数据中心、创新平台、VGOP等数据集市采用小型机+高端SAN存储+传统Oracle数据库构建。,经营分析系统架构优化的业务背景及驱动力,为了支撑流量经营，移动在经分系统中引入了DPI、互联网日志和位置信令等多种网络数据源，这些网络数据,具备大数据分析平台