大数据系列产品解决方案讲义.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,大数据系列产品解决方案,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,大数据系列产品解决方案,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,大数据系列产品解决方案,*,大数据系列产品解决方案,*,大数据系列产品解决方案,*,大数据系列产品解决方案,*,大数据系列产品解决方案,大数据系列产品解决方案,全网触点潜在客户和会员客户价值转化,潜在客户,购买客户,高价值客户,原,CRM,售后销售核心业务系统数据,企业网站电商,APP,自媒体,第三方社会网站电商,APP,社会化人口,产品行为数据,其他渠道关注,接触过产品,门店客服活动,互动,提高客户,再销售,转化率,提高,高价值客户,购买金额,实,时,推,荐,营,销,活,动,营,销,促,销,营,销,广,告,其,他,服,务,会,员,关,怀,客户分析,产品分析,订单分析,行为分析,提高复购和转销售,社会化全网触点客户库,把潜在客户,转化为购买,客户,把触点客户,转化为潜在,客户,大数据系列产品解决方案,系统产品功能模块,第二大模块,数据抽取,聚合清洗,整合建模,第三大模块,用户,主数据,画像,第四大模块,数据服务,电商,WEB,APP,接触数据,第三方电商,WEB,APP,、电信数据,门店,客服互动数据,业务系统数据,APP,营销宝,会员关怀,标签查询,营销活动,线上线下精准推荐,聚合全网用户接触数据,清洗整合形成唯一标示,提供给其他系统和部门调用,对每一标签用户画像,分类群组并挖掘发现,其数据价值,不同场景为客户提高服务提高购买转化率,提高接触客户转化率,标签标示,画像,服务,360,全景画像,9,个属性,180,个维度,6300,个触点,分类分群分组,9,个门类,27,个群,1800,个组,数据价值挖掘解析,第一大模块,全网数据采集,大数据系列产品解决方案,行为数据驱动的个性化推荐服务,基于客群的推荐,客户画像（客群）,客户标签,产品（订单、行为）标签,历史购买推荐,当,某,人,发,生,行,为,时,在线实时,评分匹配,产品（订单、行为）画像,客户身份,属性数据,交易售后,业务系统,全网接触,行为数据,产品特征,属性数据,交易数据,被行为数据,基于产品群的推荐,群广告推荐,购买到期推荐,相关搭配推荐,客群相关推荐,客户行为推荐,客户属性推荐,产品交易推荐,产品特征推荐,产品优惠推荐,产品相关推荐,产品搭配推荐,客群相关推荐,产品群相关推荐,数据源,画像,大数据系列产品解决方案,WEB,、,APP,、电商、门店 秒级实时推荐精准营销,任何行为发生时,RDBMS,EDW,write&read,fine-grain Data,Off-line,Near-line(reads),RDBMS,Data Mart/Model,Real Time Process,Gross-grain Data,社交媒体,WEB,数据,移动位置,APP,数据,视频机具数据,客户,CRM,身份数据,历史交易数据,账单明细订单数据,NOSQL,Kafka,OLTP,在线评分模型,Zementis,实时预测模型,PMML,数据集市,Data Mart,挖掘模型,Mining,Model,行为模式模型,最佳产品模型,营销指标模型,秒级实时个性化推送,交互执行,实时分析,评分规则,预测模型,历史数据,挖掘分析,探索分析,知识库,Batch process,匹配身份,+,行为,+,产品,大数据系列产品解决方案,全网触点客户和全渠道营销,CRM,订单已有客户,门店咨询客户,参加活动客户,ADSL,点击客户,区域人口基础客户,其他渠道来源客户,网站,APP,注册客户,网站,APP,点击客户,软文评价微博客户,自,有,电,商,网站,APP,注册客户,网站,APP,点击客户,软文评价客户,第三方电商,自己网站,推荐,D,包包和,D,鞋,自己,APP,微信,推荐,D,包包和,D,鞋,第三方网站,推荐,D,包包和,D,鞋,第三方,APP,推荐,D,包包和,D,鞋,门店活动渠道,推荐,D,包包和,D,鞋,线上线下关联,推荐,D,包包和,D,鞋,直销员电话,推荐,D,包包和,D,鞋,D,品牌,37,码红色中跟旅游鞋,D,品牌红色中号带拉链包包,在线匹配,兴趣偏好,女性,25,岁,每月,8000,元工资,喜欢红色,活泼开朗,买,A,品牌鞋包包一年,购买时机,前周,2,次到专卖店咨询,D,鞋包,上周,3,次在麦包包网站注册点击,D,包,在,APP,关注评价过,D,服装,姓名年龄性别手机,家庭人口小区等级,同学同事朋友,收入历史购买产品,注册询价放购物篮,历史购买订单评论,搜索点击跳转停留,上那些网站,关注点击商品,上网习惯,购买时机购买渠道,咨询问题关注要点,客户兴趣习惯偏好,客,户,唯,一,编,码,统,一,视,图,全渠道营销,推荐引擎,视图,标签,画像,推全网触点数据,大数据系列产品解决方案,产品一、全网数据采集,业务数据,企业行业产品数据,自有电商数据,自有,APP,数据,第三方电商,APP,数据,互动数据,门店数据,大数据系列产品解决方案,采集,全网触点数据聚合,2011,年购买一台,A,空调留下姓名手机,2013,年淘宝买了一台吹风机留下地址,2012,年维修留下了地址电话邮箱,2013,年月进入到集团官网注册留下手机邮箱,2014,年进入到某集团,APP,留下点击产品行为数据,2014,年,9,月在京东把某产品放入购物篮没有付款,2015,年,6,月在国美网站点评过某品牌冰箱,范冰冰接触过某,集团全网轨迹,产品推荐,导购,需求预测,全套产品组合,最豪气的,电冰箱,世界上最静音,的空调,豆浆机,送给自己最好,的生日礼物,范冰冰在集团,标签画像,集团给范冰冰,的关怀与推荐,服务关怀,空调冰箱,吹风豆浆机,优美生活组合,数采宝,营销宝,画像宝,营销活动,空调冰箱,吹风豆浆机,优美生活组合,把匿名用户转化为实名用户,把实名用户转化成购买客户,提高客户场景购买转化率,挖掘忠诚潜在流失客户价值,提高产品再销售转销售金额,数聚宝,大数据系列产品解决方案,核心业务,系统,2025/9/14 周日,第一类 业务系统数据的抽取,销售数据,CRM,数据,产品数据,Sqoop,ODS,HIVE,贴源层,HQL/MR,特征识别器,精准特征识别,(EMAIL.),模糊特征识别,DWHIVE,模型层,DMHBASE,客户身份集市层,DMHBASE,客户行为集市层,DMHBASE,产品集市层,DMHBASE,其他集市层,ML,交易数据,.,数据清洗引擎,排错,去重,合并,数据属性不同，特征不同，清洗规则不同,逐步建立地址基准库,DMHBASE,地址标准库,其他系统,.,大数据系列产品解决方案,第二类：自动抽取,WEB,数据，建立产品库,样本分析,人为干预,形成规则及代码,配置好,:,交给机器就,OK,啦,!,机器学习,自动,编码,类似传统,ETL,过程,可视化,社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取,大数据系列产品解决方案,企业产品和行业产品内容数据采集,包含消费者和产品数据的来源,种类,数据种类,采集方式,自有网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,行业网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,友商网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,京东天猫等第三方网站,网站页面,商品名称、特征描述、价格,促销方式、促销价格,销售数量、评价,自动抓取,大数据系列产品解决方案,数据采集：全渠道、立体式、全路径数据采集（线上,&,线下，站内,&,站外，,PC&,移动）,进入网站,流量来源,渠道转化率,来访时段,试用设备,广告有效性,访问量分析,浏览网站,浏览路径,页面跳出率,停留时间,页面关联,访问页面,页面点击习惯,页面停留时间,页面收藏,注册会员,个人信息,联系方式,家庭地址,会员转化率,顾客留存率,顾客忠诚度,下单购物,购物历程,购买转化率,最有价值渠道,重复购买率,关联销售,促销效果评估,关闭网站,访问深度,访问时间,潜在销售机会,线上,第三类 自有电商,WEB,行为数据抓取,自营电商平台,大数据系列产品解决方案,包含消费者和产品数据的来源,种类,数据种类,采集方式,自有电商网站,自有门户网站,自有,APP,自媒体,微信公众号,博客,微博,论坛,网页显示数据,商品名称、价格、营销方式、评价等,直接抓取,身份数据,注册姓名、邮箱、电话、手机、账号,IP,、,行为数据,Cookie,数据,进入网站打开页面数据,点击选择商品,鼠标点击停留时间,放入购物篮,支付,离开网页,交易数据,购买商品名称、数量、价格、交易时间,自有电商、,WEB,数据采集,大数据系列产品解决方案,自营电商,WEB,端数据采集整合,消费者在自营电商平台浏览,结构化的,业务数据,业务数据库,数据处理,消费者统一视图库,非结构化的业务数据,页面埋点,程序,日志服务器,在线流式,处理,行为特性库,分布式消息队列,大数据系列产品解决方案,第三类 自有,APP,行为数据采集,分,析,层,APP,请求,(action/request),APP,上报,(event),渠道,(,渠道,API),服务器,（,运营日志）,消息,（,Message,）,数据总线,（,DataBus,）,数据采集总线,网站,(Session),总,线,层,业务系统,（,用户,/,消费）,存,储,层,分布式存储,（,HDFS,）,离线计算（,Hadoop,）,（,日常报表，规律趋势分析）,即席查询,（,Mongodb,）,实时,计算（,Spark/MPP,内存数据库）,（,用户、实时行为、访问量、及时广告）,推荐引擎,（广告精准营销）,仓,库,层,离线数据仓库,实时数据仓库,内存,数据仓库,应,用,层,APP,数据平台,摇奖引擎,广告系统,同城会,用户画像,数据开放平台,搜索引擎,Redis,采,集,层,大数据系列产品解决方案,自营,APP,端数据采集整合,消费者在自营电商平台视图,结构化的业务数据,业务数据库,数据处理,消费者统一视图库,APP,端操作行为,数据处理,服务器端,行为特性库,HTTP,请求,大数据系列产品解决方案,数据采集：全渠道、立体式、全路径数据采集（线上,&,线下，站内,&,站外，,PC&,移动）,进入网站,流量来源,渠道转化率,来访时段,试用设备,广告有效性,访问量分析,浏览网站,浏览路径,页面跳出率,停留时间,页面关联,访问页面,页面点击习惯,页面停留时间,页面收藏,注册会员,个人信息,联系方式,家庭地址,会员转化率,顾客留存率,顾客忠诚度,下单购物,购物历程,购买转化率,最有价值渠道,重复购买率,关联销售,促销效果评估,关闭网站,访问深度,访问时间,潜在销售机会,线上,第四类 第三方电商,WEB,行为数据抓取,自营电商平台,第三方电商平台所产生的数据业务、行为数据,大数据系列产品解决方案,第三方电商、,WEB,、,APP,、电信数据采集,包含消费者和产品数据的来源,种类,数据种类,采集方式,第三方电商网站,第三方门户网站,APP,广电机顶盒,电信,ADSL,网页显示数据,商品名称、价格、营销方式、评价等,抓取取得,身份数据,注册姓名、邮箱、电话、手机、账号,IP,、,、直接购买结果数据,、购买过程数据,、合作埋点取得,行为数据,Cookie,数据,进入网站打开页面数据,点击选择商品,鼠标点击停留时间,放入购物篮,支付,离开网页,交易数据,购买商品名称、数量、价格、交易时间,大数据系列产品解决方案,协议在第三方电商机房远程埋点,消费者在第三方电商平台所产生的点击、浏览等行为数据，由于第三方公司对数据的保护，,现在无法单纯的从技术上实现，只能通过合作的方式，购买与集团消费者相关的行为信息,大数据系列产品解决方案,数据商,数据,预计可贡献指标,合作方式,/,金额,Takingdata,数据堂,九次方,iclick,访问记录，其他品牌竞品的销售统计,行为数据,用户兴趣，产品定价,合作或购买,集奥,GEO,部分区域上网，查询记录,用户兴趣,合作或购买,淘宝商家,数据魔方,行业分析,用户兴趣,合作或购买,京东,数据罗盘,流量分析，行业（商品，购买，买家，搜索热词）,用户兴趣,900/,季度,国家统计局,房地产开发和销售情况月度,/,季度,区域潜在购买指数,爬取,搜房网,房屋价格,区域购买指数,爬取,京东,用户特征，支付方式,用户评级，支付手段,合作或购买,支付宝,用户特征，支付方式,用户评级，支付手段,合作或购买,移动电信,傲天,上网行为数据,行为数据,合作或购买,协议购买第三方结果数据或过程数据,大数据系列产品解决方案,第五类、,400,或客服互动、营销活动数据的采集,包含消费者和产品数据的来源,种类,数据种类,采集方式,400,客服中心,CallCenter,投诉,语音通话数据,登记记录,访问询问记录,语音通话,文本文件,Excel,Word,PDF,科大讯飞,语意分析,分词分析,营销活动,语音通话数据,登记记录,活动填表,访问询问记录,语音通话,文本文件,Excel,Word,PDF,门店互动交谈咨询,语音通话数据,登记记录,访问询问记录,语音通话,文本文件,Excel,Word,PDF,大数据系列产品解决方案,第六类 渠道门店推荐导购,全渠道、立体式、全路径数据采集（线上,&,线下，站内,&,站外，,PC&,移动）,线下各个业务系管理系统中所积累的结构化业务数据,客户在门店、商场所产生的数据,进入门店,进店入口,交通方式,日期时间,顾客活跃度,逛来逛去,逛店路线,停留时间,来店伙伴,停留场所,消费取向,消费能力,关联销售,WiFi,上网,个人信息,兴趣评估,社交网络,消费购物,会员卡,金额,品类,信用卡信息,忠诚度,顾客价值,离开门店,离店入口,潜在销售机会,线下,说明：线下数据源包括业务系统的数据、基于室内定位采集到用户状态变化数据、基于人脸识别提供的相片数据,大数据系列产品解决方案,门店行为数据采集,RFID,读写器,路由,RFID,天线,监控控制,Ibeacon,ibeacon,高清被动面部数据,摇一摇手机数据,客户位置数据,WIFI:,注册身份数据、手机、行为数据,商品拿起放下,次数数据,高清监控器,可选试点,大数据系列产品解决方案,门店数据采集方式,线下,瞳孔数据采集,瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。,视频位置,数据采集,位置关系：位置与商品关系、可能意向、移动轨迹。,WIFI,数据采集,点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。,Ibeacon,摇一摇,身份数据采集,身份：姓名、手机、邮箱、其他、。,Ibeacon,位置,数据采集,位置：购买品牌型号、特征、数量、价格、层级、。,面部数据采集,面部识别：身份、来店周期、面部表情、面对商品情绪。,DFID,试用,选择数据,选择犹豫：拿起放下商品次数、试用操作、反复比较。,大数据系列产品解决方案,门店数据整合,消费者在线下专属的各门店、商场专柜数据,专属,门店,商场,专柜,消费者统一视图库,行为特征库,大数据系列产品解决方案,产品二 客户统一视图,数据抽取,客户数据聚合,清洗合并建模,建统一唯一标识编码,统一调用接口,webservers,大数据系列产品解决方案,统一视图,=,客户数据聚合,+,清洗合并建模唯一标识,+,调用接口,一、抽取业务系统、电商、,WEB,、,APP,、门店等客户（产品、订单、行为）数据加载到,Hadoop,二、数据聚合：,1,、跨系统打通各系统的数据，合并各系统的客户（产品、订单、行为）数据,2,、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向,3,、编制跨系统数据蓝图,三、合并清洗建模：,清洗合并规则建模、对每一个客户,(,产品、订单）形成唯一的一个识别编码,1,、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。）,2,、产品基本属性清洗合并建模（品名、指标、性能、功能、价格、评价。）,3,、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。）,4,、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。）,5,、建唯一客户识别码和触点数据清单,四、提供服务调用接口,Webservers,提供客户识别编码和触点数据标签,客户统一视图,大数据系列产品解决方案,会员系统数据,Sqoop,售后系统数据,Kettle,渠道系统数据,财务,CRM,文字会话,录音语音,台,聊天会话,科大讯飞,数据存储,HDFS,批处理,MapReduce,Flume,其他核心业务,系统数据,Kafka,电商,WEB,APP,电信,行为,数据,门店,行为,数据,进入网店页面,注册登录,点击选购,搜索商品,鼠标停留,时间位置,放入购物篮,支付交易,离开网店网页,iBeacon,定位,摇一摇身份数据,WIFI,市内定位,面部识别,表情数据,RFID,商品移动,识别数据,POS,等数据,Spark Streaming,Storm Spark MLlib,其他核心业务,系统数据,API,、,ETL,销售物流,物料,数据抽取采集聚合,Kafka,系统结构化数据,行为数据,数据计算,Hive,、,HBase,、,Impala,、,Spark SQL,大数据系列产品解决方案,核心业务,系统,2025/9/14 周日,业务系统数据的抽取,销售数据,CRM,数据,产品数据,Sqoop,ODS,HIVE,贴源层,HQL/MR,特征识别器,精准特征识别,(EMAIL.),模糊特征识别,DWHIVE,模型层,DMHBASE,客户身份集市层,DMHBASE,客户行为集市层,DMHBASE,产品集市层,DMHBASE,其他集市层,ML,交易数据,.,数据清洗引擎,排错,去重,合并,数据属性不同，特征不同，清洗规则不同,逐步建立地址基准库,DMHBASE,客户订单集市层,其他系统,.,大数据系列产品解决方案,数据源,统一数据采集平台,Kettle,flume,sockt,FTP,文件,数据库,流,统一数据存储池,支持包括文件、流以及,DBMS,各种类型数据源,支持结构化和非结构化数据采集,提供多种接口对接各种数据源,打通所有系统、进行数据融合,Sqoop,Kafka,ETL,科大讯飞,用户维度、产品维度、订单维度、行为维度,大数据系列产品解决方案,整合跨系统、,建立数据蓝图,DB,File,Web,Service,Stream,DB,Adaptor,File,Adaptor,Web,Service,Adaptor,Stream,Adaptor,Hadoop Engine,Impala/Spark Engine,Spark Streaming,Spark Streaming,ETL,M,igration,Engine,DB Stored,Procedure,DB SQL,Hadoop M/R,Script,Phonix,SQL,Spark SQL,Spark Scala,Script,Spark MLlib,Spark GrapicX,Sqoop,实时流计算，,库外计算,批处理计算，,库外计算,批处理计算，,库内计算,库内,or,库外,内存，在线分析,快速检索,离线分析,SQL or,类,SQL,数据访问,数据库与,Hadoop,数据迁移,传统数据库,MPP,RDBMS,HBASE,HDFS,大数据系列产品解决方案,电商订单,（天猫,/,京东,）,1,、姓名,2,、手机,3,、电话,4、省市,5、地址,未获取信息,1,、下单时间,2.,支付方式,微信,未获取信息,1,。账号,2,、,Q,龄,3,、交易次数,4,、实名认证,5,、快捷绑定,6.注册时间,7,、交易额,8,、活跃度,9,、会员信息,10,、权益信息,11.浏览器信息,12.IP地址,支付宝,未获取信息,1,、是否学生,2,、支付宝评价,3,、实名类型,4,、交易类型,5,、资产水平,6、消费档次,7、交易评分,京东,未获取信息,1,、身份证,2,、手机,3,、用户商龄,4,、累积消费金额,5,、购买力,6,、有房/车,7,、子女,8、消费活跃,9.价格敏感度,购买,安装,售后系统,1,、姓名,2,、手机,3,、省市,4,、地址,未获取信息,客服系统,1,、姓名,2,、手机,3,、省市,4,、地址,未获取信息,客服,体验,智能家居,1,、.,2,、.,3,、.,4、.,5、.,未获取信息,1.xxxx,内部数据,外部数据,标签,人口属性,产品特征,订单特征,行为特征,门店,1,、姓名,2,、手机,3,、省市,4,、地址,未获取信息,1,、支付方式,网页访问数据,未获取信息,1,、竞争对手产品,2,、价格,3.,浏览量,4,、评分,5,、购买量,APP,1,、.,2,、.,3,、.,4、.,5、.,未获取信息,1.xxxx,搜房网,未获取信息,1,、楼盘,2,、价格,体验环节：和数据厂商，合作或购买统计数据,购买环节：引入合作商用户数据,合并客户触点数据,大数据系列产品解决方案,2025/9/14 周日,数据清洗整合规则建模,应用,系统,现状,:,数据分布各地信息分离、共享程度低,消费者信息不统一,无法实现一对一个性化精准营销,目标,:,高度共享的集中统一数据平台，统一消费者视图，实现精准营销、精准决策,客户,统,一,元,数,据,产品,集中统一平台,数据共享,统一消费者标识,实现个性化精准营销,会员身份信息库,消费行为信息库,产品基本属性,产品生命周期,主,题,数,据,数据挖掘,客户 忠诚度,客户消费能力,客户,消费,习惯,产品主动售后,客户消费需求,地域 消费需求,统一会员视图,客群粗 粒度分析,个性化精准营销和关怀,个性化细粒度分析,个性化精准营销和关怀,大数据系列产品解决方案,2025/9/14 周日,Department,34,购买交易数据,从渠道和零售系统采集,用户的交易记录,退换货数据,从渠道系统采集退换货记录,咨询投诉数据,投拆,客服,互动数据,从呼叫中心采集投拆数据,偶发出现行为数据,从,WEBAPP,电商门店数据,客户统一视图,CRM,或合作购买数据,从或第三方购买数据,清洗规则,手机号匹配,姓名匹配,地址匹配,产品号匹配,固话匹配,邮箱匹配,会员基本信息,会员购买的产品,会员存在的问题,会员间的亲友关系,会员的售后记录,客户数据清洗形成统一标签提供其他系统调用,大数据系列产品解决方案,基于各类业务系统数据分析平台数据流架构,在线平台,读取型,HBASE,细粒度数据,Data Mart/Model,HADOOP,ODS,层,/HIVE,DW,层,/HIVE,清洗,合并,规则,报表应用,Pentaho,数据服务,HTML5,JDBC,WEB,、手机,Cassandra,离线平台,读写型,粗粒度数据,Phoenix,HBASE,API,MongoDB,售后系统,实时处理,+,规则引擎,Spark Streaming,业务系统,Kafka,OLTP.,偶发行为,批处理,Sqoop,基于,Hadoop,的大数据仓库,ETL,服务器,Kettle,大数据系列产品解决方案,BIGDATAUNION,Tel:[phone] Website:bigdataunion.org,手机清洗逻辑,手机正则,(b0d2,3)?-_/*)?(134578(0-99),去除非数字,校验区号,N,Y,匹配字符长度11,且匹配手机号后一位非数字,N,格式正确,格式错误,原始字符长度=11,N,Y,大数据系列产品解决方案,手机清洗规则模型,大数据系列产品解决方案,BIGDATAUNION,Tel:[phone] Website:bigdataunion.org,固话清洗逻辑,固话正则,(b0d2,3)?-_/*)(d7,8)(-_、呼转)+d1,6)?,去除非数字,校验区号,N,Y,匹配字符长度9,且匹配固话号后一位非数字,Y,格式正确,格式错误,原始字符长度7,8位,N,Y,重复数字,N,N,大数据系列产品解决方案,地址清洗方案,根据数据特点，分为两类数据清洗方案：,规则,1.,存在标准地区代码，可以到标准地区库标准地址,规则,2.,不存在地区代码或者是脏地区代码，根据百度地图,api,接口,标准地址,地区代码不为空,地区代码为空,地区标准库,百度,api,接口,递归找出标准地址,返回标准地址,DWhive,模型层,大数据系列产品解决方案,地址唯一标示清洗,大数据系列产品解决方案,ODS,业务数据,消费者主对象,问题数据,Left,Outer,Join,消费者主对象,(,干净,),规范性规则,消费者主对象,(,编码,),对应关系,（得出关联客户）,附属表插数,应用数据模型,（,Hbase,）,增量数据清洗、加载（废弃）,消费者主对象,(,唯一,),数据合并,大数据系列产品解决方案,ODS,业务增量数据,消费者主对象,问题数据,消费者主对象,(,干净,),规范性规则,对应关系,（得出关联客户）,附属表插数,应用数据模型,（,Hbase,）,增量数据清洗、加载（保留）,合并规则,消费者,唯一比较,唯一性比对,数据合并,存在,获取,UID,不存在,消费者主对象,(,编码,),合并,不能合并,大数据系列产品解决方案,多系统客户数据整合流程图,业务系统数据,(biz1),客户表,(stage),1.stg_cust_biz1,客户表,(normal),2.normal_cust_biz,电话,地址,.,统一客户表,(ods),4.ods_cust_incremental,客户表,(tmp),3.tmp_cust_biz,统一客户表,(ods),5.ods_cust_unique(,唯一,),WB.,数据匹配,N,WC.,数据合并,(M/R),统一客户表,(ods),5.ods_cust_unique(,唯一,),Y,客户表,-,脏数据,(ods),5.dirty_cust_incremental,规则过滤,新增客户,业务系统数据,(biz2),业务系统数据,(bizx),和业务表关联,WA.,数据规范,WA.,数据规范,客户表,(stage),1.stg_cust_biz1,客户表,(stage),1.stg_cust_biz1,大数据系列产品解决方案,整合规则实现顺序,清洗后的用户数据,完全去重,覆盖手机规则,覆盖地址规则,覆盖固话规则,覆盖姓名规则,手机、地址、固话、姓名完全相等,手机相等的前提下，任意两条记录两两相比，根据规则判定这两条记录是否相等,用户基本信息表,用户联系方式表,用户地址信息表,用户关联关系表,带唯一标识的合并前全量用户信息,大数据系列产品解决方案,提供客户标签调用和查询,2025/9/14 周日,Department,45,客户数据,客户分群,客户标签,目标客户,客户接触,呼叫中心,售后服务,营销活动,导购,互联网,客户关怀计划,产品推荐,优惠活动,转介绍,会员活动,亲情服务,营销活动,公关活动,忠诚会员,提升销量,加强竞争地位,营销成本底,无需价格战,有利新品推广,通过会员关怀提高忠诚客户的比例,大数据系列产品解决方案,产品三、,360,度全景画像,打标签,画像,分类群组,数据挖掘,需求特征,大数据系列产品解决方案,画像,身份,产品,订单,行为,画像,群组,价值,挖掘,客户产品订单行为画像,建立客户,产品,行为,订单,9,个属性,180,个维度,6300,个触点,标签画像,建立客户,产品,行为,订单,9,类画像,27,群画像,180,组画像,建立客户,产品,行为,订单,每一类群组,的数据,价值挖掘,大数据系列产品解决方案,客户画像,大数据系列产品解决方案,客户唯一基本属性标识标签,9,个属性、,180,个维度,6300,个触点,360,全景画像,姓名匹配,手机匹配,邮箱匹配,关系人链匹配,电话匹配,等级匹配,。,统一标示代码,35,个基本人口属性,25,个区域小区楼栋房号,15,个,关系群体人员属性,15,个,爱好兴趣属性,20,个,使用习惯偏好属性,20,个,品牌偏好倾向属性,15,个,购买比较条件属性,9,个门类,27,个群,1800,个组,喜欢,3.00,汽车,喜欢静音,喜欢负离子清新通风,喜欢自动睡眠功能,喜欢粉红色,喜欢智能定时,。,9,个门类,27,个群,1800,个组,数据价值挖掘,高价值客户,低价值客户,负价值客户,活跃客户,流失客户,粉丝,。,客户画像,20,个,购买倾向情绪,15,个,购买时间时机属性,大数据系列产品解决方案,客户唯一标识标签,姓名匹配,电话匹配,邮箱匹配,关系人链匹配,订单匹配,等级匹配,。,统一标示代码,第一步建立客户产品唯一识别标签,标签记录客户、产品特征数据,和全网触点行为数据唯一识别,一、标签的唯一性,二、标签的精准性,三、标签的简单明了,四、标签的可调用性,五、标签的可修改回写,产品唯一识别标签,姓名标示,产品名称,产品型号,产品参数,产品指标,产品价格,产品交易量,。,统一产品标示代码,标签权重,=,衰减因子,行为权重,网址子权重,时间衰减因子,大数据系列产品解决方案,OCRM,客户操作型数据,与客户互动,电话记录、业务操作、货款交付,售前售中售后服务等数据,CRM,客户基本信息,姓名、电话、性别、地址,特征习好、客户关联关系,ACRM,客户行为数据,WEB,、,WIFI,、,APP,点,击浏览,POS,刷卡消,费行为,CCRM,客户协同型数据,呼叫中心、客户渠道、交互服务,售后回访、拜访数据,采集聚合客户数据,唯一标签标示,9,个属性、,180,个维度,6300,个触点,360,全景画像,姓名标示,姓名匹配,电话,匹配,邮箱匹配,关系人链匹配,订单匹配,等级匹配,。,统一标示代码,统,一,客,户,视,图,第二步客户画像,把来自于全网各种渠道混杂的客户身份（产品、订单、行为）数据清洗统一标示后的客户特征画像,35,个基本人口属性,25,个区域社区楼栋房号,15,个,关系群体人员属性,15,个,爱好兴趣属性,20,个,使用习惯偏好属性,20,个,品牌偏好倾向属性,15,个,行为属性,20,个,购买能力属性,15,个,购买时间时机属性,大数据系列产品解决方案,姓名性别,年龄婚育状况,行业收入,教育程度,所在区域人口构成,人口文化教育水准,购买品牌等级,价格,区域门店网购,购买批量评价,.,Cookie,、注册,ID,Email,微信微博,QQ,习惯常浏览网站类型,购买产品类别特征,.,35,个基本人口属性,15,个行为属性,上网时长时段频次,20,个消费偏好购买习惯,消费季节周期,消费习惯地域,接受营销活动类别,.,消费周期时段频次,活动圈子特征,.,社交关系网络,15,个关系群体人口属性,使用年限,.,使用频次时间,15,个使用习惯偏好属性,使用过程,客户,9,个属性,180,个维度,6300,个触点标签画像,购买品牌等级,价格,区域门店网购,购买批量评价,.,购买产品类别特征,25,个区域社区楼栋房号,活动圈子特征,.,业余爱好兴趣,15,个兴趣爱好属性,消费批次次金额,.,购买品牌等级,20,个购买能力属性,购买品牌等级价格,15,个购买时间时机属性,大数据系列产品解决方案,学员维度,可提供的数据维度,1,、基本属性,2,、社会属性（班级、老师）,3,、进度成绩（评价）,4,、课程内容级别,5,、订单数据,6,、课程评价（课程打分）,7,、,app,行为数据,8,、兴趣爱好,9,、潜在客户购买能力（）？,10,、缺少的知识点,分析主题：,1,、获客营销,2,、老学员的关怀招揽,3,、学员知识点,4,、老师和课程的评价评分,5,、预测（）,大数据系列产品解决方案,学员维度,数据来源,一、内部数据,1,、,CRM,2,、进度系统,3,、,TMK,电话系统,4,、,HR,5,、财务,6,、线上培训系统,7,、,APP,8,、微信公众号,二、外部数据：,1,、百度,2,、邀约、活动,3,、电信,adsl,需求要点,1,、投入产出,2,、转化率,大数据系列产品解决方案,标签画像模型算法,分类与回归,决策树、扑素贝叶斯,向量支持向量机,SVMs,MLR,（,softmaxRegreesion,）,二元分类,SvmWithSGD,LogisticRegression,WithSGD,、,RF&GBDT,、逻辑回归、线性回归,聚类,k-means,、,canopy,EM(Expectation-Maximization,）,吉布斯（,Gibbs Sampling,）,模糊聚类、狄利克雷,线性模型,Slope One,图计算,Pagerank,时序模型,BP,、,GA,梯度下降,GradientDescent,特征提取转换,TF-IDF,大数据系列产品解决方案,竞争对手产品特征,产品名称、型号、参数、特征,交易量、价格、客群定位、评价,竞争对手维度比较,企业内部产品特征,产品名称、型号、参数、特征,交易量、价格、客群定位、评价,竞争对手维度比较,第三方电商产品特征,产品名称、型号、参数、特征,交易量、价格、客群定位、评价,竞争对手维度比较,行业产品特征库,产品名称、型号、参数、特征,交易量、价格、客群定位、评价,采集聚合产品数据,清洗统一产品唯一标示匹配,数据清洗规则,姓名标示,产品名称,产品型号,产品参数,产品指标,产品价格,产品交易量,。,统一产品标示代码,姓名标示,细分产品分类,细分订单分类,细分产品客户分类,客户营销手段分类,细分产品特征分类,细分评价分类,。,其他维度分类,统,一,产,品,视,图,产品画像,+,订单画像,把来自于各种渠道混杂的产品特征数据、交易数据、评价数据清洗统一标示，按特征分群建立行业产品特征库,9,个属性、,180,个维度,6300,个触点,产品,360,全景画像,大数据系列产品解决方案,订单分析标签画像,HDFS,数据存储,（结构化、非结构化、半结构化数据）,客户画像,（品牌型号、量、结构、排名、利润、财务）,Hbase,（,Hive),筛选查询,（地区、销量、利润、同比、环比、排序）,Impala(Spark),报表分析,（固定、维度、指标、相关、交叉、报告）,Impala(Spark),预测挖掘,&,领导定制,（各类业务和挖掘分析模型的复杂分析,和领导特殊分析）,Impala+Spark MLlib,实时交互分析,（当某事件发生时，指标的关联与对策）,高频数据和流处理分析,Spark Streaming,大数据系列产品解决方案,喜欢,3.00,的客户群组,喜欢,3.00,喜欢静音,喜欢负离子清新通风,喜欢自动睡眠功能,喜欢粉红色,喜欢智能定时,。,第三步客户和产品划分类分群分组,划分为,9,个门类,27,个群,2700,个组,喜欢,3.00,喜欢卡通,喜欢自然风,喜欢自动提醒,喜欢粉黄色,喜欢有音乐,。,喜欢,3.00,喜欢其他,喜欢其他,喜欢其他,喜欢其他,喜欢其他,。,大数据系列产品解决方案,9,个门类,27,个群,2700,个组,数据价值挖掘,采用评分法、相似算法等算法模型,高价值客户,低价值客户,负价值客户,活跃客户,流失客户,粉丝,。,第四步、数据,价值挖掘分析,80,分以上的客户,其他群组,触点出现频次评分法,79-30,分的客户,30,分以下的客户,转卖友商或触点频次变化评分法,点评忠诚度等维度评分法,（粉丝