客户关系管理4[003].ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,.,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 数据挖掘、数据仓库与CRM,数据挖掘与数据仓库,CRM,中的数据挖掘与数据仓库,数据挖掘、数据仓库的行业应用,实例演示,1,.,4.1 数据挖掘与数据仓库,2,.,数据挖掘、数据仓库的产生背景,数据爆炸但知识匮乏,3,.,数据：一般的业务操作，通常都会产生大量的数据，如订单、库存、交易帐目、通话记录、及客户资料等。,信息：如何利用企业的历史数据增进对业务情况的了解，帮助我们在业务管理及发展上作出及时、正确的判断，需要从数据成为信息,4,.,数据库技术应用发展迅速,积累了大量的数据,提高效率的同时，也带来了一些问题：,数据过量、难以消化；,真假难辨；,数据形式不一、难以统一处理；,5,.,如何抛弃不必要的数据，从大量数据中及时提取有用的知识？,数据挖掘,从大量的数据中挖掘出有用的知识,6,.,1.Walmart,and,2.NASDAQ,3.NBA,Advanced Scout,7,.,数据仓库的定义,数据仓库Data Warehouse,数据仓库是支持管理决策过程的，面向主题的，集成的，随时间而变的，持久的数据集合。（W.H.Inmon）,数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。,数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称,8,.,传统数据库分析方法,数据库系统：由数据库、数据库管理系统、应用开发工具、应用系统、数据库用户组成,OLTP（On-Line Transaction Processing）联机事务处理系统,基本任务及时、安全的将当前事务所产生的记录保存下来。,外部接口：实现标准的SQL语言,内部：实现事务管理，支持事务的并发和恢复,9,.,数据仓库的基本特征,数据仓库的数据是,面向主题,的；,数据仓库的数据是,集成,的；,数据仓库的数据是,不可更新（稳定）,的；,数据仓库的数据是,随时间不断变化,的。,10,.,数据仓库的体系结构,Database,Database,Database,外部数据,数据仓库服务器,抽取，清洗,转换，载入,服务,查询，报表,管理,数据挖掘,数据源,数据仓库,数据集市,元数据,OLAP服务,前端工具,数据集市,数据准备,OLAP服务器,11,.,数据仓库体系结构,数据抽取工具：,把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。,数据仓库数据库：,是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操作型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。,12,.,元数据（Metadata,）：,描述了数据的结构、内容、编码、索引等。传统数据库中的数据字典是一种元数据，但在数据仓库中，元数据的内容比数据库中的数据字典更加丰富和复杂。,可将其按用途的不同分为两类，技术元数据和商业元数据。,技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库使用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据粒度；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。,商业元数据从商业业务的角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、报表；,13,.,数据集市（Data Marts）,：为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject area）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。,数据仓库服务器,：相当于数据库系统中的DBMS，负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前台工具提供存取接口(如SQL查询接口),OLAP服务器,：透明地为前台工具和用户提供多维数据视图。OLAP服务器则必须考虑物理上这些分析数据的存储问题,14,.,OLAP（联机分析处理技术）,OLAP(On-Line Analytical Processing)即联机分析处理，是以海量数据为基础的复杂分析技术,一、多维数据模型,数据分析时用户的数据视图，是面向分析的数据模型，用于给分析人员提供多种观察的视角和面向分析的操作,可用这样来一个多维数组来表示：(维,1,，维,2,，维,n,，度量值),15,.,联机分析处理技术(续),一、多维数据模型,(,续,),例如：,(,地区，时间，电器商品种类，销售额,),三维数组可以用一个立方体来直观地表示,一般地多维数组用多维立方体,CUBE,（超立方体）来表示,16,.,联机分析处理技术(续),二、多维分析操作,常用的OLAP多维分析操作,切片(slice)：在两维空间上的分布,切块(dice)：在多维空间上的分布,旋转(pivot)：,变换维的方向，即在表格中重新安排维的放置（例如行列互换）,钻取：,钻取是改变维的层次，变换分析的粒度。,向上钻取(roll-up)：,在某一维上将低层次的细节数据概括到高层次的汇总数据,向下钻取(drill-down)：,从汇总数据深入到细节数据进行观察,17,.,联机分析处理技术(续),三、OLAP的实现方式,按照多维数据模型的不同实现方式,MOLAP,（Multidimensional OLAP）多维,ROLAP（Relational OLAP）关系,HOLAP（Hybrid OLAP）混合,18,.,MOLAP,MOLAP结构,以,多维立方体CUBE,来组织数据，以,多维数组,来存储数据，支持直接对多维数据的各种操作。,多维数据库(Multi-Dimension DataBase，简记为MDDB)。,19,.,ROLAP,ROLAP结构,用,RDBMS或扩展的RDBMS,来管理多维数据，用,关系的表,来组织和存储多维数据,两类表：一类是事实(fact)表，另一类是维表,事实表用来描述和存储多维立方体的度量值及各个维的码值；,维表用来描述维信息。,ROLAP用,“星形模式”,和,“雪片模式”,来表示多维数据模型,20,.,ROLAP(续),星形模式（Star Schema）通常由一个中心表(事实表)和一组维表组成,星形模式的中心是销售事实表,维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表,21,.,ROLAP(续),雪片模式就是对维表按层次进一步细化后形成的,22,.,HOLAP(续),HOLAP,基于混合数据组织的OLAP实现（Hybrid OLAP），具有更好的灵活性。,低层是关系型的,高层是多维矩阵型的,23,.,前台工具,：包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等,数据仓库管理：,安全和特权管理；跟踪数据的更新；数据质量检查；管理和更新元数据；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。,24,.,数据仓库的实施步骤,DW,项目计划,业务需求分析,数据线实施,数据仓库设计,数据预处理：ETL,数据维护,技术线,技术选择,产品选择,应用线,系统运行维护,25,.,演示：Analysis Manager,Microsoft SQL Server的多维数据模型：以FoodMart Corporation为例，建立三个多维数据集，即 Marketing（市场营销）、HR（人力资源）和 Expense Budget（开支预算）,设置系统数据源名称（,DSN,）,建立数据库和数据源,建立事实数据表和维度表,设计多维数据的存储模式：多维,OLAP(MOLAP),、关系,OLAP(ROLAP),或混合,OLAP(HOLAP),26,.,数据挖掘的定义,数据挖掘 Data Mining,技术角度的定义,数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。,商业角度的定义,数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的海量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。,27,.,为什么要数据挖掘?潜在的应用,数据分析和决策支持,市场分析和管理,目标市场定位,客户关系管理(CRM),购物篮分析,交叉销售,风险分析和管理,预测,客户保持,质量控制,竞争分析,欺诈检测和不寻常模式的检测(离群点),其他的应用,文本挖掘(新闻组,email,文档)和Web挖掘,流数据挖掘,生物信息学和生物数据分析,28,.,Ex.1:市场分析和管理,数据从哪来?信用卡交易事务,会员卡,优惠券,客户投诉电话,公众生活方式研究,目标市场,寻找“榜样”客户的聚类,他们共享相同的特征:兴趣,收入水平,消费习惯等,确定客户在一段时间的购买模式,交叉市场分析寻找产品销售之间的关联/相关性,以及基于这些关联进行预测,客户轮廓(profile)什么类型的客户买什么产品(聚类或分类),客户需求分析,为不同的用户识别最好的产品,预测什么因素将吸引新的客户,摘要信息提供,多维摘要信息报告,统计学总结信息(数据中心的趋势和变化),29,.,Ex.2:公司分析和风险管理,财经计划和资产评估,现金流分析和预测,资源计划,总结比较资源和开销,竞争,监控竞争对手和市场方向,细分客户类别，制定基于类别的定价过程,在激烈竞争市场中建立价格策略,30,.,Ex.3：欺诈检测和挖掘异常模式,方法:为欺诈和离群点分析进行聚类和模型构建,应用:医疗保健,零售业,信用卡服务,电信业.,汽车保险,:检测出那些故意制造车祸而索取保险的人,洗钱:,可疑的资金流向,医疗保险,检测出职业病人,不必要、不相关的医学检验,电信业:电话欺诈,电话模式:呼叫目的地，持续时间，每天或每周的次数。分析与预期标准相背离的模式,零售业,分析师评估认为38%的零售业萎缩是因为不诚实的雇员,反恐怖主义,31,.,知识发现(KDD)过程,数据挖掘知识发现过程的核心,数据清理,数据集成,数据库,数据仓库,知识,任务相关的数据,选择,数据挖掘,模式评估,32,.,数据挖掘:多种技术的融合,数据挖掘,数据库技术,统计学,机器学习,模式识别,算法,其他技术,可视化,33,.,为什么不是传统的数据分析?,庞大的数据,算法必须能够高度可伸缩以便处理TB数量级的数据,高维度的数据,如Microarray(微阵列)可能有成千上万个维度,数据的高复杂性,数据流和传感器数据,时间序列数据,时间数据,序列数据,结构数据,图,社会网络和多链接数据,异构数据库和遗产数据库,空间,时空,多媒体,文本和 Web 数据,软件程序,科学仿真,新的和复杂的应用,34,.,数据挖掘 VS 传统分析方法,有何区别?,数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。,35,.,数据挖掘系统结构,数据仓库,数据清理 数据集成,过滤,数据库,数据库或数据仓库服务器,数据挖掘引擎,模式评估,图形用户界面,知识库,36,.,数据挖掘过程,数据挖掘过程包括：,数据准备（选择、预处理、转换）,确定主题,读入数据、建立模型、理解模型,解释与评价,知识应用,分析问题,整合数据,建立模型,理解规则,预测未来,37,.,数据挖掘技术分类,数据挖掘,描述,预测,可视化,聚类,关联规则,汇总描述,分类,统计回归,时间序列,决策树,神经网络,38,.,数据挖掘的模型（1）,分类（,Classification,）与决策树,（Decision trees）,分类分析是为了找出描述和区分数据类或概念的模型，常常通过决策树、神经网络等模型进行表示。,决策树：,根节点、节点、分支、叶子。,39,.,在贷款申请中，要对申请人的风险大小做出判断,40,.,数据挖掘的模型（2）,聚类（Cluster）,聚类是把一组个体按照相似性归成若干类别的过程。,原则：最大化类内部的相似性、最小化类之间的相似性,聚类方法包括统计方法、机器学习方法、神经网络方法和面向数据库的方法。,41,.,42,.,关联（Association）,关联规则是形式如下的一种规则，“在购买面包的顾客中，有90%的人同时也买了牛奶”:(面包)(牛奶)，计为XY。,评估关联规则的四个重要指标是：,(1),支持度,（support）：交易集中包含X和Y的交易数与所有交易数之比，记为support(XY),(2),可信度,（confidence）：包含X和Y的交易数与包含X的交易数之比，记为confidence(XY),(3),期望可信度,（expected confidence）：描述了在没有物品集X的作用下，物品集Y本身的支持度，记为E-confidence(Y),(4),作用度,（lift）：作用度是可信度对期望可信度的比值。描述了物品集X对物品集Y的影响力的大小。记为Lift(XY)。一股情况，有用的关联规则的作用度都应该大于l，才说明X的出现对Y的出现有促进作用，也说明了它们之间某种程度的相关性，如果作用度不大干l，此关联规则也就没有意义了。,数据挖掘的模型（3）,43,.,设 sup,min,=50%,conf,min,=50%,关联规则:,A,D,(60%,100%),D,A,(60%,75%),Customer,buys diaper,Customer,buys both,Customer,buys beer,Transaction-id,Items bought,10,A,B,D,20,A,C,D,30,A,D,E,40,B,E,F,50,B,C,D,E,F,44,.,数据挖掘的模型（4）,序列模式（Sequential Pattern）,分析数据之间的前后（因果）关系，类似于关联分析,用于发现客户潜在的购物模式,先购买PC，再购买数码相机，接着还要买存储卡,5天之内，X股票最多上涨10，Y股票涨幅在1020之间，Z股票在下星期上涨的概率为68。,指标,最小支持度,最小可信度,45,.,4.2 CRM中的数据挖掘与数据仓库,46,.,CRM与数据挖掘、数据仓库的关系,数据的整合、集中,CRM的业务整合,数据分析与知识发现,47,.,在CRM中的应用范围,客户盈利能力；,客户保留；,客户细分；,客户倾向；,渠道优化；,风险管理；,欺诈监测；,购物倾向分析；,需求预测；,价格优化。,48,.,案例：基于DW、DM的客户营销管理,流失预警模型,交叉销售模型,客户行为,细分模型,更多模型,营销信息预警,营销方案策划,绩效管理,主动营销,客户,行为数据,业务系统,数据仓库,数据挖掘,模型,行为数据,行为数据,客户挽留,营销信息层,分析企划层,管理实施层,49,.,客户行为细分,0,200,500,低,端,中,端,高,端,ARPU值相似的客户需求特点却差别很大,客户细,分之谜,根据ARPU值进行客户细分的方法,基于数据挖掘技术的以需求为基准的细分,客户行为,价值细分模型,海量客户,行为数据/,特征数据,组内行为特点相似组间行为差异较大的客户分组,50,.,客户行为细分（续）,客户行为细分模型,客户流失倾向,预警模型,价格敏感度模型,客户信用评分模型,交叉销售模型,营销效果预测模型,客户价值,评估模型,51,.,客户行为细分模型通过,上百个变量,描述客户,性别,年龄,建档时间,证件号码,缴款方式,信息费,应收金额,优惠金额,滞纳金应收,SMS次数,国际呼叫,呼入/呼出比例,短消息话单类型,信息长度,赠送费用,呼转类型,漫游话费,通话时长,赠送分钟数,费用类型,动态漫游号,IMSI号码,月均基本通话,月均国内长途,工作日呼叫次数,工作日呼叫时间,WAP呼叫时间,繁忙时段呼叫次数,非繁忙时段呼叫次数,SMS次数,WAP次数,IP呼叫次数,语音呼叫次数,非语音呼叫次数,月均国际长途,非IP呼叫时间,52,.,数据挖掘,自动生成,影响客户分组的主要因子,性别,年龄,缴款方式,SMS次数,国际呼叫,其它,优惠金额,短消息话单类型,赠送费用,费用类型,漫游次数,应收金额,IDD次数,月均国内长途,月均基本通话,非语音呼叫次数,SMS次数,WAP次数,月均国际长途,语音呼叫次数,费用类型,因子分析,53,.,聚类分析根据自身所具有的特征,自动,聚为一些,行为特点相似,的群体,低,高,高,高,1,2,8,4,5,3,7,6,因素二（国内呼叫次数）,因素三（IP呼叫次数）,因素一（繁忙时段呼叫次数）,示例,54,.,16个组中呈现出差别明显的优势、弱势特征,组号,优势特征,弱势特征,描述性名称,#1,语音每次呼叫时间、香港（澳门）呼叫、非繁忙时段呼叫,繁忙时呼叫、IP呼叫、短信、转移,业余活跃组,#2,繁忙时段月均呼叫次数、漫游地区呼叫、香港呼叫次数,转移呼叫、短信、转移,业务繁忙组,#4,IP呼叫、转移呼叫,贵中求惠组,#6,IP呼叫,短信、转移,IP手机组,#9,IP呼叫、短信,非繁忙时段呼叫,新生潜力组,#12,非繁忙时段呼叫,漫游地区呼叫、转移、短信,夜间积极组,#14,繁忙时段月均呼叫次数,漫游呼叫、非繁忙呼叫、转移,本地繁忙组,#16,繁忙时段月均呼叫次数、转移呼叫、香港（澳门）呼叫,IP呼叫,繁忙大客户组,#8,短信,转移呼叫、IP,短信专家组,#11,转移呼叫,繁忙时段月均呼叫次数、短信,热衷转移组,#15,漫游地区呼叫,短信、繁忙呼叫次数,频繁出差组,#3,语音每次呼叫时间,繁忙时段次数、短信,情深语长组,#5,繁忙时段次数、每次呼叫时间、短信,消极等待组,#7,呼入/呼出比,短信,等待接听组,#10,繁忙时段次数、呼入/呼出比、每次呼叫时间,休眠组,#13,繁忙时段月均呼叫次数,寂寞无声组,55,.,各类客户人数及收入贡献一览,人数,百分比,收入贡献,百分比,59.61%,56.41%,15.08%,28.51%,14.89%,25.91%,客户群,优质,普通,弱势,组别,#1、#2、#4、#6、#9、#12、#14、#16,#8、#11、#15,#3、#5、#7、#10、#13,人数,103,664,54,816,205,071,收入贡献,RMB29,659,162.05,RMB7,204,282.92,RMB12,897,830.1,优质,普通,弱势,56,.,示例：全球通（后付费）客户的17个客户分组,客户群,组号,人数（万人）,人数百分比,组内月人均话费,组名,优质组,#9,1.5,1.5%,970,国际呼叫组,#4,1.7,1.8%,865,业务繁忙组,#2,1.5,1.6%,758,呼叫香港组,#14,1.0,1.0%,729,国内长途组,#15,1.4,1.4%,640,呼叫台湾组,#16,11.6,11.8%,420,本地繁忙组,#11,1.2,1.2%,407,转移移动组,普通组,#10,2.8,2.9%,351,热衷IP组,#12,4.6,4.7%,347,商务潜力组,#13,2.1,2.1%,331,全面发展组,#5,1.9,1.9%,321,呼转电信组,#7,2.0,2.0%,286,短信热衷组,#17,1.6,1.6%,241,转移联通组,弱势组,#8,6.7,6.9%,221,IP长聊组,#6,4.3,4.3%,205,短信潜力组,#1,14.1,14.4%,171,情深语长组,#3,38.4,39%,100,节约通话组,57,.,对细分客户组进行特征描述,本组特征描述,本组客户共,15441,人，占客户总数的,1.6%,，组内每月人均话费,759,元。,与其他客户相比，本组客户的显著特征体现在呼叫香港的通话行为较多（因素,7,）。香港月均每次呼叫时间达,1.8,分钟，月均呼叫次数,8.7,次，而全体客户平均香港月均每次呼叫时间,1.6,分钟，月均呼叫次数只有,0.2,次。由此，本组客户的香港月均呼叫费用（,53.7,元）比全体客户平均呼叫费用（,1.3,元）高出,40,多倍，香港呼叫需求相当大。,第二组：呼叫香港组 优质组,人数：15,441,月人均话费：759元,与全体客户话费均值之比：3.0,人数百分比：1.6%,女性比例：38.2%,平均在网时间：43.2,58,.,业务推广与客户服务建议,本组市场建议,业务推广建议,彩信业务,统计分析发现本组客户彩信使用人数比例明显大于其他,16,个客户分组,GPRS,业务,估计本组客户中有相当部分人群是商务人士,客户服务建议,免费赠送香港天气预报,与航空公司里程积点互换,空港,VIP,休息室,59,.,2、产品交叉销售,交叉销售,升级销售,市场拓展,市场渗透,新产品,老产品,老客户,新客户,向老客户销售,其尚未使用的产品,向老客户促销,其正在使用的产品,以促使更多消费,将老产品销售给,新的客户,将新产品销售给,新客户,交叉销售研究要点,交叉销售通过研究客户的产品使用情况、消费行为特点，发现老客户的潜在需求,交叉销售通过产品之间的关联，寻找实现产品捆绑销售的机会,交叉销售为新产品寻找已有用户中的目标群体,60,.,相关性弱,根据产品业务关联性评分表，形成某一产品与其他产品关联关系图，以形象说明本产品与其他产品之间的关联关系（正相关或是负相关）及其关联性强弱。,正向关联,负向关联,客户取消产品时作为替补品,考虑产品捆绑销售,替代性弱,相关性强,替代性强,产品业务关联关系图说明,61,.,产品A与语音信箱、移动梦网、随E行、数据通信、呼转小叮铛、彩信、百宝箱、20元/0元GPRS套餐都有正向关联关系。,某一产品与其他产品/业务的关联关系,62,.,IP,长聊组,IP,长途组,节约,通话组,短信,潜力组,长话,短说组,本地,小康组,短信,专家组,长途,电话组,夜间,积极组,长话,长说组,等待,接听组,本地,繁忙组,情深,语长组,热衷,转移组,差旅,人士组,(次),产品A分组普及率分析,7短信专家组、4短信潜力组用户对产品A的兴趣相当较浓，可作为大规模推广该产品的突破口。9夜间积极组、15差旅人士组、8组长途电话组根据用户行为分析，也应用有较大的交叉销售机会。,产品A客户分组交叉销售机会,63,.,4.3 数据挖掘数据仓库的行业应用,64,.,问题描述：预测信用水平是好还是差，银行据此决定是否向客户发放贷款，发放多少,结果描述,:(,决策树）,收入大于5万元/年,是,否,有无储蓄帐户,是否房主,是,是,否,否,批准,不批准,批准,金融,65,.,问题描述：根据客户信息，预测客户流失可能性,结果描述,:(,神经网络）,输 入,流失概率,（0.87),输 出,男,29,3000元/月,神州行,130元/月,电信,66,.,问题描述：如何决定超市中商品的摆放来增加销售额,结果描述,:(Web,图）,零售,67,.,问题描述：如何对市场进行细分，使产品满足最有价值客户,结果描述,:(,聚类分析）,营销活动回应率,制造业,68,.,问题描述：如何从众多申请经费或者纳税中发现欺诈,结果描述,:(,回归、神经网络）,政府,69,.,4.4 数据挖掘软件实例演示,70,.,常见的数据挖掘软件,SASEnterprise Miner,SPSSClementine,Megaputer-PolyAnalyst,DBminer,Oracle,Datamind,Knowledge seeker,Cart,71,.,SAS Enterprise Miner,72,.,SPSS Clementine,73,.,DBMiner,74,.,Poly Analyst,75,.,谢谢观看！,