数据挖掘案例2014.04-10.docx

成功案例：
1，Credilogros改善客户信用评分业务(直接数据挖掘，预测统计分析方法/软件)
Credilogros是阿根廷第五大信贷公司，它需要识别与潜在预先付款客户（缺乏充分的信用记录数据）相关的潜在风险，以便将承担的风险最小化。Credilogros选择了SPSS Inc.的数据挖掘软件PASWModeler，因为它能够灵活并轻松地整合到 Credilogros 的核心信息系统中。数据挖掘的收益包括：
1) 处理信用数据和提供最终信用评分的时间缩短到了8秒以内。平均每月使用PASW Modeler处理35000份申请。这使该组织能够迅速批准或拒绝信贷请求。
2) 最小化每个客户必须提供的身份证明文档，某些情况，只需一份身份证明即可批准信贷；
3) 风险监控，仅在实施3 个月后就帮助Credilogros 将贷款支付失职减少了 20%。

2，中国宝钢集团（直接数据挖掘，分类分析方法）
宝钢自1985年投产至今，积累了大量的生产数据，从每一炉钢到每一块板坯到每一个钢圈，各级计算机系统可以把这些数据完整地收集起来。采用数据挖掘技术对钢材生产的全流程进行质量监控和分析（通过全流程实时监控获得了丰富的生产数据），构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。
宝钢采用了两个数据挖掘工具，一个是自行研发的基于SAS的practical Miner，另一个是美国SAS公司的Enterprise Miner。在冷轧和热轧的产品质量控制中，仅2001年就取得超过3000万元的经济效益。在配矿优化项目中，通过确定不同铁矿石的合理比例，每年可为宝钢降低成本6000万元。另外，通过分析轧制计划，分析和优化库存结构，降低库存成本和平衡物流成本。

3，DHL实时跟踪货箱温度
DHL每辆车都装有持续记录车速、时间及温度的特制“黑匣子”，拥有全球定位系统，并由随车安保人员实时监控。一旦有偏离路线、超时停车和车内温度异常情况，货车必须重新装货。基于“黑匣子”提供的大量数据进行数据挖掘，可以根据温度控制的目标，制定和优化行车线路、司机配置、提供车况评估等决策支持。

4，沃尔玛超市里的尿布与啤酒（间接数据挖掘，关联规则）
在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

5，民生银行 “高端客户流失风险预测研究”项目
在客户关系管理中，“老客户的保留”是十分重要的研究领域。已经发生流失的客户还有较高的挽回余地，若银行能在客户刚刚产生流失意向时就准确识别出他们，并辅以适当的客户关怀策略，这些客户应具有更高的可能性被挽留。
项目研究首先明确一个标准化、规范化的商业银行数据挖掘流程框架，结合相应的数据准备、字段筛选、模型选择等问题，逐步建立客户流失分类预测的映射关系、客户按流失可能性从高到低排序、从客户特征中挖掘出客户将发生流失的规律、实现客户挽留策略的个性化定制和资源的差异化配置、将分类预测模型及相关结果部署于现有管理信息系统中。

6，中国银联股份有限公司 “异常交易检测方法”
2006年网上支付在我国所有的电子支付交易中占比96%，而且会越来越普及。另一方面，网上支付的便利性和信用卡用户的不断增加也为犯罪分子进行金融欺诈等犯罪提供了更多的机会。这需要银行等金融机构采取一定的措施来予以控制。这里异常交易被定义为，满足系统对于正常交易的规定，但本质具有一定的欺诈特性，比如攻击者利用盗取的合法用户信息进行的交易，或者合法用户进行的恶意透支行为等。
提出一种基于数据挖掘的异常交易检测方法，可以在业务层面和操作层面对交易中的异常进行检测。当一个用户提交一笔新的消费交易时，采用贝叶斯信念网络算法判断当前交易属于正常交易的后验概率，作为在业务层面的可信因子；然后提取该用户在当前交易之前的若干个操作，与当前交易一起构成一个固定长度的操作序列，并通过BLAST-SSAHA算法将其与该用户正常操作序列和已知异常操作序列进行比对，得出在操作层面的可信因子。综合考虑业务层面的可信因子和操作层面的可信因子，最终决定当前交易是否为异常交易。

7，英国电信
英国电信需要发布一种新的产品，先通过数据挖掘对客户进行分析，然后通过直邮方式向客户推荐这种产品，最终直邮的回复率提高了100%
另外，英国电信升级其Motive客户体验解决方案，并部署数据收集管理器，跟踪人们家中激增的通信设备，然后利用这些数据主动管理网络和设备的运行方式，确保客户有更好的体验。

8，GUS日用品零售商店（神经网络模型、规则归纳技术）
多年来GUS用多元回归分析和大型机系统软件进行预测，但这些评估经常过于保守。后来采用了SPSS快速、可视化建模的数据挖掘工作平台：Clementine，其神经网络模型所作的预测比较出色，均值绝对误差降低了4%，标准差降低了10%；通过Clementine的规则归纳技术，GUS在预测的风险等级分配的正确性方面提高了20%，通过数据挖掘的方法，更准确预测未来商品销售，库存成本比原来减少了3.8%。

9，美国国内税务局
基于IBM DB2数据库软件的综合逃税人监察项目，仅1996年就帮助税务局追回补交税款2亿笔、增收200亿美元的税金和罚款，并进行了120万笔账目审计。另外，可以合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务。

10，Mellon银行
商业银行的利润和风险是共存的。为了保证最大利润和最小风险，必须对账户进行分析和归类，并进行信用评估。Mellon银行使用数据挖掘软件Intelligent Agent提高销售和定价金融产品的精确度，如家庭普通贷款。该工具可以（利用交往、分类或回归分析等商业智能）确定现有用户购买特定附加产品：家庭普通信贷限额的倾向，可生成用于检测的模型。

11，美国Firstar银行
利用Marksman数据挖掘工具，读取800到1000个变量并且给它们赋值，根据消费者是否有家庭财产贷款、赊账卡、存款证或其它储蓄、投资产品，将它们分成若干组，然后预测何时为客户提供何种产品。

12，汇丰银行
利用KXEN对不断增长的客户群进行分类，对每种产品找出最有价值的客户，营销费用减少30%；和SAS联合开发反欺诈管理系统（2009年整个金融行业由于欺诈造成的损失为48亿美元），对美国境内的信用卡交易进行实时的欺诈防范侦测，进一步保护客户利益。

13，股票预测
股票市场是一个具有大量相互作用因素的复杂系统，它受政治形势、金融政策、公司状况和重大消息等多方面因素的影响。股票价格一般要受一国货币、财政政策、物价、利率、汇率、上市公司重大事项、国际经济环境、投资者心理等信息的作用，其内部规律非常复杂，变化周期无序，更使行情的走势变化莫测。
大连理工大学的硕士生黄玲琴提出了股票交易数据挖掘模型，利用决策树分类算法中的ID3算法并适当调整以对股票交易数据样本集进行测试分析，由此生成决策树作为分类器并对其结果进行了检验，最后根据决策树分类规则开发出一淘股票分析预测系统。
更早之前，通过相关分析，可以找出一支股票与另一支股票走势的潜在规律，比如数据挖掘曾经得到过这个结论“如果微软的股票下跌4%，那么IBM的股票将在两周内下跌5%”

14，NBA教练提升获胜机会
大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。教练可以通过Advanced Scout访问NBA中心的服务器数据，包括每场比赛的事件统计：得分、助攻、失误等。事件标记让教练非常容易地通过搜索NBA比赛的录像来理解统计发现的含义。
类似的应用还有NHL-ICE，是国家曲棍球联盟与IBM联合开发的，可以让教练、广播员、新闻记者及球迷挖掘NHL的统计

15，蒙特利尔银行
加拿大第三大银行，之前于晚上6-9点通过电话向客户推销产品，反馈率非常低。采用IBM DB2 Intelligent Miner Scoring后，基于银行账户余额、客户已拥有的银行产品以及所处地点和信贷风险等标准来评价记录档案。这些评价可以用于确定客户购买某一具体产品的可能性。通过更具针对性的营销活动，银行能够区别对待不同的客户群，以提升产品和服务质量，同时还能制订适当的价格和设计各种奖励方案，甚至确定利息费用。

16，圣地亚哥proflowers
Proflowers是一家卖花的公司，因为鲜花极易枯萎，需要均匀地削减库存，否则可能导致一种商品过快地售罄或库存鲜花的凋谢。通过采用Websidestory的数据挖掘ASP服务Hitbox，proflowers可以在业务高峰日也能对销售情况做出迅速反应。比如，如果100人中仅有5人看到玫瑰时就会购买，而盘景的转换率则为100比20，那么不是页面设计有问题，就是玫瑰的价格有问题。公司能迅速对网站进行调整。对于可能过快售罄的商品，公司通常在网页中弱化该商品或取消优惠价格。

17，eBags利用数据挖掘实现网页定制自动化
丹佛的eBags销售手提箱、手提袋、钱包以及提供其它旅行服务，通过采用Kana公司的E-Marketing Suite，获得客户购买行为习惯方面的信息。根据不同的购买习惯，网站不停地创建页面以适合每个具体的访问者。比如，如果访问者的浏览记录显示其对手提包感兴趣，网站将创建这些商品的客户化页面。

18，Carrier利用邮政编码数据提升销售
Carrier是康涅狄格州的一家空调制造商，仅仅通过利用邮政编码数据，其升级版B2C网站的每位访问者所产生的平均收益在一个月内从1.47美元提高到了37.42美元。当客户登陆时，系统提示输入邮政编码。这些信息被发送到WebMiner服务器，然后数据挖掘软件对客户进行假设，并基于这些假设来展示商品。例如，如果客户来自富裕的郊外地区，网站将显示带有遥控器的空调机；如果客户来自市区，则弹出式广告将展示窗式空调机。

19,零售业销售促销(零售业)：此案例的目的是想根据零售产品过去的促销记录，利用数据挖掘(预测模型-神经网络及回归树(Neural Network & Regression Tree))来预测未来的销售成效。

20,状态监测(信息业)：此案例的目的是想根据机器监控状态的信息，利用数据挖掘(分类模型-神经网络及决策树(Neural Network & Decision Tree))来预测机器发生故障的机率。此案例的数据包含在时间轴上连续的机器监控状态信息。因此，每一笔记录是机器在某个时间点的状态报告。

21,美国运通
通过数据挖掘制定了“关联结算优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋，就可以得到比较大的折扣，这样既可以增加商店的销售量，也可以增加运通卡在该商店的使用率。

22，卡夫食品
建立一个拥有3000万客户资料的数据库，收集对公司发出的优惠券等作出积极反应的客户信息及其销售记录，通过数据挖掘了解特定客户的兴趣和口味，并以此为基础向他们发送特定产品的优惠券，并为他们推荐符合客户口味和健康状况的卡夫产品食谱。

23，

数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并具有潜在价值的信息的过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化等技术，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。
数据挖掘的分析方法包括“两类七种”
1. 直接数据挖掘：建立模型对特定变量进行描述。
1) 分类（Classification）：客户分类、满意度分析、购买趋势预测
2) 估值(Estimation)：预防客户流失、产品生命周期、销售趋势分析
3) 预测(Prediction)：异常信息的发现、分析等
2. 间接数据挖掘：在所有的变量中建立起某种关系。
1) 相关性分组/关联规则（Affinity grouping/Association rules）：市场营销
2) 聚类（Clustering）：市场细分、客户背景分析
3) 描述和可视化（Description and Visualization）
4) 复杂数据型挖掘（Text, Web,图形图像，视频，音频等）

数据挖掘的常用技术：
1) 人工神经网络
2) 决策树
3) 遗传算法
4) 紧邻算法
5) 规则推导

数据挖掘算法：
1. 粗糙集
2. 聚类
3. 关联规则
4. 决策树
5. 模糊集
6. 神经网络和支持向量机
7. 回归分析

数据挖掘的完整步骤如下：
1. 理解数据和数据的来源（understanding）
2. 获取相关知识与技术acquisition）
3. 整合与检查数据（integration and checking）
4. 去除错误或不一致的数据（data cleaning）
5. 建立模型和假设（model and hypothesis development）
6. 实际数据挖掘工作（data mining）
7. 测试和验证挖掘结果（testing and verification）
8. 解释和应用（interpretation and use）

典型数据挖掘系统：
SAS公司的Enterprise Miner
IBM公司的Intelligent Miner
SGI公司的SetMiner
SPSS公司的Clementine
Sybase公司的Warehouse Studio
RuleQuest Research公司的See5
还有CoverStory, EXPLORA, Knowledge Discovery Workbench, DBMiner, Quest等

数据挖掘的行业应用：
1. 电信：流失（原因分析）
2. 银行：聚类（细分）、交叉销售、信用评估
3. 百货公司/超市：购物篮分析（关联规则）
4. 保险：细分、交叉销售、流失（原因分析）
5. 信用卡：欺诈探测、细分
6. 电子商务：网站日志分析
7. 税务部门：偷漏税行为探测
8. 警察机关：犯罪行为分析
9. 医学：医疗保健

未来热点应用领域：
1. 网站的数据挖掘
2. 生物信息或基因的数据挖掘
3. 文本挖掘
4. 多媒体挖掘