浙大数据挖掘-1-概述.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,教科书和参考书,教科书,数据挖掘：概念与技术（第二版），,Jiawei Han和Micheline Kamber,著，机械工业出版社,(2007),中文版,英文版,第一章 引言,动机：为什么需要数据挖掘？,什么是数据挖掘？,对何种数据进行数据挖掘,数据挖掘功能,数据挖掘系统的分类,数据挖掘的主要问题,为什么要数据挖掘？,数据的爆炸性增长：从,TB,到,PB,数据的收集和数据的可获得性,自动数据收集工具、数据库系统、,WEB,、计算机化的社会,丰富数据的来源,商业：,WEB,、电子商务、交易数据、股市,.,科学：遥感、生物信息学、科学模拟,社会及每个人：新闻、数码相机、,YouTube,我们被数据所淹没，但却渴望知识,“需要是发明之母”数据挖掘：海量数据的自动分析技术,数据挖掘,:,数据库中的知识挖掘,(KDD),数据挖掘,知识挖掘的核心,数据清理,数据集成,数据库,数据仓库,Knowledge,任务相关数据,选择,数据挖掘,模式评估,KDD,的步骤,从,KDD,对数据挖掘的定义中可以看到当前研究领域对数据挖掘的狭义和广义认识,数据清理,:(,这个可能要占全过程,60,的工作量,),数据集成,数据选择,数据变换,数据挖掘（选择适当的算法来找到感兴趣的模式）,模式评估,知识表示,典型数据挖掘系统的体系结构,数据仓库,数据清洗,过滤,数据库,数据库或数据仓库服务器,数据挖掘引擎,模式评估,图形用户界面,知识库,数据集成,为什么不是传统的数据分析？,海量数据,算法必须有高度的可扩展性，以有效处理,TB,级数据,高维数据,可高达数万个不同的维,数据的高度复杂性,流数据和传感数据,时间数据、序列数据、时序数据,图、社会网络、多关系数据,异构数据库和遗产数据库,空间数据、时空数据、多媒体、文本和,WEB,数据,.,新的、复杂的应用,并非所有的东西都是数据挖掘,以下不是数据挖掘系统,基于数据仓库的,OLAP,系统,机器学习系统，数据统计分析系统,信息系统,相比于上述系统，数据挖掘系统关注更广的范围，是一个多学科的融合,海量数据处理，强调的是算法的可扩展性,i.e.,随着数据量的增加，算法运行时间的增长应该是接近线性的,数据挖掘,:,多个学科的融合,数据挖掘,数据库系统,统计学,其他学科,算法,机器学习,可视化,对何种数据进行数据挖掘,关系数据库,数据仓库,事务数据库,高级数据和信息系统与高级应用,对象关系数据库,时间数据库、序列数据库和时间序列数据库,空间数据库和时间空间数据库,文本数据库和多媒体数据库,异构数据库和遗产数据库,数据流,万维网,数据仓库,数据仓库,从多个数据源收集的信息存储库,存放在一个一致的模式之下,通常驻留在单个站点,通常使用多维数据模型,通过数据立方体提供数据的多维视图,预计算和快速访问汇总数据,第三章详细讨论数据仓库技术,时间数据库和时序数据库,时间数据库和时序数据库都存放与时间有关的数据。时间数据库通常存放包含时间相关属性的时间。时间序列数据库存放随时间变化的值序列。,对时间数据库和时序数据库的数据挖掘,可以通过研究事物发生发展的过程，有助于揭示事物发展的本质规律，可以发现数据对象的演变特征或对象变化趋势。,流数据,特征：海量甚至可能无限、动态变化、以固定次序流进流出、只允许一遍或少数几遍扫描、要求快速响应时间,通常不存放在任何数据存储库中,主要应用场合,各类科学和工程数据；,e.g.,卫星监测数据,视频监视,气象或环境监控,WEB,点击流,与传统数据库技术相比，流数据在存储、查询、访问、实时性的要求等方面都有很大区别。,异构数据库和遗产,(legacy),数据库,遗产数据库是一系列的异构数据库系统的集合，包括各同种类的数据库系统，像关系数据库、网络数据库、文件系统等等。,有效利用遗产数据库的关键在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。,对于异构数据库系统，实现数据共享应当达到两点：一是实现数据库转换；二是实现数据的透明访问。,WEB SERVICE,技术的出现有利于历史数据库数据的重新利用。,万维网,(WWW),特征：信息最丰富；信息高度非结构化；缺乏预定义的模式、类型和格式,一些,WEB,挖掘的热点,权威,WEB,页面分析,自动,WEB,页面聚类和分类,WEB,社区分析,数据挖掘的主要功能,可以挖掘什么类型的模式？,一般功能,描述性的数据挖掘,预测性的数据挖掘,通常，用户并不知道在数据中能挖掘出什么东西，对此我们会在数据挖掘中应用一些常用的数据挖掘功能，挖掘出一些常用的模式，包括：,概念,/,类描述,:,特性化和区分,关联分析,分类和预测,聚类分析,孤立点分析,趋势和演变分析,概念,/,类描述,:,特性化和区分,概念描述：产生数据的特征化和比较描述（当所描述的概念所指的是一类对象时，也称为类描述）,数据特征化：目标类数据的一般特性或特征汇总。,例：对,AllElectronic,公司的“大客户”（年消费额,$1000,以上）的特征化描述：,40,50,岁，有固定职业，信誉良好，等等,数据区分：将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。,例：,挖掘频繁模式、关联和相关,频繁模式是在数据中频繁出现的模式,关联规则挖掘：,从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。,广泛的用于购物篮或事务数据分析。,例：,分类和预测,找出描述和区分数据类或概念的模型（或函数），以便能够使用模型预测类标号为未知的对象类。,比如：按气候将国家分类，按汽油消耗定额将汽车分类,导出模型的表示,:,判定树、分类规则、神经网络,可以用来预报某些未知的或丢失的数字值,例：,IF age=“=30”AND student=“no”THEN buys_computer=“no”,IF age=“40”AND credit_rating=“excellent”THEN buys_computer=“yes”,IF age=“40”AND credit_rating=“fair”THEN buys_computer=“no”,聚类分析,聚类分析：,将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。,最大化类内的相似性和最小化类间的相似性,不像分类和预测分析标号类的数据对象，聚类分析数据对象不考虑已知的标号类,例：对WEB,日志的数据进行聚类，以发现相同的用户访问模式,离群点分析,离群点分析,离群点,:,一些与数据的一般行为或模型不一致的孤立数据,通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却可以通过对罕见事件进行孤立点分析而得到结论。,应用,信用卡欺诈检测,移动电话欺诈检测,客户划分,医疗分析（异常）,演变分析,描述行为随时间变化的对象的发展规律或趋势，并对其建模。,将特征化、区分、关联、分类、聚类等技术应用于时间相关数据,一些演变分析的热点,时间序列数据分析,序列或周期模式匹配,基于相似性的数据分析,数据挖掘系统的分类,(1),数据挖掘的多学科融合的特性，决定了数据挖掘的研究将产生种类繁多的数据挖掘系统。,根据所挖掘的数据分类,关系、数据仓库、事务、流、对象关系、空间、时序、文本、多媒体、异构、遗产、,WWW,数据挖掘系统的分类,(2),根据挖掘的知识类型,特征分析,区分,关联分析,分类聚类,孤立点分析,/,演变分析,偏差分析等等,.,多种方法的集成和多层级挖掘,根据挖掘所用的技术,面向数据库的挖掘、数据仓库（,OLAP,）、机器学习、统计学、可视化等等,.,根据挖掘所用的应用,零售、通讯、银行、欺诈分析、生物数据挖掘、股市分析、文本挖掘、,WEB,挖掘等,数据挖掘的主要问题,(1),数据挖掘技术和用户交互问题,在数据库中挖掘不同类型的知识,在不同抽象层上的交互式知识挖掘,背景知识的合并,数据挖掘查询语言和特定的数据挖掘,数据挖掘结果的表示和可视化,处理噪声何不完全数据,模式评估即兴趣度问题,数据挖掘的主要问题,(2),性能问题：数据挖掘算法的有效性、可扩展性和并行处理,适用于海量数据,并行、分布和增量挖掘算法,关于数据库类型的多样性问题,关系的和复杂的数据类型的处理,为特定的数据类型构建特定的数据挖掘系统,从异构数据库和全球信息系统挖掘信息,WEB,数据挖掘,数据挖掘应用,市场分析和管理,(1),数据从那里来,?,信用卡交易,会员卡,商家的优惠卷,消费者投诉电话,公众生活方式研究,目标市场,构建一系列的“客户群模型”，这些顾客具有相同特征,:,兴趣爱好,收入水平,消费习惯,等等,确定顾客的购买模式,交叉市场分析,货物销售之间的相互联系和相关性，以及基于这种联系上的预测,数据挖掘应用,市场分析和管理,(2),顾客分析,哪类顾客购买那种商品,(,聚类分析或分类预测,),客户需求分析,确定适合不同顾客的最佳商品,预测何种因素能够吸引新顾客,提供概要信息,多维度的综合报告,统计概要信息,(,数据的集中趋势和变化,),数据挖掘应用,公司分析和风险管理,财务计划,现金流转分析和预测,交叉区域分析和时间序列分析（财务资金比率，趋势分析等等）,资源计划,总结和比较资源和花费,竞争,对竞争者和市场趋势的监控,将顾客按等级分组和基于等级的定价过程,将定价策略应用于竞争更激烈的市场中,数据挖掘应用,欺诈行为检测和异常模式的发现,方法,:,对欺骗行为进行聚类和建模，并进行孤立点分析,应用,:,卫生保健、零售业、信用卡服务、电信等,汽车保险,:,相撞事件的分析,洗钱,:,发现可疑的货币交易行为,医疗保险,职业病人,医生以及相关数据分析,不必要的或相关的测试,电信,:,电话呼叫欺骗行为,电话呼叫模型,:,呼叫目的地，持续时间，日或周呼叫次数,.,分析该模型发现与期待标准的偏差,零售产业,分析师估计有,38,的零售额下降是由于雇员的不诚实行为造成的,反恐怖主义,