第3章探索数据.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,数据挖掘,:,探索数据,第,3,章 探索数据,什么是数据探索,?,数据探索的主要目的,有助于选择合适的,数据预处理和数据分析,技术,可以通过对数据进行,直观检查,来发现模式,数据探索中使用的某些技术（如可视化）可以用于,理解和解释,数据挖掘结果。,对数据进行初步研究，以便更好地理解它的特殊性质,.,鸢尾花（,Iris,）,本章用到的数据集鸢尾花,.,150,种鸢尾花的信息，每,50,种取自三个鸢尾花种之一,三种花类型,(classes):,Setosa(,带刺的,),Virginica,（杂色的）,Versicolour,（处女花）,四个属性描述,萼片长度和宽度（厘米）,花瓣长度和宽度（厘米）,汇总统计（,Summary Statistics,）,汇总统计是量化的（如均值和标准差），用,单个数或数的小集合,捕获可能很大的值集的各种特性,例子：家庭平均收入,大部分汇总统计只需要简单的计算就可得到结果,例,3.2,从,1,到,10,的整数的百分位数,x,0%,x,10%,.,x,90%,x,100%,依次为：,1.0,1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5,10.0,。按照惯例，,min(,x,)=,x,0%,，而,max(,x,)=,x,100%,。,位置度量,:,均值和中位数（,Mean and Median,）,对于连续数据,，两个使用最广泛的汇总统计是均值（,mean,）和中位数（,median,），它们是值集位置的度量。,均值,和,中位数,定义,位置度量,:,均值和中位数（,Mean and Median,）,均值对于离群值很敏感；对于包含离群值的数据，中位数又一次提供值集中间的一个更稳健的估计,。,截断均值（,trimmed mean,）：指定,0,和,100,之间的百分位数,p,，丢弃高端和低端,(,p,/2)%,的数据，然后用常规的方法计算均值，所得的结果即是截断均值。,位置度量,:,均值和中位数（,Mean and Median,）,中位数是,p,=100%,时的截断均值，而标准均值是对应于,p,=0%,的截断均值。,例,3.3,考虑值集,1,2,3,4,5,90,。这些值的均值是,17.5,，而中位数是,3.5,，,p,=40%,时的截断均值也是,3.5,。,散布度量,:,极差和方差（,Range and Variance,）,连续数据的另一组常用的汇总统计是值集的弥散或散布度量。这种度量表明属性值是否散布很宽，或者是否相对集中在单个点（如均值）附近。,最简单的散布度量是极差（,range,）。,x,的极差定义为：给定一个属性,x,，它具有,m,个值,x,1,.,xm,range(,x,)=max(,x,)-min(,x,)=,x,(,m,)-,x,(1,),散布度量,:,极差和方差（,Range and Variance,）,极差：最大值和最小值的差,方差：,均值和方差对离群值很敏感，这样常常需要使用值集散布更稳健的估计,.,绝对平均偏差、中位数绝对偏差、四分位数极差,多元汇总统计,包含多个属性的数据（多元数据）的位置度量可以通过分别计算每个属性的,均值或中位数,得到。,对于具有连续变量的数据，数据的散布更多地用协方差矩阵（,covariance matrix,）,S,表示,两个属性的协方差是两个属性一起变化并依赖于变量大小的度量。,可视化,动机,1,：是人们能够快速吸取大量可视化信息，并发现其中的模式,动机,2,：解释模式,可视化,数据可视化是指以图形或表格的形式显示信息,.,成功的可视化需要将数据转化成可视的形式，使得能够借此分析或报告数据的特征和属性之间的关系。,可视化的,目标,是可视化信息的人工解释和信息的意境模型的形成,例子,:,海洋表面温度,以摄氏度为单位显示,1982,年,7,月的海洋表面温度,(SST),这张图汇总大约,250000,格数据,容易看出，海洋温度在赤道最高，而在两极最低,。,表示,表示,：将数据,映射,到图形元素（如,:,用点表示对象）,可视化是将信息映射成可视形式，即将信息中的,对象、属性和联系,映射成可视的对象、属性和联系。就是说，数据对象、它们的属性，以及数据对象之间的联系要转换成诸如点、线、形状和颜色等图形元素。,选择,选择,：删除或不突出某些对象和属性（如：,PCA,）,当数据点的个数很多（例如超过数百个）或者数据的极差很大时，显示每个对象的足够信息是困难的，有些数据点可能遮掩其他数据点，或者数据对象可能占据不了足够多的像素来清楚地显示其特征。,安排,重新安排表中数据的重要性,例,3.5,：左图为具有,6,个二元属性的,9,个数据对象，对象和属性之间看起来没有明显的联系，但经重新安排后，右图显示出了数据的特点,例,3.6,考虑图,3-3a,，该图显示一个图的可视化如果将连通子图分开，如图,3-3b,所示，结点和图之间的联系就变得更加简单易懂,可视化技术,:,直方图（,Histograms,）,直方图,通常显示单个变量值的分布,通过将可能的值分散到箱中，并显示落入每个箱中的对象数,.,高度表示对象数,可视化技术,:,直方图（,Histograms,）,例子,:,花瓣宽度,(10,和,20,个箱,),二维直方图,每个属性划分成区间，而两个区间集定义值的二维长方体,例子,:,花瓣宽度和花瓣长度,从这个二维直方图，我们能看出什么特点,?,可视化技术,:,盒状图（,Box Plots,）,盒状图,:,它是另一种显示一维数值属性分布的方法,outlier,10,th,percentile,25,th,percentile,75,th,percentile,50,th,percentile,90,th,percentile,盒状图的例子,盒状图相对紧凑，因此可以将许多盒状图放在一个图中。,饼图,饼图（,pie chart,）类似于直方图，但通常用于具有相对较少的值的分类属性。饼图使用圆的相对面积显示不同值的相对频率，而不是像直方图那样使用条形的面积或高度。,经验累计分布函数和百分位数图,一个累计分布函数（,cumulative distribution function,，,CDF,）显示点小于该值的概率。,可视化技术,:,散布图（,Scatter Plots,）,散布图,二维散布图，使用数据对象两个属性的值作为,x,和,y,坐标值，每个数据对象都都作为平面上的一个点绘制,一般附加的属性可用如大小、颜色、形状等来表示,散布图矩阵可同时考察许多散布图,散布图矩阵例子：鸢尾花,可视化技术,:,等高线图（,Contour Plots,）,等高线图,对于某些三维数据，两个属性指定平面上的位置，而第三个属性具有连续值，如温度或海拔高度。,对于这样的数据，一种有用的可视化工具是等高线图,Celsius,可视化技术,:,矩阵（,Matrix Plots,）,矩阵,主要用于数据矩阵可视化，将数据矩阵的每个元素与图像中的一个像素相关联,这使得容易检查一个类的所有对象是否在某些属性上具有相似的属性值。,如果不同的属性具有不同的值域，则可以对属性标准化，使其均值为,0,，标准差为,1,鸢尾花数据矩阵的可视化,鸢尾花相关矩阵的可视化,可视化技术,:,平行坐标系,平行坐标系,每个属性一个坐标轴,与传统的坐标轴不同，平行坐标系不同的坐标轴平行，而不是正交的。对象用线而不是用点来表示。,当对象过多时会产生混乱，但，对象趋于分成少数几组时，而且对象数少时，结果有可能揭示有趣的模式。,平行坐标系显示结果可能依赖于坐标轴的序,鸢尾花的平行坐标系,其他可视化技术,星形坐标（,Star Plots,）,与平行坐标系相似，但坐标轴从一中心点向四周发散,所有的属性值都映射到,0,，,1,区间,每个对象映射成一个多边形,Chernoff,脸（,Chernoff Faces,）,Star Plots for Iris Data,Setosa,Versicolour,Virginica,Chernoff Faces for Iris Data,Setosa,Versicolour,Virginica,OLAP,和多维数据分析,联机分析处理,On-Line Analytical Processing(OLAP),由关系数据库之父,E.F.Codd,提出,.,OLAP,一般用多维数组表示数据,如何将数据转化成多维数组？,属性值需要离散化,目标值可以是计数或连续值等,例子,:,鸢尾花多维数组,离散花瓣长度、宽度为低、中、高,我们得到下面的表,注意计数属性,例子,:,鸢尾花多维数组,例子,:,鸢尾花多维数组,二维表切片,这些表告诉我们什么,?,分析多维数据,:,数据立方体,数据的多维表示，连同所有可能的总和（聚集）称为数据立方体,转轴是指在除两个维之外的所有维上聚集。结果是一个二维交叉表，只有两个指定的维作为留下的维,分析多维数据,:,转轴,(pivoting),分析多维数据,:,切片和切块（,Slicing and Dicing,）,切片是通过对一个或多个维指定特定的值，从整个多维数组中选择一组单元,.,切块通过指定属性值区间选择单元子集,.,这等价于由整个数组定义子数组,在实践中，两个操作都可以通过在某些维上聚集来实践,分析多维数据,:,上卷和下钻（,Roll-up and Drill-down,）,属性值有一些可以组织成树或格,.,例子：日期由年、月、日组成,我们可以按月聚集（上卷）销售数据,我们可以将月销售总和分解（下钻）成日销售,这要求基本销售数据的时间粒度是按天的,