数据可视化技术分析(成品).pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,数据可视化技术分析,目录,01,研究背景及意义,02,数据可视化的主要方法,03,数据挖掘的可视化,04,大数据环境下数据可视化,05,数据可视化实现技术,06,问题与挑战,01,研究背景及意义,课题背景及意义,世界已经迈入大数据时代,全世界每天产生 2.5EB的数据。,由于呈指数增长的数据量,，人类视觉系统不足以满足人类以数据本身的形式来工作的要求，因此迫切需要提供可视化的工具。,所谓数据可视化，是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，,不再,局限于通过关系数据表来观察和分析数据信息，,而是,以更直观的方法看到数据及其结构关系。,数据可视化技术的基本思想是将每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将,数据,各个属性值以多维,的,形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。,数据可视化的定义,实例：涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术,广义：指一切能够把抽象、枯燥或难以理解的内容，包括看似毫无意义的数据、信息、知识等等以一种容易理解的视觉方式展示出来的技术；,狭义：利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术,过程：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程,数据可视化发展历程,可视化思想的起源,(15,世纪,17,世纪,),数据可视化的孕育时期,(18,世纪,),数据图形的出现,(19,世纪前半叶,),第一个黄金时期,(19,世纪中、末期,),低潮期,(20,世纪前期,),新的黄金时期,(20,世纪中末期至今,),数据可视化早期探索时期,没有实质性进展,依附计算机技术的发展,焕发新的生命,数据可视化初步发展,数据统计得到重视,图形图表广泛应用,数据空间,由,n,维属性和,m,个元素组成的数据集所构成的多维信息空间,数据开发,利用一定的算法和工具对数据进行定量的推演和计算,数据分析,指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据,将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析,。,基本思想,数据可视化的几个基本概念,一幅图胜过千言万语,.,人类从外界获得的信息约有,80%,以上来自于视觉系统,当大数据以直观的可视化的图形形式展示在分析者面前时,分析者往往能够一眼洞悉数据背后隐藏的信息并转化知识以及智慧,如图 所示是,互联网星际图,，将,196,个国家的,35,万个网站数据整合起来,并根据,200,多万个网站链接将这些星球通过关系链联系起来,每一个星球的大小根据其网站流量来决定,而星球之间的距离远近则根据链接出现的频率、强度和用户跳转时创建的链接,.,我们可以立即看出,Facebook,以及,Google,是流量最大的的网站。,研究背景及意义,02,数据可视化的,主要方法,空间三维图形,01,通过图形的密度颜色分布，大致能够了解数据的分布，数据之间的相似性和数据之间的关系,颜色图,02,分为彩色图和灰度图。彩色图的每一种颜色，对应着不用的属性维，灰度图可以利用颜色的深浅来标记数据量的属性值的大小，颜色越深数值越大。,数学的方法03,利用数学中统计的方法，先对数据关系进行分析，得到数据的大体分布信息，然后再结合其他可视化方法来进行细节数据分析。或者利用数学统计方法对数据中的关系进行映射，映射成为图形图像关系来帮助分析。,亮度,04,对于特定的区域，用不同的亮度来辅助人眼对视点的观察。,人类的认知系统可以识别空间三维物体，对于抽象的无线识别很困难。目前对于构成可视化的方法中主要的方法，有以下几个方面：,Scatter plot,是显示多个数据维中任意两个数据维之间的,依赖关系的矩阵图，分别把多维数据中的每一个维数对称地,标注在横轴和纵轴上，把它们在数据集中每一对出现的频度,作为关系依赖的评价，这样每两维的关系被显示在这个平面,网格图中,(,图,3),。在,Scatter plot,的,matrix n,维矩阵中，,scatterplots,会产生,n*(n-1)/2,对维之间的关系。,目前主要的多维数据可视化技术,Scatterplot Matrix,(,散点图矩阵,),1.,星型图：每个星型标记的构造方法如下：任选空间的某一点作为一个,星型标记的中心点，由中心点作出,n,条线段来代表,n,个数据维，这,n,个线段把平面平均分成,n,份。一般地，每一个线段长度代表一个数据维的值的大小。把一个星型标记线段的终点全部用直线连接起来，就构成了一个星型图,(,图,4),。每一个星型图都代表数据库中一条记录，这样一组数据就用一组星型来代表。,2.,雷达图：类似于星型图的构造方法。,3.,Andrews Gurves：对于多维数据的数据点 x=(x1,x2,*,*,*,*,xn)，被周期函数 Fx(t)=X1/sqrt(2)+X2sin(t)+X3cot+X4Sin(2t)+cos(2t)作用于一个多维数据点或者（一个多维）数据集合，被显示成为一组曲线，曲线的分布情况反映了数据的性质。,4.,shapecoding 技术：主要思想是每一个数据点位于一个已经分解成 n 个细胞表格的长方形中，而且每一个细胞表格的颜色由每一维来控制。,5,.,Grand-tour 技术：从不同的视角看待多维数据，投影数据在可能的 d-planes 通过泛化的旋转,。,目前主要的多维数据可视化技术,几何图技术,平行坐标技术是最早提出的以二维形式表示 n 维空间的数据可视化技术之一。它的基本思想是将 n 维数据空间用n 条等距离的平行轴映射到二维平面上，每条轴线都对应于一个属性维。坐标轴的取值范围，从对应数据维属性的最小值到最大值均匀分布（名词性属性依次在数据维上标出即可），这样数据库中的每一条数据记录都可以转换成为图形的形式，都可以用一条折线表示在 n 条平行轴上,目前主要的多维数据可视化技术,平行坐标技术,03,数据挖掘可视化,数据挖掘的可视化,在数据挖掘算法所生成的大量的模式中，最终只有少量的信息能够以文字形式解释和评估。,因而可视化技术作为服务于计算机与用户之间的沟通纽带，为用户提供关于数据和知识的直观信息。,传统的数据挖掘过程不可见、不可观，用户无法干预挖掘过程，对用户来说好像一个黑箱子。使用适当的可视化技术，帮助用户更紧密地与整个过程结合，解决挖掘系统中的存在的一些问题。,传统的数据挖掘过程如图1所示，是以机器为中心的；而新的吸纳了可视化技术的数据挖掘过程是以人为中心的，如图2所示。以人为中心的数据挖掘过程，将数据挖掘与可视化技术完美结合，提高了数据挖掘过程的灵活性、有效性、与用户的交互性。,数据可视化,对于只有两个或三个属性的数据，可采用平面或立体的表现形式；,多个属性的数据集，要用到离散点矩阵，矩阵的每一单元为数据基于某两维的表示。,数据挖掘的过程的各个环节用可视化的方式表现出来，用户可从中直观的看到内容。易于理解并有助于知识的运用。,展示，让模型输出可视化，模型用一种有意义的方式表示；,交互，允许用户操纵模型，改变模型输入以观察模型输出的变化。,数据挖掘的可视化分类,数据挖掘过程可视化,数据挖掘模型可视化,如图3(a)所示,作为观察”数据山“的第一步，应用于数据预处理阶段。以图形方式提供一个数据可视印象，给用户一个大体直观感受，帮助用户确定从何处,着手挖掘,。,如图3(b)所示,作为直接执行数据挖掘的一种方法，应用于数据挖掘实施阶段，允许用户借助人脑的探索分析功能寻找发现模式。当人脑可以对显示的图形做出判断时，这种方式较使用计算机的自动数据挖掘技术有效的多。,如图3(c)所示,作为挖掘结果和预测模型的一种方式，应用于数据挖掘的最后阶段，使最终用户能够更好地理解挖掘出的结果模式。,04,大数据环境下的,数据可视化,公司财务报表、销售统计,经济趋向、股票趋势,数据挖掘,电子地图,核磁共振、,CT,扫描,地质勘探、油气勘探,天气预报,人口普查等等,大数据可视化的广泛应用,大数据可视化分析是指大数据自动分析挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。,大数据可视化分析,大数据可视化分析,我们熟悉的那些饼图、直方图、散点图、柱状图,等,。,现代的数据可视化：,面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，数据可视化面临处理的状况会复杂得多。,传统的数据可视化：,上图是经典的信息可视化参考模型,大数据分析将掘取信息和洞悉知识作为目标，根据信息的特征把信息可视化技术分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化。,随着大数据的兴起于发展，互联网、社交网络、地理信息系统、企业商业智能、社会公共服务等主流应用领域逐渐催生了几类特征鲜明的信息类型，包括文本、网络或图、时空、多维数据等，这些与大数据密切相关的信息类型，将成为大数据可视化的主要研究领域。,大数据可视化分析,大数据可视化分析方法,4.,可视化分析算法,用户驱动的数据简化、可扩展性与多级层次、异构数据融合、交互查询中的数据概要与分流、表示证据和不确定性、时变特征分析、设计与工程开发等。,5.,用户界面与交互设计,大数据的可视化算法不仅要考虑数据规模，而且要考虑视觉感知的高效法,，,需要引人创新的视觉表现方法和用户交互手段。,以社交媒体数据为例,新兴网络媒,体,，,集以,下,特,性,于一,身,：,文本（博客）,社交网络,新闻媒体,基于用户关,系,的,信息,分,享,、,传播,、,获取,平,台,微博数据研,究,：,数据,分,析,领,域热,点,话题,显式内容,文本：个人心情；文章；新闻报道等,图像、视频,隐性内容,人际关系,舆情,突发事件,信息产生、传播和消亡,可以通过这些社交数据得到些什么呢？,Twitter,热词的,Wordle,统计图表,20,1,1,年,T,wit,t,e,r,上关于拉登死讯消息的消息数目的折线图。可以看出每个微博事件对消息传播的影响。,使用,T,w,itt,er,发微博（蓝色点）和使,用,F,l,i,c,kr,发照片（橙色点）的美国用户的地理分布。白色点表示两者均使用的用户。可以看出，西部人偏爱发照片，东部人偏爱发微博，白色 点大部分是人口密集的大城市。,通过社交媒体的数据获取的数据还有很多很多,.,05,数据,可视化,实现技术,基本工具（拖拽式）进阶工具（编程式）,介绍几款,数据,可视化,实现技术,GeoFlow,数据源：,Excel,数据,project,R,项目,https:/www.r-project.org/,Moojnn,实例,GeoFlow,实例,微软,2013,年发布的,3D,可视化工具,运行平台：加载项形式运行在,Excel,上,版本：支持版本,Excel 2013,或,Office Professional Plus 2013,功能：用户创建、浏览应用到数字地图上的时间敏感型数据并与之交互，最多数据条：,100,万,可视化类型：立柱型、类似热图的二维斑块、气泡图,OpenStreetMap,Google Chart API工具集中取消了静态图片功能，目前只提供动态图表工具。能够在所有支持SVGCanvas和VML的浏览器中使用，但是Google Chart的一个大问题是：图表在客户端生成，这意味着那些不支持JavaScript的设备将无法使用，,此外也无法离线使用或者将结果另存其他格式，之前的静态图片就不存在这个问题。尽管存在上述问题，不可否认的是Google Chart API的功能异常丰富，如果没有特别的定制化需要，或者对Google视觉风格的抵触，那么你大可以从Google Chart开始。,Google Chart API,ZingChart是一个强大的库，为用户提供了快速创造漂亮的图表、操作面板和信息图表的可能性。你可以在上百种图表类型中自由选择，你的设计和个性化要求不会受到任何限制。你也可以使你的用户通过交互式图表特性参与到你的作品之中。,ZingChart,作为用来分析大数据集的统计组件包，是一个非常复杂的工具，需要较长的学习实践，学习曲线也是本文所介绍工具中最陡峭的。但是拥有强大的社区和组件库，而且还在不断成长。当你能驾驭的时候，一切付出都是,物有所值,的。,Leaflet是为移动端友好型交互地图所做的开源JavaScript库，其中包含了大部分在线地图开发人员都需要的所有特征。Leaflet被设计为简单易用、性能优良的工具。归功于HTML5和CSS3，它得以支持所有主流电脑和移动平台。如果你还想扩展这个app，有大量可供选择的插件能安装,Leaflet,06,问题与挑战,1,问题与挑战,数据集成与接口的问题,大数据可视化所依赖的基础是数据，而大数据时代数据的来源众多。且对来自于异构环境，即使获得数据源，得到的数据的完整性、一致性、准确性都难以保证。,数据质量的不确定问题将直接影响可视化分析的科学性和准确性，大数据可视化的前提是建立在集成的数据接口，并且与可视化分析系统形成松耦合的接口关系，以供各种可视化算法方便的调用，使得可视化分析系统的研发者和使用者不需要关系数据接口背后的复杂机理。,2,数据量的无限积累与数据的持续演化，导致普通计算机的处理能力难以达到理想的范围，同时主流显示设备的像素数也难以跟上大数据增长的脚步，造成像素的总和还不如要可视化的数据多而且，大量在较小的数据规模下可行的可视化技术在面临极端大规模数据时讲无能为力。,数据可视化分析系统应该具有较好的可扩展性，即感知扩展性和交互扩展性只取决于可视化的精度而不是依赖数据规模的大小，以支持实时的可视化与交互操作。因此，未来如何面对超高维数据的降维以降低数据规模，如何结合大规模并行处理方法与超级计算机，如何将目前有价值的可视化算法和人机交互技术提升和拓展到大数据领域，将是未来严峻的挑战。,问题与挑战,可扩展性问题,1,问题与挑战,可视化与数据挖掘技术之间的松散关系问题,目前，可视化技术运用于数据玩具，一般是作为表达工具，解决负责结构的数据和显示分析结构，而分析方法本身并不包括可视化。现有的项目插入策略，知识简单 将分析过程和图形可视化交错在一起，这突出了两者的欠缺和限制。,一个更强的可视化数据挖掘策略依赖于将可视化与分析过程紧密结合起来形成一个统一强大的可视化数据挖掘工具。目前，使人类可视地参与到分析过程中以实现决策支持依然是一个主要的挑战：以基于可视化的人类决策代替一个分析过程的某以数据步骤;当决策不再能够自动生成时，以可视化支持人类来及处理决策。,THANKS,