Hadoop大数据分析平台培训傅一航.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/12/5,#,内蒙古移动,Hadoop,大数据分析平台,讲师：傅一航,QQ:2509626286,2015,年,10,月,纽约证交所每天产生的交易数据达,1TB,。,一,个网站请求数为,1kw/,天，每天日志大小为,450Byte/,行*,1kw=4.2G,，存储周期为,2,年，则需要,4.2G*2*365=3TB,空间。,FaceBook,网站每周会传约,10,亿张,60TB,照片，每年需要超过,1PB,的空间来存储,4000,亿张照片。,一个城市有上万个道路监控探头，平均每个探头每,3,秒拍一张照片（大约,2M,），并产生车牌、颜色、速度、方向等信息，这样每天将产生高达,60TB,的数据。,谷,歌每天处理超过,20PB,的数据。,日内瓦的大型强子对撞机每个产生,15PB,数据。,数据摩尔定律：,大约每,18,个,月数据规模还要翻倍。,数据大爆炸,TB,PB,GB,MB,ZB,EB,1TB=10,3,GB,1PB=10,6,GB=,250,字节,1EB,=10,9,GB=,260,字节,1ZB,=10,12,GB=,270,字节,数据大爆炸,YB,如何存储？,如何处理？,大容量,Volume,多样性,Variety,价值,Value,速度,Velocity,大数据的,4V,特征,大数据带来的问题,Hadoop,！,横空出世！,Hadoop,生态系统,PaaS,平台即服务,（如,Google App Engine,）,SaaS,软件即服务,（如,Google Docs,）,IaaS,基础设施即服务,（如,Amazon EC2/S3,）,云计算的三大服务模式,Iaas,虚拟化资源池,硬件,硬件,虚拟机,开发环境,测试环境,执行环境,PaaS,动态调度,SaaS,应用,系统,应用,系统,自动部署,Hadoop,与云计算,Hadoop,Hadoop,是一个软件框架，为大数据储存和处理提供一整套成熟可靠的解决方案,大数据,Hadoop,与云计算,管理,云计算,Hadoop,是,云,计算的技术实现（,PaaS,）,Hadoop,成为大数据平台的事实标准,！,HDFS,（分布式文件系统,HDFS,（分布式文件系统）,Sqoop,（数据交换）,Flume,（日志收集）,HBase,（数据库）,Pig,（数据流处理）,Hive,（数据仓库）,Mahout,（算法库）,Chukwa,（数据收集）,数据采集,数据分析,数据存储,Hadoop,的框架,Common/Avro,（系统配置、,RPC,、序列化机制、日志操作）,Zookeeper,（分布式协同服务框架）,数据块存储，分布存储在大量节点上,逻辑上支持,GB/TB,级的单个文件,相对低时延，更关注数据的高吞吐率,Write-oneread-many,一次写多次读,简化文件一致性模型,可以部署在廉价的硬件之上,错误检测和快速自动地恢复是,HDFS,的核心目标,高并发访问能力,强大的容错能力,HDFS,的设计目标,支持超大文件及大规模数据存储能力,新节点可不断增加，容量可不断提升,高扩展性,HDFS,不适合的场景：,1,、低延时数据访问。,2,、大量的小文件。,3,、多用户写入,/,修改文件。,元数据,数据,Secomdary,NameNode,D,ataNode,D,ataNode,D,ataNode,数据,数据,D,ataNode,元数据备份,HDFS,（,Hadoop Distributed File System基本,模型：,主从模式,Master/Slaves/Client,HDFS,物理部署,元数据（,Meta-data,）：,文件与数据块的索引,块与,DN,节点的映射,元数据大小,元数据在内存块中约占,150,字节，相当于,16GB,的内存，可以放,480,万个文件。,元数据位置,保存在,dfs.name.dir,指定的位置,VERSION,：当前,HDFS,的版本信息,FsImage,：系统的空间镜像文件,Edit,：,EditLog,编辑日志,Fstime,：上一次检查的时间,Previous.checkpoint,：上次检查的内容,NameNode/,元数据,存储目录,dfs.data.dir,心跳周期,(s),dfs.heartbeat.interval,DataNode,数据节点,NN,DN,握手：版本检查，名称节点检查,注册：节点检查，身份验证,数据块上报：块与,DN,的映射关系,周期心跳：资源,/,负责,/,接受命令,数据校验和机制,（,Checksum,）,SNN,充当,NN,的副本，周期性地保存、合并,NN,中的元数据。并以记录时间戳。,DN,同时保存块数据和校验和数据，校验和位数：,io.bytes.per.checksum,如果读取数据时发现校验和错误，则会重新从另一个副本读取，并且,NN,会指示重新复制并恢复副本。,Checkpoint,（元数据合并）,数据一致性设计,数据节点,DN,DN,有一个,DataBlockScanner,线程，负责周期性地验证本节点的所有数据块的完整性（默认三周扫描一次）。,如果发现数据校验错误，则上报,NN,结点，由,NN,结点指示数据删除和复制操作。,DN,周期性,(,默认,3s),地向,NN,发送心跳包。如果检测到,DN,失效，那么,NN,将会重新创建数据副本，复制到其它可用的节点上。,当失效的,DN,重启后，原数据块会因为版本不对而被清除。,HDFS,支持租约机制，防止多个进程向同一个文件写数据,NN,只会向一个客户端发放租约，确保一个文件只有一个写用户,在写文件前，客户端需要向,NN,申请租约，租约到期前需要更新租约,NN,启动时会进入安全模式（不允许任何文件操作）,NN,会读取,FsImage,和,EditLog,，合并成新的,FsImage,动态创建块与节点的映射关系：等待,DN,结点上报块与节点的映射关系，直到所有块映射满足指定比例,(,默认,99.9%),才退出安全模式,安全模式,租约机制,心跳检测,HearBeats,可靠性设计,HDFS,文件读取过程,D,ataNode,D,ataNode,D,ataNode,D,ataNode,2,：,get block locations,HDFS,client,Distnbuted,FileSysten,FSData,Lnputstream,1,：,open,3:read,6:close,Client JVM,Client node,4,：,read,5,：,read,HDFS,文件写入过程,D,ataNode,D,ataNode,D,ataNode,D,ataNode,2,：,get block locations,HDFS,client,Distnbuted,FileSysten,FSData,Qutputstream,7,：,complete,1,：,create,3:write,6:close,Client JVM,Client node,4,：,write packet,5,：,ack packet,Pipetine of,datanodes,4,4,5,5,写入数据时允许某个,DN,失败，但总的成功节点数要不小于,dfs.replication.min,数。,第二层：简化的编程模型（数据处理引擎）,MapTask,：负责把任务分解给多个节点分别处理,ReduceTask,：负责把多个处理结果进行整合,第三层：集中的任务调度与分布任务执行（运行时环境）,JobTracker,：负责资源管理、作业控制,TaskTracker,：任务执行,第一层：分而治之的思想（分布计算）,将问题抽象成,Map,和,Reduce,两个阶段,计算分布而不仅是数据分布,MapReduce,思想三层次,MapR,主控节点,MR,工作在主从模式下，程序,以,Job,形式提交给集群,运行,JobTracker,：负责任务调度和集群,资源管理,TaskTracker,：,负责执行,JT,分配的,计算,任。,部署,TT,和,DN,必须在同一个节点,JT,和,NN,可以在不同主控节点上,MapReduce,部署,HDFS,主控,从,节,点,DataNode,从,节,点,DataNode,NameNode,JobTracker,TaskTracker,TaskTracker,HBase,是,Google BitTable,的一个开源实现。,每张表的记录数可以多达几十亿行，上百万列,提供对结构化、半结构、非结构化大数据处理,提供实时读写和随机访问能力，可做实时数据处理，时延在毫秒级。但不适合更新和删除。,这些公司都在使用,HBase,。,Facebook,、,Intel,、,Twitter,、,Adobe,、,Yahoo,（,960,个节点）,阿里巴巴、百度、淘宝（,10,个集群，每天增量,5TB,）,基于,HDFS,上的分布式的非结构化的,NoSQL,数据库。,2006,年底由,PowerSet,的,Chad Walters,和,Jim Kellerman,发起,什么是,HBase,列式存储,读写的强一致性,表数据是稀疏的多维映射表,良好的线性扩展性,提供海量数据存储能力,故障自动检测和恢复,探索性分析,HBase,表特征HBase,在,Hadoop,中的位置,MapRedace(Job Scheduling/Execution System),HBase,（,Column DB,）,Pig(Data Flow),HDFS,（,Hadoop Distrributed File System,）,Zookeeper,（,Coordination,）,Hive(SQL),Sqoop,ETL Tools,BI Reporting,RDBMS,Avro(Serialization),He Hadoop Ecosystem,Hive,就很好地解决了这一技术问题。,Hive,是基于,Hadoop,的一个数据仓库工具,提供类,SQL,语句查询,HDFS,文件，可以将,SQL,语句转换为,MapReduce,任务进行运行。,提供数据仓库所要的数据抽取转换、存储管理和查询分析功能。,问题：,传统的,RMDBS,和,SQL,，如何转移到,Hadoop,上来？,HBase,主要是数据存储，没有提供可用的分析、统计能力。,MR,：学习成本高，需要掌握,Hadoop,原理，,JAVA,语言，,MapReduce,编程。,Hive,数据仓库介绍,Thank You!,讲师：傅一航,邮箱：,fuyihang8,