第2章-Hadoop初体验.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第2章 Hadoop初体验,目,录,1,Hadoop概述,Hadoop发展简史,Hadoop版本,Hadoop版本,2,3,4,2.1.1 Hadoop概述,Hadoop是Apache软件基金会旗下用Java语言开发的一个开源分布式计算平台，实现在大量计算机组成的集群中对海量数据进行分布式计算，是一种适合大数据的分布式存储和计算的平台。借助于Hadoop，程序员可以轻松地编写分布式并行程序，将其运行于廉价计算机集群上，完成海量数据的存储与计算。,2.1.2 Hadoop发展简史,1、Hadoop名字的来由,Hadoop这个名字并不是一个缩写，它是一个虚构的名字。关于Hadoop这个名字，该项目的创建者Doug Cutting的解释为：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。”,更有趣的是，Hadoop后续的很多子项目和模块都是以这种风格方式进行命名，比如Hive、Pig等。,2、Hadoop的,诞生及历程,Hadoop是Apache项目Lucene的创始人Doug Cutting创建的，Doug Cutting毕业于美国斯坦福大学。,2008年1月，Hadoop发展成为Apache顶级项目，2008年4月，Hadoop就成为最快的TB级数据排序系统。通过一个900节点的集群，在209s内完成了对1TB数据的排序，打破了世界纪录，这标志着Hadoop取得成,功。,3、Hadoop优势,Hadoop在大数据处理中应用广泛，主要具备以下几个优势：,（1）高可靠性。,Hadoop存储采用冗余数据副本存储方式，即使某一个数据副本发生故障，其他数据副本也同样可以保证正常对外提供服务。,（2）高扩展性。,Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群规模可以方便地扩展到数以千计的计算机节点上。,3、Hadoop优势,（3）高效性。,Hadoop以并行的方式工作，通过大规模的并行处理来加快数据的处理速度，并保证各个节点的动态平衡，因此保证了集群的整体处理速度。,（4）高容错性。,Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。,（5）低成本。,Hadoop可以采用廉价的计算机集群，成本较低，普通用户也可以使用自己的PC机搭建Hadoop的运行环境。,2.1.3 Hadoop版本,一、Apache Hadoop版本,Apache Hadoop版本分为三代，第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0，第三代Hadoop称为Hadoop 3.0。第二代Hadoop完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN（Yet Another Resource Negotiator）两个系统。第三代Hadoop3.0于2017年12月发布正式版本，包括HDFS可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等特性。,二、Hadoop商业发行版,Hadoop的发行版除了社区的Apache Hadoop外，Cloudera，Hortonworks，MapR，IBM，华为等都提供了自己的商业版本。,2.1.4 Hadoop生态圈,1、HDFS（分布式文件系统）,Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Hadoop项目的两大核心之一，是针对谷歌文件系统（Google File System，简称GFS）的开源实现。HDFS是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行在廉价的商用服务器上。它所具有的高容错性、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了很多便利。对于超大数据集的应用程序而言，选择HDFS作为底层数据存储是较好的选择。,2、Mapreduce（分布式并行计算框架）,MapReduce是Hadoop项目的两大核心之一，是针对谷歌MapReduce的开源实现。MapReduce是一种编程模型（也称为计算模型），用于大规模数据集（大于1TB）的并行运算。它将复杂的运行于大规模集群上的并行计算过程高度地抽象到了两个函数-Map（映射）和Reduce（归约），并且允许用户在无需了解分布式系统底层细节的情况下开发并行应用程序，并将其运行于廉价计算机集群上，完成海量数据的处理。MapReduce的核心思想是“分而治之”,.,3、YARN（集群资源管理器）,4、Hbase（列式NoSql数据库）,Hbase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据，一般采用HDFS作为其底层数据存储。Hbase提供对数据的随机实时读/写访问，可以直接或通过HBase存储HDFS数据，使用HBase在HDFS读取随机访问数据。Hbase和传统关系数据库存在的一个重要的区别，传统关系数据库是基于行的存储，而Hbase是基于列的存储。Hbase具有良好的横向扩展能力，可以通过不断增加廉价的商用服务器来增加其存储能力。,5、Hive（数据仓库）,Hive是基于Hadoop的一个数据仓库工具，并提供简单的类SQL的HiveQL 语言实现查询功能，可以将类SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，减少开发人员的学习成本，主要适合数据仓库的统计分析。,6、Pig,Pig是一种数据流语言和运行环境，用于检索非常大的数据集。Pig为大型数据集的处理提供了一个更高层次的抽象。与MapReduce相比，Pig提供了更丰富的数据结构，还提供了一套更强大的数据变换操作,。Pig Latin语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程的接口。,7、Mahout,Mahout 是 Apache软件基金会旗下的一个开源项目，是Hadoop系统基于MapReduce开发的数据挖掘/机器学习库，提供一些可扩展的数据挖掘/机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout实现了大部分常用的数据挖掘算法，包括聚类、分类、推荐、频繁子项挖掘等。此外，通过使用 Apache Hadoop库，Mahout还可以有效地扩展到云中。,8、Zookeeper,ZooKeeper是一个开源的分布式协调服务，他为分布式应用提供了高效且可靠的分布式协调服务，提供了诸如统一命名空间服务，配置服务和分布式锁等分布式基础服务。ZooKeeper是Google的Chubby开源的实现，它是集群的管理者，监视着集群中各个节点的状态。根据节点提交的反馈进行下一步合理操作，最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper的目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。,9、Sqoop,Sqoop是Apache 旗下一款适用于Hadoop和关系型数据库服务器之间传送数据的开源工具。通过Sqoop，可以方便地将数据从MySQL，Oracle等关系数据库中导入到Hadoop的 HDFS、Hive、HBase 等数据存储系统，也可以将数据从Hadoop的文件系统中导出到mysql等关系数据库中，使得Hadoop和传统关系数据库之间的数据迁移变得非常方便。,10、Flume,Flume是Cloudera公司提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统）等数据源上收集数据的能力。,11、Oozie,Apache Oozie是运行在Hadoop平台上的一种工作流调度引擎，它可以用来调度和管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（Directed Acyclic Graph有向无环图）的方式串接起来。,12、Tez,Tez是Apache基于Hadoop Yarn之上的支持DAG（Directed Acyclic Graph有向无环图）作业的开源计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的临时结果文件存储。同时合理组合其子过程，减少任务的运行时间。,13、Ambari,Apache Ambari是一种基于Web的Hadoop管理工具，可以快捷地监控、部署和管理Apache Hadoop集群。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。,14、Spark（内存计算框架）,Apache Spark是一个基于内存计算的大数据并行计算框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark是基于MapReduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Mapreduce的算法。Spark比较适合于迭代的实时批数据处理。,谢 谢,