HBase简介.pptx

HBase 简介目录1.HBase简介简介2.Hbase数据模型数据模型3.Hbase体系结构体系结构4.HBase提供的接口提供的接口5.HBase优化优化6.HBase用途用途HBase简介Hadoop生态系统成员名成员名用途用途Pig基于hadoo的数据流系统，Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能hive基于hadoop的数据仓库，由facebook开源，最初用于解决海量结构化日志数据统计问题，hive定义了一种类似sql的查询语言（HQL），将sql转化为MapReduce任务在hadoop上执行，通常用于离线分析sqoop是sql-to-hadoop的缩写，主要用于传统数据库和hadoop之间的数据传输。数据的导入和导出本质上市MR程序，充分利用MR的并行化和容错性AvroAvro是一个RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC更快、数据结构更紧凑。HBase基于基于HDFS是一个开源的，基于列存储模型的分布式数据库。是一个开源的，基于列存储模型的分布式数据库。HDFS分布式文件系统MapReduce实现了MapReduce编程框架ZooKeeperZookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，利用zookeeper可以避免单点故障。它提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。HBase 简介HBase是一个分布式的、多版本的、面向列的开源数据库是一个分布式的、多版本的、面向列的开源数据库利用Hadoop HDFS作为其底层存储系统，提供高可靠性、高吞吐、列存储、可伸缩、实时读写的数据库系统。利用Hadoop MapReduce来处理HBase中的海量数据利用Zookeeper作为协同服务。HBase 简介HBase中表的特点中表的特点大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列(族)的存储和权限控制，列(族)独立检索。稀疏：对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。每个cell中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；HBase中的数据都是字符串，没有类型；HBASE 特点强一致性同一行数据的读写只在同一台Region Server上进行水平伸缩Region的自动分裂以及Master的balance；只用增加Datanode机器即可增加容量；只用增加Region Server机器即可增加读写吞吐量HBASE 特点行事务同一行的列的写入是原子的；按列存储+三维有序SortedMap(RowKey，List(SortedMap(Column，List(Value，Timestamp)rowKey(ASC)+columnLabel(ASC)+Version(DESC)-valueHBASE 特点支持有限查询方式和一级索引仅支持单行事务仅支持三种查询方式（single row key、range row key、scan all rows of table）【可通过hive等实现多表关联查询】仅基于row key的索引高性能随机读写和Hadoop无缝集成Hadoop分析后的结果可直接写入HBase；存放在HBase的数据可直接通过Hadoop来进行分析。HBase与RDBMS对比HBaseRDBMS数据类型只有字符串丰富的数据类型数据操作简单的增删改查各种各样的函数，表连接存储模式基于列存储基于表格结构和行存储数据保护更新后旧版本仍然会保留替换可伸缩性轻易的进行增加节点，可扩展性高需要中间层目录1.HBase简介简介2.HBase数据模型数据模型3.Hbase体系结构体系结构4.HBase提供的接口提供的接口5.HBase优化优化6.HBase用途用途逻辑视图、物理视图12HBase以表的形式存储数据。表由行和列组成。列划分为若干个列族(row family)Row Key Time Stamp Column-family1(realtime)Column-family2(info)Column-family3CF ”price CF”url“CF”domain“taobao1233456t1111“ Key Time Stamp Column“realtime taobao123456t1 Price:111t2 Price:221t3 Price:100逻辑视图物理视图Row Key Time Stamp Column”info t1”url:.“domain:t2”url:“domain:.HBase每个列族存储为一个Store存储结构RowlengthrowKey的字符长度RowrowKey的值columnFamilyLengthcolumnFamily的长度columnFamilycolumnFamily的值columnqualifiercolumntimestamp时间戳（版本）KeytypeKey的类型(Put,Delete,DeleteColumn,DeleteFamily)Hbase是基于列存储的数据库，可简单认为每个ColumnFamily对应一张存储表，表格的RowKey、Timestamp和column确定了每条记录的唯一索引。在物理层面上，表格的数据是通过StoreFile来存储的，每个StoreFile相当于一个可序列化的Map，Map的key和value都是可解释型字符数组，如key的字符数组主要由以下信息组成(value于此类似):而多个map整合到一起，便形成一张松散的、可分布式的、多维的、可序列话的BigTable HBase 数据表中一些关键概念Row key键Column Family列族Cell qualifier列族修饰符（列）Timestamp时间戳Region区域Cell单元格键 Row key表中行的键是字节数组(最大长度是 64KB)任何字符串都可以作为键；表中的行根据行的键值进行排序，数据按照Row key的字典序(byte order)排序存储；所有对表的访问都要通过键通过单个row key访问通过row key的range全表扫描列族 Column FamilyHBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先定义。如 create info,realtime；列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如info:name,realtime:price,新的列族成员可以随后按需、动态加入；权限控制、存储以及调优都是在列族层面进行的；同一列族成员最好有相同的访问模式和大小特征；HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。单元格修饰符 Cell qualifier通过列族:单元格修饰符，可以具体到某个列；可以把单元格修饰符认为是实际的列名；在列族存在，客户端随时可以把列添加到列族；HTable table=new HTable(conf,tableName);Get get=new Get(rowKey.getBytes();Result rs=table.get(get);for(KeyValue kv:rs.raw()System.out.print(new String(kv.getRow()+);System.out.print(new String(kv.getFamily()+:);System.out.print(new String(kv.getQualifier()+);System.out.print(kv.getTimestamp()+);System.out.println(new String(kv.getValue();时间戳Timestamp在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。时间戳的类型是 64位整型。时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。区域 RegionHBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据；每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region；当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region 上。Cell单元格由行和列的坐标交叉决定；单元格是有版本的；单元格的内容是未解析的字节数组；由row key，column(=+)，version 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。锁HBase的写操作是锁行的，每一行都是一个原子元素，无论对行进行访问的事务涉及多少列，对行的更新都是原子的，也就是说要么成功要么失败不会存在成功一部分的情况。HBase 中数据表的物理存储方式物理存储 231、Table中的所有行都按照row key的字典序排列。2、Table 在行的方向上分割为多个HRegion。物理存储 243、Region按大小分割的，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Region就会等分会两个新的Region。当table中的行不断增多，就会有越来越多的Region。物理存储 254、Region是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Region可以分布在不同的Region server上。但一个Region是不会拆分到多个Region server上的。物理存储 265、Region虽然是分布式存储分布式存储的最小单元，但并不是存储存储的最小单元。事实上，Region由一个或者多个Store组成，每个store保存一个column family。每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。物理存储 27HFile的格式为：物理存储 HFile分为六个部分：DataBlock段段：保存表中的数据，这部分可以被压缩，hbase I/O的基本单元 MetaBlock段段(可选的)：保存用户自定义的kv对，可以被压缩。FileInfo段段：HFile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。DataBlockIndex段段：Data Block的索引。每条索引的key是被索引的 block的第一条记录的key。MetaBlockIndex段段(可选的)：Meta Block的索引。Trailer段段：这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来 做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的keyData Block Index采用LRU机制淘汰，该blockcache的大小直接影响读性能。HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。Hfile的压缩支持两种方式：Gzip，Lzo。物理存储 29HLog(WAL log)HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue，可参见上文描述。目录1.HBase简介简介1.HBase数据模型数据模型2.HBase体系结构体系结构3.HBase提供的接口提供的接口4.HBase优化优化5.HBase用途用途HBase 体系结构HBase 体系结构Client 包含访问HBase的接口并维护cache来加快对HBase的访问，比如region的位置信息Zookeeper 保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知给Master存储HBase的schema和table元数据Master 为Region server分配region负责Region server的负载均衡发现失效的Region server并重新分配其上的region管理用户对table的增删改查操作RegionServerRegion server维护region，处理对这些region的IO请求Region server负责切分在运行过程中变得过大的region-ROOT-与.META.表-ROOT-表包含.META.表所在的区域列表，该表只会有一个Hregion，且不会split；Zookeeper中记录了-ROOT-表的location.META.表包含所有的用户空间区域列表，以及RegionServer的服务器地址；REGION定位34.META.表的一行在内存中大约占用1KB。并且每个region限制为128MB。那么此三层结构可以保存的region数目为：(128MB/1KB)*(128MB/1KB)=2(34)个region读写过程目录1.HBase简介简介2.HBase体系结构体系结构3.HBase数据模型数据模型4.HBase提供的接口提供的接口5.HBase优化优化6.HBase用途用途HBASE 交互接口Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用Thrift Gateway，利用Thrift序列化技术，支持C+，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据REST Gateway，支持REST 风格的Http API访问HBase，解除了语言限制Hive，使用类似SQL语言来访问HBasePig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计目录1.HBase简介简介2.HBase体系结构体系结构3.HBase数据模型数据模型4.HBase提供的接口提供的接口5.HBase优化优化6.HBase用途用途HBase 优化配置优化1zookeeper.session.timeout(df:180000ms)hbase.regionserver.handler.count(df:10)hbase.hregion.max.filesize(df:256M)hbase.regionserver.global.memstore.upperLimit/lowerLimit(0.4/0.35)hfile.block.cache.size(df:0.2)hbase.hstore.blockingStoreFiles(df:7)hbase.hregion.memstore.block.multiplier(df:2)HBase 优化配置优化2写速度关键因素Table region分布均衡；单台region server的region数；hbase.regionserver.handler.counthbase.regionserver.global.memstore.upperLimithbase.hregion.memstore.block.multiplierhbase.hstore.blockingStoreFileshbase.hregion.max.filesizeHBase 优化配置优化3读速度关键因素单台Region Server上的Region数；StoreFile数；bloomfilter；in-memory flag;hfile.block.cache.size；HBase 优化客户端优化（native java）客户端写客户端写多多HTable并发写并发写设置设置Htable的的AutoFlush(false)、WriteBuffer(bigger)、WAL Flag(close)批量写批量写多线程并发写多线程并发写客户端读客户端读多多HTable并发读并发读设置设置Htable的的ScannerCaching、ScanAttributeSelection、CloseResultScanner批量读批量读多线程并发读多线程并发读HBase 优化业务优化在可能的情况下，适当调整业务规则，顺应HBase的特征，以便充分利用HBase的优势HBase 优化设计优化充分利用硬件资源，Pre-CreatingRegions合理设计RowKey少ColumnFamily（低于（低于3个为宜）个为宜）InMemoryMaxVersionTimeToLive启用LZO压缩目录1.HBase简介简介2.HBase体系结构体系结构3.HBase数据模型数据模型4.HBase提供的接口提供的接口5.HBase优化优化6.HBase用途用途HBase适用场景摘自：HBase Facebook The Technology Behind Messages(and more.)