收藏 分销(赏)

hbase-0.98的region的大小配置心得.docx

上传人:二*** 文档编号:4691972 上传时间:2024-10-10 格式:DOCX 页数:3 大小:367KB 下载积分:5 金币
下载 相关 举报
hbase-0.98的region的大小配置心得.docx_第1页
第1页 / 共3页
本文档共3页,全文阅读请下载到手机保存,查看更方便
资源描述
最近在做hbase的读取优化工作,也优化了一些配置,这里着重讲一下我在配置hbase的region的大小的时候遇上的一些问题。 首先我知道在habse里面的的hbase-site.xml里面有这个配置,具体的如图所示: 这个hbase默认的是10g,我现在把他修改成1g,然后重启hbase,发现region的数目和大小都没有发生变化!!!我又去查阅资料,找到了一个相关帖子: 明白了,原来hbase的region的大小调节在0.94以前只要配置region大小的属性就好了,他就会按照配置的小进行split,但是!!在0.94之后,又加入了一个策略属性,hbase有三个spli的策略,具体的如下所示: 第一个(也是我要的): ConstantSizeRegionSplitPolicy:按固定长度分割region,固定长度取值优先获取table的”MAX_FILESIZE” 值,若没有设定该属性,则采用在hbase-site.xml中配置的hbase.hregion.max.filesize值,在0.94版本中这个值的缺省值已经被调整为:10 * 1024 * 1024 * 1024L 也就是10G,网上很多关于 hbase.hregion.max.filesize 默认值 1G的文章应该都是基于0.92的hbase的 第二个: IncreasingToUpperBoundRegionSplitPolicy:按照region数量累增划分region,该策略为Hbase 0.94默认使用的策略,采用该策略分割的region大小是不相等的,每次新region的大小随着region数量的增多而增大。 第三个: KeyPrefixRegionSplitPolicy:指定rowkey前缀位数划分region,通过读取table的prefix_split_key_policy.prefix_length属性,该属性为数字类型,表示前缀长度, 在进行split时,按此长度对splitPoint进行截取。 我选定了第一个策略,具体如下: 配置好大小和策略,我又启动hbase,打开web页面发现报错: 然后打开日志发现: 对于这样的情况,我以为是策略不对或者不支持,我有重新删除了策略,发现回复,但是没达到我的split的目标,对此,我咨询了群里的群主,然后修改了这个策略的value值具体如下: 然后重启,发现region的数量和大小,都没有变化,表示很费解!群主大人给了建议就是手动进行大合并: 完了登陆web‘页面就会发现已经开始compact了: 观察发现随着compact的进行,region的数目朝着预期的目标增加,初步判断,修改成功! 总结:有些资料和网上的东西,不见得就和自己的集群版本那么契合,要多问大牛,积累经验!
展开阅读全文

开通  VIP会员、SVIP会员  优惠大
下载10份以上建议开通VIP会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 应用文书 > 心得体会

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        抽奖活动

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服