hbase 学习(十二)非mapreduce生成Hfile,然后导入hbase当中

  • 时间:
  • 浏览:2
  • 来源:uu直播快3平台_UU快3直播官方

最近另一个 群友的boss让研究hbase,让hbase的入库传输速率达到5w+/s,这可愁死了,4台当事人电脑组成的集群,多程序运行运行入库调了何时能 ,传输速率也才1w左右,都没哟达到理想的那种传输速率,要是 就想到了这个 辦法 ,要是 网上多是用mapreduce来实现入库,而现在的需求是实时入库,不生成文件了,要是就非要当事人用代码实现了,要是 网上查了要是资料都没哟查到,最后在另一个 老外 的指引下,就看源码,最后找到了生成Hfile的辦法 ,实现了完后 ,发现单程序运行运行入库传输速率才达到1w4左右,和完后 的多程序运行运行的全速差太久了,百思不得其解之时,调整了一下代码把列的Byte.toBytes(cols)这个 辦法 调整出来只做一次,传输速率立马就到3w了,提升非常明显,这是我的电脑上的传输速率,估计在它的集群可非要调快或多或少吧,下面把代码和我们分享一下。

最后再附上查看hfile的辦法 ,查询正确的hfile和当事人生成的hfile,方便查找问题。