hbase和hive交互

最新推荐文章于 2022-03-03 15:27:38 发布

原创最新推荐文章于 2022-03-03 15:27:38 发布 · 243 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

NoSql

1.将hbase的相关jar包的软连接放入到hive的lib下

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar

2.在hive-site.xml下配置zookeeper连接(因为hbase也是依靠zookeeper的)

<property>
 <name>hive.zookeeper.quorum</name>
 <value>hadoop102,hadoop103,hadoop104</value>
</property>
<property>
 <name>hive.zookeeper.client.port</name>
 <value>2181</value>
</property>

3.注意: hive和 hbase在新版中无法兼容, 只能重新编译hive-hbase-handler-1.2.2.jar了

将hive的lib下的包和hbase下的lib包放到eclipse当中进行重新编译,再把hive-hbase-handler-1.2.2.jar放入到hive的lib下去, 就ok了, 就可以建立联系了

利用hive做数据分析计算, hbase来进行管理存储

两种情况:

直接创建hbase和hive表进行映射
对已经存在的hbase表中的数据进行映射hive表,需要创建外部表.

案例:

CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");