1.文档编写目的
前面我们讲过《
如何利用java代码通过JDBC连接Impala(附Github源码)

》,本篇文章紧张讲述如何利用Java代码通过JDBC的办法连接Hive。
内容概述1.环境准备
2.非Kerberos及Kerberos环境连接示例
测试环境1.Kerberos集群CDH5.11.2,OS为Redhat7.2
2.非Kerberos集群CDH5.13,OS为CentOS6.5
前置条件1.集群已安装HiveServer2做事正常
2.Kerberos和非Kerberos集群HiveServer2做事正常
2.环境准备
1.创建Java工程jdbcdemo
2.添加Maven依赖
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.5</version></dependency><dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version></dependency>
3.非Kerberos环境
1.示例代码
private static String JDBC_DRIVER = \公众org.apache.hive.jdbc.HiveDriver\"大众;private static String CONNECTION_URL =\"大众jdbc:hive2://54.251.129.76:10000/\"大众;static { try { Class.forName(JDBC_DRIVER); } catch (Exception e) { e.printStackTrace(); }}public static void main(String[] args) { System.out.println(\"大众通过JDBC连接非Kerberos环境下的HiveServer2\"大众); Connection connection = null; ResultSet rs = null; PreparedStatement ps = null; try { connection = DriverManager.getConnection(CONNECTION_URL); ps = connection.prepareStatement(\"大众select from test_table\"大众); rs = ps.executeQuery(); while (rs.next()) { System.out.println(rs.getInt(1) + \"大众-------\"大众 + rs.getString(2)); } } catch (Exception e) { e.printStackTrace(); } finally { JDBCUtils.disconnect(connection, rs, ps); }}
2.示例代码运行
4.Kerberos环境
连接Kerberos环境下的Hive须要准备Kerberos的krb5.conf文件及keytab文件。
把稳:Fayson的测试环境是AWS,以是将kdc和HiveServer2做事的IP地址修正为相应的外网地址,JDBC的URL后Kerberos信息是连接的HiveServer2做事对应Prinical信息。
krb5.conf配置,直接将集群的krb5.conf文件拷贝至本地开拓环境下
# Configuration snippets may be placed in this directory as wellincludedir /etc/krb5.conf.d/[logging] default = FILE:/var/log/krb5libs.log kdc = FILE:/var/log/krb5kdc.log admin_server = FILE:/var/log/kadmind.log[libdefaults] dns_lookup_realm = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true rdns = false default_realm = CLOUDERA.COM #default_ccache_name = KEYRING:persistent:%{uid}[realms] CLOUDERA.COM = { kdc = 54.179.148.25 admin_server = 54.179.148.25 }
keytab文件天生
[ec2-user@ip-172-31-22-86 ~]$ sudo kadmin.localAuthenticating as principal hive/admin@CLOUDERA.COM with password.kadmin.local: xst -norandkey -k fayson.keytab fayson@CLOUDERA.COM
1.示例代码
private static String JDBC_DRIVER = \"大众org.apache.hive.jdbc.HiveDriver\"大众;private static String CONNECTION_URL =\公众jdbc:hive2://54.179.148.25:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM\"大众;static { try { Class.forName(JDBC_DRIVER); } catch (ClassNotFoundException e) { e.printStackTrace(); }}public static void main(String[] args) throws Exception { //登录Kerberos账号 System.setProperty(\"大众java.security.krb5.conf\公众, \"大众/Volumes/Transcend/keytab/krb5.conf\"大众); Configuration configuration = new Configuration(); configuration.set(\公众hadoop.security.authentication\"大众 , \公众Kerberos\公众 ); UserGroupInformation. setConfiguration(configuration); UserGroupInformation.loginUserFromKeytab(\"大众fayson@CLOUDERA.COM\"大众, \"大众/Volumes/Transcend/keytab/fayson.keytab\"大众); Connection connection = null; ResultSet rs = null; PreparedStatement ps = null; try { connection = DriverManager.getConnection(CONNECTION_URL); ps = connection.prepareStatement(\"大众select from test_table\"大众); rs = ps.executeQuery(); while (rs.next()) { System.out.println(rs.getInt(1)); } } catch (Exception e) { e.printStackTrace(); } finally { JDBCUtils.disconnect(connection, rs, ps); }}
2.示例代码运行
GitHub源码地址:
https://github.com/javaxsky/cdhproject
为天地立心,为平生易近立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请利用手机打开并单击图片放大查看。
您可能还想看
安装
CENTOS6.5安装CDH5.12.1(一)
CENTOS6.5安装CDH5.12.1(二)
CENTOS7.2安装CDH5.10和Kudu1.2(一)
CENTOS7.2安装CDH5.10和Kudu1.2(二)
如何在CDH中安装Kudu&Spark2&Kafka
如何升级Cloudera Manager和CDH
如何卸载CDH(附一键卸载github源码)
如何迁移Cloudera Manager节点
如何在Windows Server2008搭建DNS做事并配置泛域名解析
安全
如何在CDH集群启用Kerberos
如何在Hue中利用Sentry
如何在CDH启用Kerberos的情形下安装及利用Sentry(一)
如何在CDH启用Kerberos的情形下安装及利用Sentry(二)
如何在CDH未启用认证的情形下安装及利用Sentry
如何利用Sentry管理Hive外部表权限
如何利用Sentry管理Hive外部表(补充)
如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据
Windows Kerberos客户端配置并访问CDH
数据科学
如何在CDSW中利用R绘制直方图
如何利用Python Impyla客户端连接Hive和Impala
如何在CDH集群安装Anaconda&搭建Python私有源
如何利用CDSW在CDH等分布式运行所有R代码
如何利用CDSW在CDH集群通过sparklyr提交R的Spark作业
如何利用R连接Hive与Impala
如何在Redhat中安装R的包及搭建R的私有源
如何在Redhat中配置R环境
什么是sparklyr
其他
CDH网络哀求(Lenovo参考架构)
大数据售前的中年危急
如何实现CDH元数据库MySQL的主备
如何在CDH中利用HPLSQL实现存储过程
如何在Hive&Impala中利用UDF
Hive多分隔符支持示例
推举关注Hadoop实操,第一韶光,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信"大众号Hadoop实操