Spark SQL 连接Hive

最新推荐文章于 2025-04-21 20:05:56 发布

原创最新推荐文章于 2025-04-21 20:05:56 发布 · 878 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据

当前文章被收录于：

大数据

69 篇文章 2 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍如何在SparkSQL中集成ApacheHive，通过将Hive的配置文件hive-site.xml复制到Spark的conf目录，创建HiveContext对象，即可使用HQL对Hive表进行查询，返回数据为RDD形式。

Apache Hive 是Hadoop 上的一种常见的结构化数据源。Hive 可以在HDFS 内或者在其他
存储系统上存储多种格式的表。这些格式从普通文本到列式存储格式，应有尽有。Spark SQL 可以读取Hive 支持的任何表。

要把Spark SQL 连接到已有的Hive 上，你需要提供Hive 的配置文件。你需要将hive-site. xml 文件复制到Spark
的./conf/ 目录下。这样做好之后，再创建出HiveContext 对象，也就是Spark SQL 的入口，然后你就可以使用Hive
查询语言（HQL）来对你的表进行查询，并以由行组成的RDD 的形式拿到返回数据

代码实例

import org.apache.spark.sql.hive.HiveContext
val hiveCtx = new org.apache.spark.sql.hive.HiveContext(sc)
val rows = hiveCtx.sql("SELECT name, age FROM users")
val firstRow = rows.first()
println(firstRow.getString(0)) // 字段0是name字段