使用SparkSQL2.x的SQL方式实现WordCount

最新推荐文章于 2024-12-13 18:51:31 发布

原创最新推荐文章于 2024-12-13 18:51:31 发布 · 747 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据

当前文章被收录于：

大数据

158 篇文章 5 人学习

订阅专栏查看详情

Spark

当前文章被收录于：

Spark

35 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍使用 Spark SQL 进行 WordCount 统计的方法，包括创建 SparkSession、读取数据、执行 SQL 查询并展示结果。通过 Dataset API 和 SQL 语法结合的方式，实现了对文本文件中单词的频率统计。

代码里面有很详细的说明

代码实现：

package cn.ysjh0014.SparkSql

import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}

object SparkSQLWordCount {

  def main(args: Array[String]): Unit = {

    //创建SparkSession
    val session: SparkSession = SparkSession.builder().appName("SQLWordCount").master("local[4]").getOrCreate()

    //读数据，是lazy

    //Dataset也是一个分布式数据集，是对RDD的进一步分装
    //Dataset只有一列，默认这列叫value
    val lines: Dataset[String] = session.read.textFile(args(0))

    //导入隐式转换
    import  session.implicits._
    val word: Dataset[String] = lines.flatMap(_.split(","))

    //注册表
    word.createTempView("test")

    //执行SQL
    val result: DataFrame = session.sql("SELECT value,COUNT(*) counts FROM test GROUP BY value ORDER BY counts DESC")

    result.show()

    session.stop()


  }
}

运行后你会发现他的速度会变慢，这是因为他会生成执行计划，然后再运行计算