大数据系列文章: 目录
一、 开发环境准备
在项目的 pom.xml 中添加 Maven 的依赖:
<dependency>
<groupId>org.apache.sparkgroupId>
<artifactId>spark-sql_2.12artifactId>
<version>3.3.0version>
dependency>
<dependency>
<groupId>org.apache.sparkgroupId>
<artifactId>spark-hive_2.12artifactId>
<version>3.3.0version>
dependency>
二、 创建 DataFrame
Spark 应用程序使用 SQLContext,可以通过 RDD、Hive 表、JSON 格式数据创建 DataFrame。
基于 JSON 文件创建 DataFrame 示例
使用 spark.read.json()
方法即可通过读取 JSON 文件创建 DataFrame。
package sparksql
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
object DataFrameCreate {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("DataFrameApp")
val sc = new SparkContext(sparkConf)
val sqlContext = new SQLContext(sc)
// 使用 SQLContext 将 JSON 文件转成 DataFrame
val df = sqlContext.read.json("resources/json/people.json")
df.show()
sc.stop()
}
}
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容