Spark SQL创读取文本文件

1.在本地创建一个文件，有id、name、age三列，用空格分隔，然后上传到hdfs上.

vim /root/person.txt

1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40

上传数据文件到HDFS上：

hadoop fs -put /root/person.txt /

2.打开spark-shell

/export/servers/spark/bin/spark-shell

创建RDD:

3.定义case class

4.将RDD和case class关联

5.将RDD转换成DataFrame

6.查看数据和schema

7.注册表

8.执行SQL

9.也可以通过SparkSession构建DataFrame