0

点赞

收藏

分享

Spark SQL 编程

祈澈菇凉 2022-06-20 阅读 159

标签: sql spark 数据源 OpenStack 云计算

Spark SQL的依赖

Spark SQL 编程_数据源

Spark SQL的入口：SQLContext

Spark SQL 编程_数据源_02

官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext

Spark SQL 编程_数据源_03

针对几种不同的语言来写。

Spark SQL的入口：HiveContext

Spark SQL 编程_spark_04

SQLContext vs HiveContext

Spark SQL 编程_spark_05

Spark SQL的作用与使用方式

Spark SQL 编程_sql_06

Spark SQL支持的API

Spark SQL 编程_spark_07

Spark SQL 编程_数据源_08

从程序中使用SparkSQL的基本套路

Spark SQL 编程_数据源_09

DataFrame--推荐使用

Spark SQL 编程_数据源_10

为什么要用DataFrame

Spark SQL 编程_sql_11

SparkSQL数据源：从各种数据源创建DataFrame

Spark SQL 编程_数据源_12

SparkSQL数据源：RDD

Spark SQL 编程_spark_13

SparkSQL数据源：Hive

Spark SQL 编程_sql_14

sparkSQL数据源：Hive读写

Spark SQL 编程_sql_15

SparkSQL数据源：访问不同版本的metastore

Spark SQL 编程_spark_16

SparkSQL数据源：Parquet

Spark SQL 编程_spark_17

SparkSQL数据源:Parquet -- Partition Discovery

Spark SQL 编程_数据源_18

SparkSQL数据源:Json

Spark SQL 编程_sql_19

SparkSQL数据源:JDBC

Spark SQL 编程_sql_20

DataFrame上的各种操作

Spark SQL 编程_sql_21

0 条评论

关注