Spark2.x和Spark1.x版本的区别

阅读 77

2022-05-16


1、Spark2.x实现了对Spark SQL和Hive SQL操作API的统一

2、Spark2.x引入了SparkSession的概念,提供了一个统一的切入口来使用Spark的各项功能,统一了旧的SQLContext和HiveContext

3、统一了DataFrame和DataSets的API

4、Spark Streaming基于Spark SQL构建了high-level API,使得Spark Streaming更好的受益于Spark SQL的易用性和性能提升




精彩评论(0)

0 0 举报