Spark2.x和Spark1.x版本的区别

1、Spark2.x实现了对Spark SQL和Hive SQL操作API的统一

2、Spark2.x引入了SparkSession的概念，提供了一个统一的切入口来使用Spark的各项功能，统一了旧的SQLContext和HiveContext

3、统一了DataFrame和DataSets的API

4、Spark Streaming基于Spark SQL构建了high-level API，使得Spark Streaming更好的受益于Spark SQL的易用性和性能提升