Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!
一、SparkRDD的执行流程回顾
二、SparkSQL的自动优化
RDD的运行会完全按照开发者的代码执行, 如果开发者水平有限, RDD的执行效率也会受到影响。
而SparkSQL会对写完的代码,执行“自动优化”, 以提升代码运行效率,避免开发者水平影响到代码执行效率。
SparkSQL-第五章:SparkSQL的运行流程 SparkSQL-第三章:DataFrame入门
阅读 29
2023-01-24
Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!
RDD的运行会完全按照开发者的代码执行, 如果开发者水平有限, RDD的执行效率也会受到影响。
而SparkSQL会对写完的代码,执行“自动优化”, 以提升代码运行效率,避免开发者水平影响到代码执行效率。
相关推荐
精彩评论(0)