0
点赞
收藏
分享

微信扫一扫

Spark 编程模型(上)

心存浪漫 2022-06-20 阅读 158

Spark 编程模型(上)_scala

 

Spark 编程模型(上)_spark_02

Spark 编程模型(上)_spark_03

 

 

 

                                                                 Spark的编程模型

 

核心概念(注意对比MR里的概念来学习)

Spark 编程模型(上)_spark_04

 

 

Spark Application的组成 

Spark 编程模型(上)_spark_05

 

 

Spark Application基本概念

 Spark 编程模型(上)_spark_06

 

 

 

Spark Application编程模型

Spark 编程模型(上)_scala_07

 

 

回顾scala版本的 wordcount程序

Spark 编程模型(上)_spark_08

Spark 编程模型(上)_scala_09

 

 

                                                                                                                                                                           

 

初识RDD

什么是RDD

Spark 编程模型(上)_spark_10

 

 

 RDD接口

 Spark 编程模型(上)_scala_11

 

 

RDD的本质特征

Spark 编程模型(上)_scala_12

 

RDD -- partitions

Spark 编程模型(上)_scala_13

 

 

 

RDD-preferredLocations

Spark 编程模型(上)_scala_14

 

RDD-dependencies

Spark 编程模型(上)_spark_15

Spark 编程模型(上)_spark_16

 

 

 

RDD-compute

 Spark 编程模型(上)_scala_17

RDD-partitioner

Spark 编程模型(上)_scala_18

RDD-lineage

Spark 编程模型(上)_spark_19

Spark 编程模型(上)_scala_20

 

 典型RDD的特征

Spark 编程模型(上)_spark_21

 

 

不同角度看RDD

Spark 编程模型(上)_scala_22

 

Scheduler Optimizations

Spark 编程模型(上)_spark_23

 

举报

相关推荐

0 条评论