0
点赞
收藏
分享

微信扫一扫

Spark on Yarn

Spark on Yarn_apache

 

YARN是什么

Spark on Yarn_hadoop_02

 

 

 

YARN在hadoop生态系统中的位置

 Spark on Yarn_hadoop_03

 

 

YARN产生的背景

Spark on Yarn_spark_04

 

 

YARN的基本架构

Spark on Yarn_spark_05

 

ResourceManager

Spark on Yarn_hadoop_06

 

NodeManager

Spark on Yarn_spark_07

 

 ApplicationMaster

Spark on Yarn_hadoop_08

 

 

container 

 Spark on Yarn_spark_09

 

                              Spark On Yarn 配置和部署

编译时包含yarn

Spark on Yarn_spark_10

Spark on Yarn_spark_11

基本配置

 

 Spark on Yarn_spark_12

在没有配置的前提下试下启动spark-shell

Spark on Yarn_apache_13

Spark on Yarn_spark_14

可以看到启动没问题

 Spark on Yarn_spark_15

 

 这里问题就来了!!!

下面我们配上来看看

Spark on Yarn_apache_16

Spark on Yarn_apache_17

Spark on Yarn_hadoop_18

 

Spark on Yarn_spark_19

Spark on Yarn_spark_20

可以看到报错了!!!

 应该是资源不足导致的

先重启一下各个进程

Spark on Yarn_apache_21

 

 Spark on Yarn_apache_22

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster 
--num-executors 1 --driver-memory 1g --executor-memory 1g --executor-cores 1 $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar

 

 

注意观察了

Spark on Yarn_hadoop_23

Spark on Yarn_spark_24

 可以看到

Spark on Yarn_apache_25

 

 

 

以下为视频内容(本人自己的环境出错,费了好多精力找不到原因)

Spark on Yarn_hadoop_26

 

提交spark job给yarn

 Spark on Yarn_hadoop_27

Spark on Yarn_apache_28

 

 在跑的过程中我们可以在网页上看到

Spark on Yarn_hadoop_29

Spark on Yarn_hadoop_30

 

 Spark on Yarn_apache_31

 

                                                                       Spark On Yarn 运行架构解析

Spark on Yarn_apache_32

 

 Spark on Yarn_apache_33

Spark on Yarn_hadoop_34

Spark on Yarn_hadoop_35

                                       

                                                                yarn client

 Spark on Yarn_hadoop_36

Spark on Yarn_hadoop_37

Spark on Yarn_hadoop_38

 

 如何更改默认配置

 Spark on Yarn_hadoop_39

在这里修改

Spark on Yarn_spark_40

 

环境变量

Spark on Yarn_spark_41

Spark on Yarn_hadoop_42

 

​​http://spark.apache.org/docs/1.6.1/running-on-yarn.html​​

 Spark on Yarn_hadoop_43

Spark on Yarn_spark_44

 

举报

相关推荐

0 条评论