写心之所想

 关注

Spark on Yarn模式提交任务后，会进行以下几个过程

写心之所想

 关注

阅读 44

2022-03-11


1.启动SparkContext

2.向Yarn申请executor资源

3.executor向SparkContext进行注册

4.任务构建成DAG图

5.进行Stage划分与TaskSet生成

6.Task发送给executor执行



相关推荐

niboac

yarn 模式提交 spark 任务

niboac 67 0 0

哈哈我是你爹呀

【Spark篇】---Spark中yarn模式两种提交任务方式

哈哈我是你爹呀 125 0 0

灯火南山

提交spark任务到yarn集群上

灯火南山 162 0 0

生态人

yarn提交任务

生态人 58 0 0

毅会

yarn-session模式提交flink任务步骤

毅会 62 0 0

勇敢乌龟

dolphinscheduler这么提交yarn任务

勇敢乌龟 45 0 0

飞鸟不急

spark提交任务命令

飞鸟不急 97 0 0

梅梅的时光

Spark Yarn 模式部署

梅梅的时光 48 0 0

自由的美人鱼

Spark运行模式-yarn

自由的美人鱼 160 0 0

和谐幸福的人生

Flink 任务提交流程 YARN

和谐幸福的人生 73 0 0

精彩评论（0）

0 0 举报