0
点赞
收藏
分享

微信扫一扫

Spark Standalone模式下启动集群的基本流程


Spark Standalone模式下启动集群的基本流程_对象引用

  1. Master启动时首先创一个RpcEnv对象,负责管理所有通信逻辑
  2. Master通过RpcEnv对象创建一个Endpoint,Master就是一个Endpoint,Worker可以与其进行通信
  3. Worker启动时也是创一个RpcEnv对象
  4. Worker通过RpcEnv对象创建一个Endpoint
  5. Worker通过RpcEnv对,建立到Master的连接,获取到一个RpcEndpointRef对象,通过该对象可以与Master通信
  6. Worker向Master注册,注册内容包括主机名、端口、CPU Core数量、内存数量
  7. Master接收到Worker的注册,将注册信息维护在内存中的Table中,其中还包含了一个到Worker的RpcEndpointRef对象引用
  8. Master回复Worker已经接收到注册,告知Worker已经注册成功
  9. 此时如果有用户提交Spark程序,Master需要协调启动Driver;而Worker端收到成功注册响应后,开始周期性向Master发送心跳


举报

相关推荐

0 条评论