【Spark2.0源码学习】-4.Master启动

     Master作为Endpoint的具体实例,下面我们介绍一下Master启动以及OnStart指令后的相关工作
 
一、脚本概览
     下面是一个举例:
/opt/jdk1..0_79/bin/java
-cp /opt/spark-2.1./conf/:/opt/spark-2.1./jars/*:/opt/hadoop-2.6.4/etc/hadoop/
-Xmx1g
-XX:MaxPermSize=256m
org.apache.spark.deploy.master.Master
--host zqh
--port 7077
--webui-port 8080
 
二、启动流程
     Master的启动流程如下:
     【Spark2.0源码学习】-4.Master启动【Spark2.0源码学习】-4.Master启动
  • SparkConf:加载key以spark.开头的系统属性(Utils.getSystemProperties)
  • MasterArguments:
    • 解析Master启动的参数(--ip -i --host -h --port -p --webui-port  --properties-file)
    • 将--properties-file(没有配置默认为conf/spark-defaults.conf)中spark.开头的配置存入SparkConf
  • NettyRpcEnv中的内部处理遵循RpcEndpoint统一处理,这里不再赘述
  • BoundPortsResponse返回rpcEndpointPort,webUIPort,restPort真实端口
  • 最终守护进程会一直存在等待结束信awaitTermination
三、OnStart监听事件
     Master的启动完成后异步执行工作如下:
     【Spark2.0源码学习】-4.Master启动【Spark2.0源码学习】-4.Master启动
  • 【dispatcher-event-loop】线程扫描到OnStart指令后会启动相关MasterWebUI(默认端口8080),根据配置选择安装ResetServer(默认端口6066)
  • 另外新起【master-forward-message-thread】线程定期进行worker心跳是否超时
  • 如果Worker心跳检测超时,那么对Worker下的发布的所有任务所属Driver进行ExecutorUpdated发送,同时自己在重新LaunchDriver
 
四、RpcMessage处理(receiveAndReply)
 
消息实例 发起方 接收方 说明
RequestSubmitDriver Client Master 提交驱动程序
RequestKillDriver Client Master  
RequestDriverStatus Client Master  
RequestMasterState MasterWebUI Master  
BoundPortsRequest Master Master  
RequestExecutors StandaloneAppClient Master  
KillExecutors   StandaloneAppClient Master  
 
五、OneWayMessage处理(receive)
消息实例 发起方 接收方 说明
ElectedLeader Master Master  
CompleteRecovery Master Master  
RevokedLeadership Master Master  
RegisterWorker Worker Master  
RegisterApplication StandaloneAppClient Master  
UnregisterApplication StandaloneAppClient Master  
ExecutorStateChanged Worker/ExecutorRunner Master  
DriverStateChanged DriverRunner/Master Master  
Heartbeat Worker Master  
MasterChangeAcknowledged StandaloneAppClient Master  
WorkerSchedulerStateResponse Worker Master  
WorkerLatestState Worker Master  
CheckForWorkerTimeOut Master Master  
 
五、Master对RpcMessage/OneWayMessage处理逻辑(选读)
     这部分对整体Master理解作用不是很大且理解比较抽象,可以先读后续内容,回头再考虑看这部分内容,或者不读
  【Spark2.0源码学习】-4.Master启动
【Spark2.0源码学习】-4.Master启动
上一篇:【草稿】自定义ASP.NET MVC Html辅助方法


下一篇:Eclipse发布的Dynamical web项目在Tomacat文件夹下显示