Spark源码学习1.2——TaskSchedulerImpl.scala

许久没有写博客了,没有太多时间,最近陆续将Spark源码的一些阅读笔记传上,接下来要修改Spark源码了。

这个类继承于TaskScheduler类,重载了TaskScheduler中的大部分方法,是Task调度的实际操作。

1、检测推测执行间隔,最大响应时间,每个task的CPU数。

2、指定调度模式SchedulingMode。

3、setDAGScheduler:设置任务调度的对象DAGScheduler。

4、initialize:初始化backend接口和资源池pool,并给资源池配置调度模式,FIFO或者Fair。Backend接口是TaskScheduler与底层资源管理器(如Mesos)交互的接口。

5、获取任务ID。

6、start:主要启动backend接口,检查是否是本地执行,检查是否启动推测执行(如果是就需要启动推测执行的线程)。

7、postStartHook:与start保持同步,等待backend准备好。

8、submitTasks:根据参数中的taskSet(即stage中的一群task)将task提交给集群中执行的UI,惯例先要检查是否是本地执行。

9、cancelTasks:根据stageId来取消任务,也就是取消stage。如果有任务已经运行,要先杀死任务再丢弃stage,否则直接丢弃stage。

10、taskSetFinished:当所有的任务都执行完成后,设置任务执行为完成,并清除其与TaskSetManager的联系。

11、resourceOffers:资源分配的重要方法。首先将各个可活动的节点和executor的地址都标记,添加executor时也要重新标记;然后,为第一次循环做准备,即获取已分配的任务、可用CPU数、排队的task;嵌套循环,循环标准为两个,排队的task和位置优先级,前者为每一个在等待的task,后者为最低优先级到task所标注的优先级;内部执行的操作也是一个循环,当有CPU可用时的while循环;while循环内是一个for循环,用来遍历所有的executor;for循环内部为一个for循环,用来遍历匹配task和executor。

注:优先级为Any、Rack_Local、No_PREF、NODE_LOCAL、PROCESS_LOCAL。

12、statusUpdate:更新各个task的状态,实际上是遍历所有的task,然后根据其TaskSet中记录的值来判断Task的状态。

13、executorHeartbeatReceived:重载心跳接收函数。

14、结果处理函数:handle**函数,用来处理任务运行结果、成功的任务、失败的任务等等;error函数,用来处理失败的错误报告;stop函数,用来关闭backend接口和任务结果接收的接口。

15、checkSpeculatableTasks:检查资源池中是否有需要启动推测执行的task,如果有则需要重新启动offers。

16、executorLost:处理失败的executor,打印错误信息。

17、removeExecutor:移除executor并标记其丢失。

18、waitBackendReady:等待backend接口准备好。

19、类TaskSchedulerImpl:对map按值的数量排序,然后建立索引。

上一篇:VS2019配置Zeromq(Libzmq)


下一篇:Spark源码学习1.5——BlockManager.scala