2 jobmanager的全部职责


1 和client的交互

客户端负责将任务提交到集群,与 JobManager 构建 Akka 连接,然后将任务提交到 JobManager,通过和 JobManager 之间进行交互获取任务执行状态。

2 提供一个webui

2.1 overwide

2.2 jobmanager

2.3 taskmanager

2.4 提交作业

2.5 状态监控

2.6 excutionGraph

3 他的JobMaster生成ExecutionGraph

后面我会单独开一个文章来写

4 触发 Checkpoint 操作

后面我会单独开一个文章来写

5 任务调度

后面我会单独开一个文章来写

6 向 yarn 申请资源

后面我会单独开一个文章来写

故障恢复    

后面我会单独开一个文章来写

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容