Flink各类资源管理器部署总结

背景

第一部分 Flink集群基础架构

Flink集群通常下图所示的组件组成。Flink客户端将Flink应用转换成JobGraph，然后提交给JobManager。JobManager将任务分发给TaskManager运行，当然集群通常还有一些支持组件组成。

1.1 Flink 客户端（Flink Client）

本地执行Flink任务的main()方法，解析生成JobGraph对象，最后将JobGraph提交至JobManager，同时监控job认为运行状态。

1.2 JobManager

JobManager为Flink集群中管理服务，管理整个集群的计算资源、job任务管理和调度。

1.3 TaskManager

集群中具体执行计算任务的服务节点。

1.4 High Availability Service Provider

1.5 File Storage and Persistency

1.6 Resource Provider

1.7 Metrics Storage

1.8 Application-level data sources and sinks

第二部分 Flink部署模式

Flink应用有3种运行模式：

• Session Mode
• Per-Job Mode
• Application Mode

3种模式区别主要是：

第三部分 Flink资源管理器

第四部分 Flink Stabdalone模式

第五部分 Flink on Yarn模式

第六部分 Flink on K8s模式

第七部分 高可用模式原理

参考文献及资料

1、DeOldify项目地址，链接：https://github.com/jantic/DeOldify