Fork me on GitHub

Hadoop Yarn高可用机制

发表于 | 更新于 | 分类于 | | 阅读次数：
本文字数： 3.2k | 阅读时长 ≈ 3 分钟

目录

  • 背景
  • 第一部分 Spark内存管理详解
  • 第二部分 Spark参数说明
  • 第三部分 Spark内存优化
  • 第四部分 常见线上问题解决
  • 参考文献及资料

背景

ResourceManager High Availability

第一部分

1
2
3
4
5
6
7
<property>
    <description>When HA is enabled, the class to be used by Clients, AMs and
      NMs to failover to the Active RM. It should extend
      org.apache.hadoop.yarn.client.RMFailoverProxyProvider</description>
    <name>yarn.client.failover-proxy-provider</name>
    <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
  </property>
1
2
3
4
<property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

https://jxy.me/2015/04/09/hadoop-ha-active-nn/

参考文献及资料

1、RuoYi-Cloud项目文档，链接：https://blog.csdn.net/ifenggege/article/details/107968518

本文标题:Hadoop Yarn高可用机制

文章作者:rong xiang

发布时间:2021年11月16日 - 13:11

最后更新:2022年10月25日 - 23:10

原始链接:https://zjrongxiang.github.io/posts/dd6f8c36/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

0%