Fork me on GitHub

揭开HDFS存储的面纱

发表于 | 更新于 | 分类于 | | 阅读次数：
本文字数： 1.9k | 阅读时长 ≈ 2 分钟

目录

  • 背景
  • 第一部分 回本溯源
  • 第二部分 HDFS大量小文件的危害
  • 第三部分 小文件治理方案总结
  • 第四部分 总结
  • 参考文献及资料

背景

https://blog.csdn.net/m0_37613244/article/details/109920466?utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control

HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.namenode.data.dir

第一部分 NameNode元数据

第二部分 DataNode数据

You need to look in your hdfs-default.xml configuration file for the dfs.data.dir setting. The default setting is: ${hadoop.tmp.dir}/dfs/data and note that the ${hadoop.tmp.dir} is actually in core-default.xml described here.

参考文献及资料

[1] HDFS NameNode内存全景，链接：https://tech.meituan.com/2016/08/26/namenode.html

0%