Tag: # Hdfs

HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案，真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发，介绍了HDFS Federation在美团点评的实际应用经验。 阅读全文

在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，所以对NameNode重启优化非常关键。 阅读全文

从HDFS整体架构上看，NameNode内部结构相对复杂，我们通过对其内存核心数据结构定量分析，详细说明NameNode内存使用细节，提供可借鉴的内存使用评估模型，对优化用户使用HDFS的方式和管理HDFS集群具有非常重要的指导意义。 阅读全文

NameNode在整个HDFS系统中扮演最核心的角色，同时也是最复杂和容易出现问题的模块，本文从NameNode数据视角对NameNode内存全景及几个关键数据结构进行了简单的解读，并结合实际场景介绍了NameNode内存可能遇到的问题及业界各种可借鉴的解决方案。 阅读全文