文章列表

HDFS Federation在美团点评的应用与改进

美团点评离线存储团队
HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发,介绍了HDFS Federation在美团点评的实际应用经验。 阅读全文

HDFS NameNode重启优化

小桥
在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,所以对NameNode重启优化非常关键。 阅读全文

HDFS NameNode内存详解

小桥
从HDFS整体架构上看,NameNode内部结构相对复杂,我们通过对其内存核心数据结构定量分析,详细说明NameNode内存使用细节,提供可借鉴的内存使用评估模型,对优化用户使用HDFS的方式和管理HDFS集群具有非常重要的指导意义。 阅读全文

HDFS NameNode内存全景

小桥
NameNode在整个HDFS系统中扮演最核心的角色,同时也是最复杂和容易出现问题的模块,本文从NameNode数据视角对NameNode内存全景及几个关键数据结构进行了简单的解读,并结合实际场景介绍了NameNode内存可能遇到的问题及业界各种可借鉴的解决方案。 阅读全文