文章列表

分布式会话跟踪系统架构设计与实践

志桐
MTrace分布式会话跟踪系统,用于分析系统间联动关系,展现系统调用链路,解决系统瓶颈问题,优化系统结构。 阅读全文

美团数据库运维自动化系统构建之路

宁龙
美团数据库运维自动化系统经历了1.0版和2.0版;从1.0版之初的各方面考虑,到2.0版的逐渐成熟,美团数据库自动化系统从功能上、架构上都做了很多的工作. 阅读全文

美团的DBProxy实践

平仲
DBProxy是一款基于MySQL协议的中间件,来源于360的开源项目DBProxy,DBProxy在开源的基础上进行了一系列的改进工作 阅读全文

RDS平台介绍

柯任
介绍美团点评数据库运维的自动化平台。首先简单介绍一下做平台的背景、平台的一些技术架构,以及针对我们DBA和开发需求的全套解决方案。 阅读全文

HDFS NameNode内存全景

小桥
NameNode在整个HDFS系统中扮演最核心的角色,同时也是最复杂和容易出现问题的模块,本文从NameNode数据视角对NameNode内存全景及几个关键数据结构进行了简单的解读,并结合实际场景介绍了NameNode内存可能遇到的问题及业界各种可借鉴的解决方案。 阅读全文

Spark性能优化指南——高级篇

李雪蕤
想要用好Spark,就必须进行合理的性能优化,才能充分发挥出它的优势。本文主要讲解了笔者实际工作中积累的Spark性能优化方案的高级内容,包括数据倾斜调优和shuffle调优。 阅读全文

Spark性能优化指南——基础篇

李雪蕤
想要用好Spark,就必须进行合理的性能优化,才能充分发挥出它的优势。本文主要讲解了笔者实际工作中积累的Spark性能优化方案中的基础内容,包括开发调优以及资源调优。 阅读全文

Spark在美团的实践

曾林西 李雪蕤 秦思源 毕岩 黄忠
介绍Spark在美团的实践,包括我们基于Spark所做的平台化工作,以及Spark在生产环境下的应用案例。 阅读全文

分布式块存储系统Ursa的设计与实现

李慧霸
分布式块存储系统对于云平台有至关重要的作用,然而市面上并没有成熟的开源系统或商业系统可直接使用。本文在分析相关开源项目的基础上,展示了美团云分布式块存储系统的设计与实现,并给出了性能评测结果和未来发展方向。 阅读全文

Mock Server实践

闫帅
美团EP团队开发的Mock Server,是用来模拟被测系统外部依赖模块行为的通用服务。本文介绍了Mock Server的整体结构及在美团使用的典型案例。 阅读全文

Docker系列之一:入门介绍

xzs
Docker简介 Docker是DotCloud开源的、可以将任何应用包装在Linux container中运行的工具。2013年3月发布首个版 阅读全文

美团数据仓库-数据脱敏

song
背景与目标 在数据仓库建设过程中,数据安全扮演着重要角色,因为隐私或敏感数据的泄露,会对数据主体(客户,员工和公司)的财产、名誉、人身安全、以 阅读全文

改进合作 Git 工作流:自动提取、合并提交

john
背景 每天,美团的上百名工程师都在不断改进美团的用户体验,或是加入各种新鲜的功能。作为负责展现、交互的前端工程师,我们上线的次数可达一天数十次 阅读全文

Hadoop安全实践

code6
前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及 阅读全文

CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决

Pivotal, yc
问题现象 在zabbix系统中,对Hadoop集群的历史监控数据分析时,发现在执行大Job任务时,某些服务节点的cpu sys态很高; 具体以ha 阅读全文

基于Flume的美团日志收集系统(一)架构和设计

dju alex
背景 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基 阅读全文

基于Flume的美团日志收集系统(二)改进和优化

dju alex
在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 阅读全文