Tag: # 大数据

本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》。本文介绍了基于模式挖掘的可靠性治理探索，为通过技术手段解决该领域代表性问题开启了新的思路。文章第一部分介绍可靠性治理的痛点；第二部分引入模式的概念；第三部分讨论新基建下的新尝试；第四部分分享三个典型的实践案例。 阅读全文

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现，主要包括方案选型，与其他备选方案的比较以及方案的核心思考点等，最后介绍该方案与其他备选方案的性能对比。 阅读全文

2020年春节到来之际，我们精选美团技术博客几十篇技术干货以及数篇国际顶会论文，整理制作成一本厚达900多页的电子书，作为新年礼物赠送给大家。 阅读全文

YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。 阅读全文

面对海量用户行为数据，从上报到处理，再到存储，以及最后的服务提供，都面临一系列挑战，本文将介绍我们对这些挑战的处理方法，以此来满足我们业务的快速发展。 阅读全文

本文以美团旅行大交通实时战场沙盘为例，讲述实时数据处理系统的架构、设计以及优化。 阅读全文

Kerberos 是一种网络认证协议，通过通过传统的密码技术（如：共享密钥)，为客户机 / 服务器应用程序提供强大的认证服务。 阅读全文

运营策略及方式在激烈的竞争中越发重要，需要较强的系统能力进行支撑。本文主要介绍酒旅实时运营业务在具体场景下的实践。 阅读全文

本文介绍了美团点评DataMan数据质量监管平台设计思路、建设方案以及应用实践。 阅读全文

本文介绍了美团点评境内度假运营专题的数据建设、产品服务、可视化等过程的应用及实践。 阅读全文

本文介绍了基于Storm的美团商家端实时数据处理系统技术细节。 阅读全文

本文介绍了智能投放系统中场景查询器模块，后端的开发以及优化实践。 阅读全文

将分布式实时计算框架 Flink 与 Storm 进行性能对比，为实时计算平台和业务提供数据参考。 阅读全文

在大数据与人工智能如火如荼的今天，任何策略系统都离不开大量在线特征的支撑。本文提出一些在线特征系统面临的问题和解决方案，并聊一聊系统架构上的一些思考。 阅读全文

在大数据与人工智能如火如荼的今天，任何策略系统都离不开大量在线特征的支撑。本文提出一些在线特征系统面临的问题和解决方案，并聊一聊系统架构上的一些思考。 阅读全文

本文介绍了旅游搜索为应对本异地差异大、搜索意图多样等挑战，在召回层面的策略演进过程，最后总结了策略迭代优化的方法论。 阅读全文

HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案，真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发，介绍了HDFS Federation在美团点评的实际应用经验。 阅读全文

本文介绍了旅游推荐系统从0到1完整的演进过程，包括：召回/排序策略迭代优化、工程架构设计、应用场景实践等。最后提出了旅游推荐系统未来面临的挑战。 阅读全文

外卖特征档案平台在外卖精准营销中扮演了重要的角色，本文主要介绍该平台的技术实现和应用案例。 阅读全文

想要用好Spark，就必须进行合理的性能优化，才能充分发挥出它的优势。本文主要讲解了笔者实际工作中积累的Spark性能优化方案的高级内容，包括数据倾斜调优和shuffle调优。 阅读全文