文章列表

TensorFlow在美团外卖推荐场景的GPU训练优化实践

家恒 国庆等
美团机器学习平台基于内部深度定制的TensorFlow研发了Booster GPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性,从数据、计算、通信等多个角度进行了深度的优化,最终其性价比达到CPU任务的2~4倍。本文主要讲述Booster架构的设计实现、性能优化及业务落地工作,希望能对从事相关开发的同学有所帮助或者启发。 阅读全文

Java系列 | 远程热部署在美团的落地实践

凯哥 占峰 李晗 龚炎 程晓 玉龙
Sonic是美团内部一款用于热部署的IDEA插件。本文主要讲述Sonic的实现细节以及底层原理,从IDEA插件到自动化部署,再到沉浸式开发产品闭环,全方位讲述了Sonic在美团的落地与实践经验。目前业界对标的产品并不多,希望本文能对从事联调/开发/测试等相关方向的同学有所帮助或启发。 阅读全文

GPU在外卖场景精排模型预估中的应用实践

杨杰 陈卓
GPU等专用芯片以较低的成本提供海量算力,已经成为机器学习领域的核心利器,在人工智能时代发挥着越来越重要的作用。如何利用GPU这一利器赋能业务场景,是很多技术研发者都要面临的问题。本文分享了美团外卖搜索/推荐业务中模型预估的GPU架构设计及落地的过程,希望能对从事相关应用研发的同学有所帮助或启发。 阅读全文

广告平台化的探索与实践 | 美团外卖广告工程实践专题连载

乐彬 国梁 玉龙 吴亮 磊兴 王焜 刘研 思远
随着美团外卖业务不断发展,外卖广告引擎团队在多个领域进行了工程上的探索和实践,目前已经取得了一些成果。我们计划通过连载的形式分享给大家,本文是《美团外卖广告工程实践》专题连载的第一篇。本文针对业务提效的目标,介绍了美团外卖广告引擎在平台化过程中的一些思考和实践。 阅读全文

美团集群调度系统的云原生实践

谭霖
本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践,阐述了美团在落地以Kubernetes为代表的云原生技术时,比较关心的问题、挑战以及对应的推进策略。同时本文也介绍了针对美团业务需求场景做的一些特色支持,希望本文能够对云原生领域感兴趣的同学有所帮助或者启发。 阅读全文

TensorFlow在推荐系统中的分布式训练优化实践

逸帆 家恒 峥少 鹏鹏 永宇 正阳 黄军
美团内部深度定制的TensorFlow版本,基于原生TensorFlow 1.x架构与接口,从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景,分布式扩展性提升10倍以上,单位算力性能也有显著提升,并在美团内部业务中大量使用,本文介绍了相关的优化与实践工作。 阅读全文

如何优雅地记录操作日志?

站通
操作日志广泛存在于各个B端和一些C端系统中,比如:客服可以根据工单的操作日志快速知道哪些人对这个工单做了哪些操作,进而快速地定位问题。操作日志和系统日志不一样,操作日志必须要做到简单易懂。所以如何让操作日志不和业务逻辑耦合,如何让操作日志的内容易于理解,让操作日志的接入更加简单?上面这些都是本文要回答的问题,主要围绕着如何“优雅”地记录操作日志展开描述。 阅读全文

新一代CTR预测服务的GPU优化实践

伟龙 小卓 文魁 駃飞 小新
CTR模型在互联网的搜索、推荐、广告等场景有着广泛的应用。近年来,随着深度神经网络的引入,CTR模型的推理对硬件算力的要求逐渐增加。本文介绍了美团在CTR模型优化的实践。通过分析模型结构特点,结合GPU硬件架构,我们设计了一系列流程对模型进行定制优化,达到了降低延迟、提高吞吐、节省成本的目标。 阅读全文

Spock单元测试框架介绍以及在美团优选的实践

建华
Spock是一款国外优秀的测试框架,基于BDD(行为驱动开发)思想实现,功能非常强大。Spock结合Groovy动态语言的特点,提供了各种标签,并采用简单、通用、结构化的描述语言,让编写测试代码更加简洁、高效。目前,美团优选物流绝大部分后端服务已经采用了Spock作为测试框架,在开发效率、可读性和维护性方面均取得了不错的收益。 阅读全文

美团终端消息投递服务Pike的演进之路

健午 佳猛 陆凯 冯江
Pike 2.0致力于为美团提供一套易接入、高可靠、高性能的双向消息投递服务。本文首先从系统架构升级、工作模式升级、长稳保活机制升级等方面介绍了Pike2.0的技术演进,然后介绍了Pike 2.0在直播、游戏等新业务场景下的特性支持。希望本文能给对消息投递服务感兴趣或者从事相关工作的读者一些帮助和启发。 阅读全文

本地生活综合性需求图谱的构建及应用

李翔
本地生活综合性需求图谱(GENE: lifestyle GEneral NEeds net),是从用户需求视角出发,深入挖掘本地生活场景下用户多样化的需求,并将其与多行业、多类型的供给形成关联的知识图谱,旨在提升平台供需匹配效率,助力业务增长。本文介绍了本地生活综合性需求图谱的背景、体系设计和涉及的算法实践,并展示了在美团多个业务线的应用落地,希望给大家带来一些帮助或启发。 阅读全文

百亿规模API网关服务Shepherd的设计与实现

充泽 志洋 李敏
在微服务架构下,服务拆分会让API的规模成倍增长,使用API网关来管理API逐渐成为一种趋势。美团统一API网关服务Shepherd就是在这种背景下应运而生,适用于美团业务且完全自研,用于替换传统的Web层网关应用,业务研发人员通过配置的方式即可对外开放功能和数据。本文将介绍美团统一API网关诞生的背景、关键的技术设计和实现,以及API网关未来的规划,希望能给大家带来一些帮助或者启发。 阅读全文

算法平台在线服务体系的演进与实践

永波 季尚 艳伟 非凡
图灵平台是美团配送技术团队搭建的一站式算法平台,图灵平台中的在线服务框架——图灵OS主要聚焦于机器学习和深度学习在线服务模块,为模型和算法策略的线上部署和计算提供统一的平台化解决方案,能够有效提升算法迭代效率。本文将与大家探讨图灵OS在建设和实践中的思考和优化思路,希望能对大家有所帮助或者启发。 阅读全文

GraphQL及元数据驱动架构在后端BFF中的实践

陆晨 致远 陈琦
GraphQL是Facebook提出的一种数据查询语言,核心特性是数据聚合和按需索取,目前被广泛应用于前后端之间,解决客户端灵活使用数据问题。本文介绍的是GraphQL的另一种实践,我们将GraphQL下沉至后端BFF层之下,结合元数据技术,实现数据和加工逻辑的按需查询和执行。这样不仅解决了后端BFF层灵活使用数据的问题,这些字段加工逻辑还可以直接复用,大幅度提升了研发的效率。本文介绍的实践方案已经在美团部分业务场景中落地,并取得不错效果,希望这些经验能够对大家有帮助。 阅读全文

美团Serverless平台Nest的探索与实践

殷琦 华珅 飞飞 志洋 奕锟 佳文 凯鑫 亚辉
Serverless是目前比较热门的技术话题,各个大云厂商以及互联网大厂内部都在积极建设Serverless产品。本文将介绍美团Serverless产品在落地过程中的一些实践经验,其中包括技术选型的考量、系统的详细设计、系统稳定性优化、产品的周边生态建设以及在美团的落地情况。虽然各个公司的背景不尽相同,但总有一些可以相互借鉴的思路或方法,希望能给大家带来一些启发或者帮助。 阅读全文

美团图数据库平台建设及业务实践

登昌 梁帅 高辰 杨鑫 尊远 王超
美团有比较多的图数据存储及多跳查询需求,亟需一种组件来对千亿量级图数据进行管理。海量图数据的高效存储和查询是图数据库研究的核心课题,如何在大规模分布式场景中进行工程落地是我们面临的痛点问题。下面介绍美团在图数据库选型及平台建设方面的一些工作。 阅读全文

美团弹性伸缩系统的技术演进与落地实践

tuyang
弹性伸缩具有应突发、省成本、自动化的业务价值。平台侧将各业务零散、闲置资源进行整合,形成一个大规模资源池,通过弹性调度、库存管控技术在公司运营成本和业务体感中寻求较好的平衡。本文将介绍弹性伸缩系统落地过程中面临的技术挑战、推广以及运营层面的一些思考。 阅读全文

OCTO 2.0:美团基于Service Mesh的服务治理系统详解

舒超、世朋、来俊
OCTO 2.0是美团下一代分布式服务治理系统,它基于美团现有服务治理系统OCTO 1.0与Service Mesh通信基础设施层的结合,是命名服务、配置管理、性能监控、限流鉴权等服务治理功能的全新演进版本。本文主要讲述OCTO 2.0的重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。 阅读全文

美团外卖特征平台的建设与实践

英亮 陈龙 刘磊 亚劼 乐彬
本文介绍了外卖特征平台在特征生产、特征获取计算以及训练样本建设过程中遇到的挑战以及优化思路,为外卖业务的算法迭代提供了有力支撑。 阅读全文

基于SSD的Kafka应用层缓存架构设计与实现

世吉 仕禄
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。 阅读全文