首页

最近更新

Kafka在美团数据平台的实践

海源 仕禄 肖恩 鸿洛 启帆 胡荣 李杰
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能给从事相关开发工作的同学带来帮助或启发。 阅读全文
, , ,

日志导致线程Block的这些坑,你不得不防

志洋 陈超 李敏 凯晖 殷琦
研发人员在项目开发中不可避免地要使用日志,通过它来记录信息和排查问题。Apache Log4j2提供了灵活且强大的日志框架,虽然上手比较快,但稍有不慎也非常容易踩“坑”。本文介绍了美团统一API网关服务Shepherd在实践中所踩过的关于日志导致线程Block的那些“坑”,以及我们如何从日志框架源码层面进行分析和解决问题的过程,并在最后给大家分享一些关于日志避“坑”的实践经验,希望能给大家带来一些帮助。 阅读全文
, , , , , ,

ACM SIGIR 2022 | 美团技术团队精选论文解读

美团技术团队
今年美团技术团队有多篇论文被ACM SIGIR 2022收录,这些论文涵盖了观点标签生成、跨域情感分类、对话摘要领域迁移、跨域检索、点击率预估、对话主题分割等多个技术领域。本文将精选10篇论文做简要的介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。 阅读全文
, , , ,

可视化全链路日志追踪

海友 怀宇 亚平 立森
可观测性作为系统高可用的重要保障,已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂,传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力,而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联,但更聚焦于调用链路,也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案,它以业务链路为载体,通过有效组织业务每次执行的日志,实现了执行现场的可视化还原,支持问题的高效定位。 阅读全文
, , , ,

工程效能CI/CD之流水线引擎的建设实践

耿杰 春晖 志远
经过近3年的建设打磨,美团流水线引擎完成了服务端的基建统一,每日支撑近十万次的流水线执行量,系统成功率保持在99.99%以上。本文主要介绍在自研引擎建设层面遇到的挑战以及解决方案。 阅读全文
, , , , ,

外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载

亚劼 英亮 陈龙 成杰 登峰 东奎 仝晔 思敏 乐彬
在外卖广告CTR场景下,深度学习模型正在从简单DNN小模型过渡到千亿参数复杂模型。基于该背景,本文将重点针对大规模深度模型在全链路带来的挑战,从在线时延、离线效率两个方面展开,阐述外卖广告在大规模深度模型上的工程实践经验,希望能为读者提供思路上的借鉴。 阅读全文
, , , ,

大众点评搜索相关性技术探索与实践

校娅 沈元 朱迪 汤彪 张弓
搜索相关性用于衡量Query和Doc的相关程度,是搜索引擎的重要环节,本文主要讲述大众点评搜索团队在相关性计算上的技术探索和实践,通过多相似矩阵模型结构、多阶段训练等方法提升预训练模型在相关性问题上的效果,同时解决基于交互的模型在线预测的性能问题,希望为从事相关工作的同学能够带来一些启发或者帮助。 阅读全文
, , , ,

CVPR 2022 | 美团技术团队精选论文解读

美团技术团队
计算机视觉国际顶会CVPR 2022近日在美国新奥尔良召开,今年美团技术团队有多篇论文被CVPR 2022收录,这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、图像描述、模型安全、跨模态视频内容检索等研究领域。本文将对6篇精选的论文做简要的介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。 阅读全文
, , , , ,

YOLOv6:又快又准的目标检测框架开源啦

楚怡 凯衡 等
近日,美团视觉智能部研发了一款致力于工业应用的目标检测框架 YOLOv6,能够同时专注于检测的精度和推理效率。在研发过程中,视觉智能部不断进行了探索和优化,同时吸取借鉴了学术界和工业界的一些前沿进展和科研成果。在目标检测权威数据集 COCO 上的实验结果显示,YOLOv6 在检测精度和速度方面均超越其他同体量的算法,同时支持多种不同平台的部署,极大简化工程部署时的适配工作。特此开源,希望能帮助到更多的同学。 阅读全文
, , , , , ,

端智能在大众点评搜索重排序的应用实践

祝升 刘哲 汤彪
端智能,是指在移动端设备运行人工智能(AI)应用的技术。本文主要讲述大众点评搜索场景下,在端侧部署大规模深度学习模型进行搜索重排序任务的实践方案,包括端上特征工程、模型迭代思路,以及具体部署优化的过程,希望能对从事相关领域开发的同学有所帮助或者启发。 阅读全文
, , , ,

美团综合业务推荐系统的质量模型及实践

勇皓 根根 王欣 贺贺 俐聪
推荐系统是效果导向的数据应用服务,在功能的“有”和“无”之间,有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型,通过数据血缘关联了数据表、算法模型、系统服务和用户请求,并结合美团综合业务的实践进行了拓展泛化,希望能对大家有所帮助或启发。 阅读全文
, , , ,

数据库全量SQL分析与审计系统性能优化之旅

粟含
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。 阅读全文
, , , ,

美团获得小样本学习榜单FewCLUE第一!Prompt Learning+自训练实战

骆颖 徐俊 谢睿 武威
近日,美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶,在自然语言推理(OCNLI)单任务中取得第一,并在极少数样本(一个类别仅100余个)的条件下,在新闻分类(TNEWS)、科学文献学科分类(CSLDCP)任务上超过了人类识别精确度。 阅读全文
, , , ,

Android对so体积优化的探索与实践

洪凯 常强
减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。本文将先从 so 文件格式讲起,结合文件格式分析哪些内容可以优化,然后再具体讲解每项优化手段以及注意事项,最后介绍相关的工程实践经验。希望能对从事包体积优化的同学有所帮助或启发。 阅读全文
, , , ,

如何应对开源组件⻛险?软件成分安全分析(SCA)能力的建设与演进

中文
随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开源组件可能存在哪些严重的安全隐患等相关的问题,几乎是没有任何能力去进行收敛,多年前的 SCA(Software Composition Analysis 软件成分分析)技术又重出江湖,变成该领域⻛险治理的一个“神器”。本文主要探讨如何利用 SCA 技术实现对开源组件⻛险治理相关能力的建设与落地,希望给大家以启发或者帮助。 阅读全文
, , , , ,

对话摘要技术在美团的探索(SIGIR)

马兵 刘操 今雄 书杰 见耸 杨帆 广鲁等
随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,而文本摘要就是其中一个重要的手段。本文首先介绍了经典的文本摘要方法,包括抽取式摘要方法和生成式摘要方法,随后分析了对话摘要的模型,并分享了美团在真实对话摘要场景中面临的挑战。同时基于实际的场景,本文提出了阅读理解的距离监督Span-Level对话摘要方案(已发表在SIGIR 2021),该方法比强基准方法在ROUGE-L指标和BLEU指标上提升了3%左右。 阅读全文
, , ,

图神经网络训练框架的实践和探索

付浩 宪鹏 祥洲 玉基 徐灏 梦迪 武威
美团搜索与NLP团队在图神经网络的长期落地实践中,基于业务实际场景,自主设计研发了图神经网络框架Tulong,以及配套的图学习平台,提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计,希望为从事相关工作的同学带来启发或者帮助。 阅读全文
, , , , ,

CompletableFuture原理与实践-外卖商家端API的异步化

长发 旭孟 向鹏
CompletableFuture由Java 8提供,是实现异步化的工具类,上手难度较低,且功能强大,支持通过函数式编程的方式对各类操作进行组合编排。相比于ListenableFuture,CompletableFuture有效提升了代码的可读性,解决了“回调地狱”的问题。本文主要讲述CompletableFuture的原理与实践,同时结合了美团外卖商家端API的异步化实战,希望能对从事相关开发的同学有所帮助或启发。 阅读全文
, , ,

业务数据治理体系化思考与实践

王磊 有为 尉斌
美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。 阅读全文
, , ,

数据库异常智能分析与诊断

金龙
DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。 阅读全文
, , , , ,

继续学习