文章列表

数据库全量SQL分析与审计系统性能优化之旅

粟含
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。 阅读全文
, , , ,

美团获得小样本学习榜单FewCLUE第一!Prompt Learning+自训练实战

骆颖 徐俊 谢睿 武威
近日,美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶,在自然语言推理(OCNLI)单任务中取得第一,并在极少数样本(一个类别仅100余个)的条件下,在新闻分类(TNEWS)、科学文献学科分类(CSLDCP)任务上超过了人类识别精确度。 阅读全文
, , , ,

Android对so体积优化的探索与实践

洪凯 常强
减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。本文将先从 so 文件格式讲起,结合文件格式分析哪些内容可以优化,然后再具体讲解每项优化手段以及注意事项,最后介绍相关的工程实践经验。希望能对从事包体积优化的同学有所帮助或启发。 阅读全文
, , , ,

如何应对开源组件⻛险?软件成分安全分析(SCA)能力的建设与演进

中文
随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开源组件可能存在哪些严重的安全隐患等相关的问题,几乎是没有任何能力去进行收敛,多年前的 SCA(Software Composition Analysis 软件成分分析)技术又重出江湖,变成该领域⻛险治理的一个“神器”。本文主要探讨如何利用 SCA 技术实现对开源组件⻛险治理相关能力的建设与落地,希望给大家以启发或者帮助。 阅读全文
, , , , ,

对话摘要技术在美团的探索(SIGIR)

马兵 刘操 今雄 书杰 见耸 杨帆 广鲁等
随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,而文本摘要就是其中一个重要的手段。本文首先介绍了经典的文本摘要方法,包括抽取式摘要方法和生成式摘要方法,随后分析了对话摘要的模型,并分享了美团在真实对话摘要场景中面临的挑战。同时基于实际的场景,本文提出了阅读理解的距离监督Span-Level对话摘要方案(已发表在SIGIR 2021),该方法比强基准方法在ROUGE-L指标和BLEU指标上提升了3%左右。 阅读全文
, , ,

图神经网络训练框架的实践和探索

付浩 宪鹏 祥洲 玉基 徐灏 梦迪 武威
美团搜索与NLP团队在图神经网络的长期落地实践中,基于业务实际场景,自主设计研发了图神经网络框架Tulong,以及配套的图学习平台,提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计,希望为从事相关工作的同学带来启发或者帮助。 阅读全文
, , , , ,

CompletableFuture原理与实践-外卖商家端API的异步化

长发 旭孟 向鹏
CompletableFuture由Java 8提供,是实现异步化的工具类,上手难度较低,且功能强大,支持通过函数式编程的方式对各类操作进行组合编排。相比于ListenableFuture,CompletableFuture有效提升了代码的可读性,解决了“回调地狱”的问题。本文主要讲述CompletableFuture的原理与实践,同时结合了美团外卖商家端API的异步化实战,希望能对从事相关开发的同学有所帮助或启发。 阅读全文
, , ,

业务数据治理体系化思考与实践

王磊 有为 尉斌
美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。 阅读全文
, , ,

数据库异常智能分析与诊断

金龙
DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。 阅读全文
, , , , ,

标准化思想及组装式架构在后端BFF中的实践

陆晨 致远 陈琦
进入互联网“下半场”,靠“堆人力”的研发方式已经不再具备竞争力了,真正有效且可行的方式是让系统能力变得可沉淀、可组合复用、可灵活应对各种变化。在多业态、大规模定制需求的背景下,本文分享了如何通过组装式开发的方法来提升业务的竞争力。 阅读全文
, , , ,

美团外卖广告智能算力的探索与实践(二)

家宏 顺辉 国梁 乾龙 乐彬
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化。本文主要介绍了美团外卖广告智能算力从线性规划算法到进化算法的技术演进过程,给出了一种基于进化算法的多动作算力分配方案,希望能给大家带来一些帮助或者启发。 阅读全文
, , , , ,

Linux下跨语言调用C++实践

林阳 朱超 识瀚
不同的开发语言适合不同的领域,例如Python适合做数据分析,C++适合做系统的底层开发,假如它们需要用到相同功能的基础组件,组件使用多种语言分别开发的话,不仅增加了开发和维护成本,而且不能确保多种语言间在处理效果上是一致的。本文讲述在Linux系统下跨语言调用的实践总结,即开发一次C++语言的组件,其他语言通过跨语言调用技术调用C++组件。 阅读全文
, , , , ,

基于代价的慢查询优化建议

粟含
对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。 阅读全文
, , , , , , , ,

知识图谱可视化技术在美团的实践与探索

巍耀
知识图谱可视化可以更直观地查看和分析知识图谱的数据。本文主要介绍了美团平台在布局策略、视觉降噪、交互功能、可视化叙事、3D图谱可视化等方面的一些实践和探索,同时沉淀出了uni-graph图可视化解决方案,并支持了美团的很多业务场景,包括美团大脑、图数据库、智能IT运维、组件依赖分析、行业领域图谱等。希望能对从事知识图谱可视化方向的同学有所帮助或启发。 阅读全文
, , , , ,

短视频内容理解与生成技术在美团的创新实践

马彬
针对视频数据,如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的研发课题。本文将为大家分享短视频内容理解与生成技术在美团业务场景的落地实践。 阅读全文
, , , , ,

Linux中基于eBPF的恶意利用与检测机制

陈驰 杨一 鑫博
近几年云原生领域飞速发展,eBPF技术成为各厂商首选技术,在网络编排、行为观测等领域四处开花。然而收益与风险并存,不久前爆出的Bvp47后门正是利用BPF技术惊人地在世界各地潜伏了近二十年。今日BPF已演进为eBPF,黑客会如何利用,造成什么危害?我们又该如何防范? 阅读全文
, , , , , ,

终端新玩法:技术栈无关的剧本式引导

松涛 尚先 筱斌
App引导是端上做心智建设的重要手段,我们尝试了“剧本式”思维获得了较好效果。在想法落地时,相关研发工作量较大,而且终端技术栈多样化,需要做到“零代码”和“技术栈无关”。最终我们通过“图像匹配”与“标准协议”等核心方案实现了突破。本文将介绍该项目的思考过程,并会对关键技术方案进行剖析和解读,希望能给从事相关开发工作的同学以启发。 阅读全文
, , , , , , ,

NeurIPS 2021 | Twins:重新思考高效的视觉注意力模型设计

祥祥 田值 张勃 晓林 海兵 华夏
Twins 是美团和阿德莱德大学合作提出的视觉注意力模型,相关论文已被 NeurIPS 2021 会议接收。本文主要讲述 Twins 解决的难点、设计和实现思路,以及在美团场景的探索落地,希望能对从事视觉算法研发的同学有所帮助和启发。 阅读全文
, , , , ,

TensorFlow在美团外卖推荐场景的GPU训练优化实践

家恒 国庆等
美团机器学习平台基于内部深度定制的TensorFlow研发了Booster GPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性,从数据、计算、通信等多个角度进行了深度的优化,最终其性价比达到CPU任务的2~4倍。本文主要讲述Booster架构的设计实现、性能优化及业务落地工作,希望能对从事相关开发的同学有所帮助或者启发。 阅读全文
, , , , , ,

Java系列 | 远程热部署在美团的落地实践

凯哥 占峰 李晗 龚炎 程晓 玉龙
Sonic是美团内部一款用于热部署的IDEA插件。本文主要讲述Sonic的实现细节以及底层原理,从IDEA插件到自动化部署,再到沉浸式开发产品闭环,全方位讲述了Sonic在美团的落地与实践经验。目前业界对标的产品并不多,希望本文能对从事联调/开发/测试等相关方向的同学有所帮助或启发。 阅读全文
, , , , , ,