美团正式发布 CatPaw:全场景 AI Agent,从个人提效到企业智能化
搭载美团 LongCat 2.0 的全场景 AI Agent 平台 CatPaw 正式上线,我们将模型能力从“跑得动”推向“用得好”。CatPaw 提供开箱即用的 AI 智能工作台与企业级 Agent 开发托管能力。
搭载美团 LongCat 2.0 的全场景 AI Agent 平台 CatPaw 正式上线,我们将模型能力从“跑得动”推向“用得好”。CatPaw 提供开箱即用的 AI 智能工作台与企业级 Agent 开发托管能力。
过去一年,我们见证了 Search Agent 能力的显著演进。在 BrowseComp 等评测上,顶尖模型准确率从最初的 30% 区间迅速攀升至 90% 以上。然而,当基准迅速饱和,其区分模型能力的价值也随之递减。
美团 LongCat 团队构建了 MineExplorer —— 首个在开放世界中做到分钟级长程任务的评测基准,系统性地评测多模态大模型在需要长程规划、并包含隐藏前置条件的任务中的真实能力。
美团 LongCat-2.0 总参数 1.6T,平均激活约 48B,为真实的 Agentic Coding 任务而生,架构上创新性引入 LongCat 稀疏注意力和 N-gram Embedding,提升长上下文处理效率与 Token 级表示能力的同时,结合动态激活进一步强化了代码理解、生成以及执行的表现。
如果你正在关注 AI 前沿,这篇内容值得收藏。2026 年,美团技术团队数十篇论文被 ACL、SIGIR、ICML、KDD 等顶会收录。我们精选 32 篇,进行了 5 大专场直播。
作为业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型(总参数 1.6 T,平均激活约 48 B,动态范围 33B~56B),LongCat-2.0 从零开始预训练,原生支持 1M 超长上下文,其架构设计自始至终围绕一个核心目标:让模型在真实的 Agentic Coding 任务中,更高效、更稳定地完成代码理解、生成与执行。
ICML是机器学习领域最具影响力的国际顶级学术会议之一。大会旨在探讨机器学习未来发展所面临的关键挑战与核心问题,并通过征集和评估具有重要理论价值和实际影响的前沿研究成果,推动领域发展并引领未来研究方向。
VitaBench 2.0 是首个真实生活场景下面向长期动态用户建模的智能体评测基准,它系统性地评测大语言模型在长期、真实、动态的用户互动中个性化与主动性的能力。
美团业务研发平台/搜推 ASX (Agentic System X)团队聚焦构建大模型为基础的 Agent 技术体系,在大模型后训练、Agentic 强化学习以及多模态理解等核心前沿方向持续深耕,已在 ICLR、NeurIPS、CVPR、AAAI 等 AI 领域的国际顶会发表数十篇高质量研究成果。本文精选了6篇进行解读,希望对大家有所帮助或启发。
美团智能创作团队围绕海报生成 AIGC 构建了完整技术体系,打造「生成-编辑-评判」技术闭环,目前在美团外卖、品牌 IP 等场景落地,已全部开源。
美团 LongCat 团队提出并开源 WBench,它是首个面向交互式视频世界模型的系统性多轮评测基准。它就像一台“CT 扫描仪”,能精准定位当前世界模型在从“被动观看”到“主动交互”的过程中,到底卡在了哪里。。
美团业务研发平台/履约 AI 算法团队,聚焦构建大模型为基础的 Agent 技术体系,用 AI 赋能美团履约业务, 构建 Agent 自进化的运营系统。在大模型 CPT、Post-training、Agentic RL 以及多模态理解等核心前沿方向持续深耕,已在 ACL、EMNLP 等AI领域的国际顶会发表数十篇高质量研究成果。本文分享了美团履约团队专场聚焦 ACL 会议论文以及前沿技术实践。
ACL是计算语言学和自然语言处理(NLP)领域的国际顶级学术会议,本文解读了被 ACL 顶会收录的其中 6 篇论文,技术方向覆盖大模型评测、复杂流程推理、竞赛级数学思维优化、强化学习优化、生成式推荐等领域。
LongCat-Video-Avatar 1.5是一款从开源 SOTA 迈向商业级应用的数字人视频模型。在唇形同步、物理合理性、长视频稳定性、多人互动和高效推理上实现了全面跃升。LongCat-Video-Avatar 1.5 即便在复杂商业场景里,也能稳定、自然地输出高质量内容,让数字人视频生成从彩排室的完美演练,走向千人千面的真实舞台。
美团 LongCat 团队正式发布 General 365。我们发现,在对 26 款主流模型的实测中,目前地表最强的 Gemini 3 Pro 准确率仅为 62.8%,而绝大多数模型甚至没能摸到 60 分的及格线。
当 90% 以上代码由 AI 生成,决定系统走向的不是谁写得更快,而是约束 AI 的能力。没有统一规范,AI 只会成倍放大混乱。本文基于 31 万行代码重构实践,分享我们如何用 Agent 评测思路管理 AI Coding——通过技术债梳理、建设Rule、重构 SOP 和 Pre-PR 机制,把重构从高成本专项变成随迭代持续推进的日常动作。
LARYBench (Latent Action Representation Yielding Benchmark),一个指引从大规模的视觉数据学习到通用的隐式动作表征的系统化评测基准。实验结果表明:在动作泛化和控制精度上,通用视觉模型的表现均显著优于专门为具身智能设计的动作专家模型,具身动作表征可以从大规模人类视频数据中涌现。
能不能让 AI 直接学会声音本身的规律,跳过中间环节?为破解这一技术瓶颈,美团 LongCat 团队正式发布 LongCat-AudioDiT。在该模型中,彻底抛弃梅尔谱等中间表示,直接在波形潜空间进行基于扩散模型的文本转语音(Text-to-Speech, TTS),从根源阻断数据转换的级联误差。
在常规的数学解题中,模型只需要“答对最终数值”即可,但数学定理证明不同,它要求极度严苛的逻辑链条,任何一句自然语言的模棱两可,都可能导致整个证明的崩塌。那么,如何让 AI 从“猜答案”走向“严谨证明”,成为复杂推理具有挑战的课题。为了解答这个问题,我们开源了专门用于数学形式化与定理证明的模型 —— LongCat-Flash-Prover。
LongCat-Next 是我们在通往物理世界 AI 道路上的一次探索。今天,我们把研究思路的核心——LongCat-Next 模型和它的离散分词器全部开源,希望更多开发者能基于它,构建真正能感知、理解并作用于真实世界的 AI。
美团数据平台构建了以指标平台为核心的新一代 BI 架构,通过自动语义和增强计算两种核心能力的建设,部分解决了传统 BI 平台在个性化数据集驱动下产生的数据口径混乱、查询性能差等问题。
为突破传统 Web 框架的性能瓶颈,大众点评增长团队引入 Qwik.js 重构 M 站核心页面架构,解决了重构前页面加载慢、维护成本高的难题。借助“可恢复性”能力,我们甩掉了传统水合的性能损耗,搭配全链路优化与工程化适配,让各个页面的性能指标都得到了明显提升。本文将拆解本次重构的技术选型、原理与落地细节,沉淀前沿框架在站外场景的落地经验。
依赖第三方订阅进行非官方调用存在账号安全风险与服务不稳定性。为规避此类问题,LongCat 团队提供稳定合规的官方免费 API,开发者可通过官方渠道直接接入 OpenClaw,在确保账号安全的前提下构建自动化工作流。
LongCat-Flash-Lite是一款拥有 685 亿参数,每次推理仅激活 29 亿~ 45 亿参数的轻量化 MoE 模型。通过将超过 300 亿参数高效用于嵌入层,LongCat-Flash-Lite 不仅超越了参数量等效的 MoE 基线模型,还在与同规模现有模型的对比中展现出卓越的竞争力,尤其在智能体与代码领域表现突出。
值此马年春节来临之际,我们精选了过去一年美团技术团队微信公众号发布的 40 多篇优质技术文章,精心汇编成一本 500 多页的电子书。谨以此作为一份特别的新年礼物,献给每一位热爱技术、持续探索的同学。
LongCat-Flash-Thinking-2601模型创新性地打造了 “重思考模式” ,通过并行推理与深度总结,实现推理宽度与深度的协同扩展,显著提升复杂交互与多步规划任务中的表现。
美团技术团队推出了 EvoCUA 模型并在 Github、Huggingface 开源,通过构建可验证数据合成引擎与十万级并发的交互沙盒,将训练范式从传统的“静态轨迹模仿”转变为高效的“经验进化学习”。
美团 LongCat 团队正式对外发布并开源 LongCat-Flash-Thinking-2601。作为已发布的 LongCat-Flash-Thinking 模型的升级版,LongCat-Flash-Thinking-2601 在 Agentic Search(智能体搜索)、Agentic Tool Use(智能体工具调用)、TIR(工具交互推理)等核心评测基准上,均达到开源模型 SOTA 水平。
美团质效技术部联合复旦大学周扬帆教授团队推出 KuiTest——零规则 UI 功能性异常测试工具。KuiTest 通过将“人类预期”直接用作 Test Oracle,解决了长期以来 UI 测试 Oracle 泛化性差的自动化痛点。实验表明,KuiTest 异常召回率达 86%,误报率仅 1.2%,已在执行 21 万+测试用例,发现百余例有效缺陷,大幅降低人工成本并提升测试覆盖率。
AAAI 是人工智能领域顶级的国际学术会议,本文精选了美团技术团队被收录的8篇学术论文(附下载链接),覆盖大模型推理、 退火策略、过程奖励模型、强化学习、视觉文本渲染等多个技术领域,希望这些论文能对大家有所帮助或启发。
感谢这一路上,每一位伙伴的并肩前行与坚定支持。今年,美团技术团队在持续深耕中涌现出不少值得分享的实践与开源产品&服务。我们从中精选了18篇具有代表性的技术文章,内容涵盖大模型开源、研发技能、产品服务三大方向。
今年 8 月,美团开源的 InfiniteTalk 项目凭借无限长度生成能力与精准的唇形、头部、表情...
美团 LongCat Interaction 团队联合上海交通大学听觉认知与计算声学实验室,以及香港科技大学的研究者,共同完成了大模型剪枝方法的创新研究,提出了名为 DenoiseRotator 的新技术。通过首先对参数矩阵进行变换,“将知识和推理能力浓缩到由少量参数组成的子网络内”,“再裁剪掉子网络外的参数”,实现了大模型剪枝的新范式。
美团 LongCat 全新上线 AI 生图功能,该功能基于 LongCat 系列模型「LongCat-Image」打造而成。无论是追求高效出图的普通用户,还是需要精准落地创意的专业创作者,LongCat 都以 “轻量化模型 + 流畅体验” ,让 AI 生图真正成为人人可用的创作工具。
美团 LongCat 团队正式发布并开源 LongCat-Image 模型,通过高性能模型架构设计、系统性的训练策略和数据工程,以 6B 参数规模,成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果,为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。
AI生成代码质量难以把控!本文分享来自美团的技术实践,三大策略破解AI编程痛点。单测快速验证逻辑正确性,安全网保护存量代码演进,TDD模式精准传递需求。告别「看起来没问题」的错觉,构建AI时代的代码质量保障体系。
复旦大学与美团LongCat联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。核心创新:R-HORIZON 提出了问题组合(Query Composition)方法,通过构建问题间的依赖关系,将孤立任务转化为复杂的多步骤推理链。
美团 LongCat 团队发布数学推理评测基准—— AMO-Bench 。该评测集共包含 50 道竞赛专家原创试题,所有题目均对标甚至超越 IMO 竞赛难度。AMO-Bench 既揭示出当前大语言模型在处理复杂推理任务上的局限性,同时也为模型推理能力的进一步提升树立了新的标杆。
美团 LongCat 团队正式发布——「WOWService 大模型交互系统技术报告」,深度拆解了 「数据与知识双驱动」「自我优化训练」「四阶段训练流水线」「多 Agent 协同」 四大核心技术框架,希望对行业发展提供参考与启发。
美团 LongCat 团队提出了一套高质量、多样化的一站式全模态大模型评测基准——UNO-Bench。该基准通过一个统一的框架,不仅能同时精准衡量模型的单模态与全模态理解能力,更首次验证了全模态大模型的“组合定律”——该定律在能力较弱的模型上呈现为短板效应,而在能力较强的模型上则涌现出协同增益,为行业提供了一种全新的、跨越模型规模的分析范式。
针对 Speech LLM 落地中的音频处理难题,美团 LongCat 团队正式开源专用语音编解码方案 LongCat-Audio-Codec。它提供了一套一站式的 Token 生成器(Tokenizer)与 Token 还原器(DeTokenizer)工具链,其核心功能是将原始音频信号映射为语义与声学并行的 Token 序列,实现高效离散化,再通过解码模块重构高质量音频,为 Speech LLM 提供从信号输入到输出的全链路音频处理支持。真正让语音大模型既 “听懂” 语义,又能够“说清” 。
本文精选了美团技术团队在国际顶会NeurIPS 2025中发表的10篇论文,研究方向覆盖了大模型、多模态、自然语音处理、计算机视觉、基础技术、因果推断等技术领域,希望相关研究能给同学们带来一些帮助或启发。
美团 LongCat-Flash 系列再升级,美团正式发布全新家族成员 LongCat-Flash-Omni,在文本、图像、视频理解及语音感知与生成等关键单模态任务中,均展现出极强的竞争力。LongCat-Flash-Omni 是业界首个实现 “全模态覆盖、端到端架构、大参数量高效推理” 于一体的开源大语言模型。
美团 LongCat 团队研发的 VitaBench(Versatile Interactive Tasks Benchmark)正式发布,这是当前高度贴近真实生活场景所面临复杂问题的大模型智能体评测基准。VitaBench 以外卖点餐、餐厅就餐、旅游出行三大高频真实生活场景为典型载体,构建了包含 66 个工具的交互式评测环境,并进行了跨场景的综合任务设计,例如要求 agent 在一个旅行规划任务中通过思考、调用工具和用户交互,完整执行到买好票、订好餐厅的终端状态。
本文介绍了美团技术团队在国际顶会 ICCV 2025 中发表的 5 篇论文。同时,在ICCV 2025 举办的多模态推理竞赛中,美团基础研发平台/计算和智能平台组建的 ActiveAlphaAgent 团队,斩获赛题 1 真实场景视觉定位(VG-RS)冠军,赛题 2 空间感知视觉问答(VQA-SA)季军和赛题 3 创意广告视频视觉推理(VR-Ads)季军。本文也分享了这三道赛题的解题思路,希望相关研究能给同学们带来一些帮助或启发。
美团 LongCat 团队正式发布 LongCat-Video 视频生成模型 —— 不仅以统一模型在文生、图生视频基础任务上达到开源最先进水平,更依托原生视频续写任务预训练,实现分钟级长视频连贯生成,从根源上保障跨帧时序一致性与物理运动合理性,尤其在长视频生成领域具备显著优势。
美团数据库团队推出了数据库容量评估系统,旨在解决数据库容量评估与变更风险防控等领域难题。本文介绍了系统架构和主要功能:系统使用线上流量在沙盒环境回放验证变更安全,结合倍速回放技术探测集群性能瓶颈,构建容量运营体系实现集群容量观测与治理闭环。系统具备数据操作安全、结果真实可靠、灵活高效赋能等特点,有效提升数据库稳定性与资源利用率。
美团业务研发搜推平台部算法团队创新提出可验证过程奖励机制(VSRM),针对大模型推理中的冗余回复与过度思考问题,精准奖励有效推理步骤,显著缩减输出长度并提升推理效率。VSRM 通过步骤级正确率增益评估,有效抑制无效步骤,兼容主流强化学习算法,助力高效、可靠的复杂推理任务。
美团 LongCat 团队正式发布全新高效推理模型 LongCat-Flash-Thinking。综合评估显示,LongCat-Flash-Thinking 在逻辑、数学、代码、智能体等多个领域的推理任务中,达到了全球开源模型的最先进水平(SOTA)。
为解决虚拟人长视频生成的质量退化问题,美团基础研发平台/视觉智能团队推出了 InfiniteTalk 技术,实现无限时长视频生成。已在 GitHub 开源并获 1.6K Stars,Hugging Face 月下载量 64.8K,受到了很多好评,能够应用到电商直播、教育、影视等领域。
我们正式发布 LongCat-Flash-Chat,并同步开源。LongCat-Flash 采用创新性混合专家模型(Mixture-of-Experts, MoE)架构,总参数 560B,激活参数 18.6B~31.3B(平均 27B),实现了计算效率与性能的双重优化。
针对大模型知识推理能力与指令遵循能力存在表现差异的现象,为推进指令遵循能力的系统化研究与精准评估,美团 M17 团队推出全新评测基准 Meeseeks,并在GitHub、Huggingface、魔搭社区等开源平台上线。
本篇为《可信实验白皮书》系列的最后一篇内容,主要分享了 AB 实验分析方法库在美团的实践。同时,我们也为大家准备了一份系列全集的 PDF 文档,希望能够帮助到更多从事 AB 实验工作的同学们。
本文系《美团智能头盔研发实践》系列的第一篇文章,聚焦硬件设计维度。针对外卖骑手传统头盔佩戴体验不佳等痛点,从安全保障、体验优化、效率提升三大方向切入,详细解析安全防护、多传感器预警、通风减重、长效续航、音频降噪、工艺控制等关键技术,并提炼研发过程中行之有效的设计经验。
本文系《美团智能头盔研发实践系列》的第二篇文章,围绕智能头盔如何通过主动安全和被动安全相结合的方式有效保护骑手,主要包括智能头盔骑行通话质量强化、智能语音助手、碰撞摔倒监控等三项软件能力。
本文介绍了美团技术团队在国际顶会ACL 2025中发表的8篇论文,研究方向覆盖了生成式检索算法、多目标偏好对齐训练、富文本图像理解、搜索词推荐、跨语言迁移能力、多模态数学推理、第三人称任务等技术领域,希望相关研究能给同学们带来一些帮助或启发。
Meituan-M17 团队联合上海交大等机构,分别推出了 OIBench(聚焦高区分度算法题评测)与 CoreCodeBench(聚焦多场景工程级代码基准)两大数据集,旨在揭示大模型编程能力真实水平,这两大数据集已分别在GitHub和Huggingface上进行开源。
近日,美团推出了音频驱动的多人对话视频生成框架MultiTalk,并在GitHub上开源,首创L-RoPE绑定技术,通过标签旋转位置编码精准解决多音频流与人物错位难题。该框架创新性地采用局部参数训练+多任务学习策略,在保留复杂动作指令跟随能力的同时,实现自适应动态人物定位。只需输入多人音频流、参考图像和文本提示,即可生成口型精准同步、肢体自然的交互视频,可支持影视制作、直播电商等场景的工具升级。
本文系《可信实验白皮书》系列的第七篇文章。上一篇我们重点介绍了观察性研究,内容主要包括合成控制法、匹配方法、Causal Impact等几个方面。针对单次实验功效不足、假阳性、策略调优等实验中面临的问题,本篇我们来介绍几个高阶实验工具,重点解读了统合分析、多重比较,同时还有一些拓展与展望。
美团信息安全技术团队核心服务升级JDK 17后,性能与稳定性大幅提升,机器成本降低了10%。高版本JDK与ZGC技术令人惊艳,且Java AI SDK最低支持JDK 17。本文总结了JDK 17的主要特性,然后重点分享了JDK 17+ZGC在安全领域的一些实践,希望能对大家有所帮助或启发。
本文系《可信实验白皮书》系列的第六篇文章,上一篇我们介绍了准实验,然后重点介绍了双重差分法,包括概述、评估原理及美团的一些实践案例。本篇重点介绍了观察性研究,内容主要包括合成控制法、匹配方法、Causal Impact等几个方面。
本文系《可信实验白皮书》系列的第五篇文章,上一篇我们围绕随机轮转实验展开,内容主要包括抛硬币随机轮转、完全随机轮转、配对随机轮转等几个实验方法的介绍。本篇我们会介绍准实验,然后会重点介绍双重差分法,包括概述、评估原理及美团的一些实践案例。
本文系《可信实验白皮书》系列的第四篇文章,在上一篇我们将重点介绍随机对照实验相关的一些基础知识,以及提高实验功效的一些常见方法。本篇我们将围绕随机轮转实验展开,内容主要包括抛硬币随机轮转、完全随机轮转、配对随机轮转等几个实验的介绍。
本文系《可信实验白皮书》系列的第三篇文章,第一篇文章我们介绍了为什么要写AB实验白皮书,第二篇文章讲解了AB实验的理论原理及其背后的统计学基础。本篇我们将重点介绍随机对照实验相关的一些基础知识,以及提高实验功效的一些常见方法。
在上一篇文章中,我们详细阐述了AB实验的概念与其价值,并结合美团的实际情况,探讨了AB实验中常见的挑战及建设经验。本篇作为可信实验白皮书系列的第二章,将重点讲解AB实验的理论原理及其背后的统计学基础。
本白皮书以AB实验为中心,涵盖AB实验概述与价值、实验方法基础原理与案例剖析以及配套SDK代码分析等,内容丰富且易于理解和应用。适合从事AB实验研究的数据科学家、系统开发人员,以及需要实验驱动策略决策的业务和产研团队,同时也适合对数据驱动增长和数据科学等领域感兴趣的读者。
美团外卖推荐算法团队基于HSTU提出了MTGR框架以探索推荐系统中Scaling Law。MTGR对齐传统模型特征体系,并对多条序列利用Transformer架构进行统一建模。通过极致的性能优化,样本前向推理FLOPs提升65倍,推理成本降低12%,训练成本持平。MTGR离在线均取得近2年迭代最大收益,且于2025年4月底在外卖推荐场景全量。本文系相关工作的实践与经验总结,希望能给从事相关方向研究的同学带来一些帮助。
本文介绍了OR算法+ML模型混合推理能力建设思路及业务背景,此场景相比常规模型推理更具特殊性和复杂性,在工程实现上面临多维挑战,因此本文分别从性能、稳定性和扩展性三个维度分析问题和解法,并以推理框架架构演进为线总结了过去两年的分期迭代实践历程和收益,其中有一些较为通用的经验,希望能够给大家带来一些帮助或启发。
本文对美团技术团队在国际顶会CVPR 2025、ICLR 2025中发表的10篇论文进行介绍,这些论文是我们在图像生成、通用视觉分割、多模态文档理解、视频理解大模型、大模型效果评估、大语言模型的对齐和量化方法等方向上的技术沉淀和应用。
离线多智能体强化学习(MARL)是一个新兴领域,目标是在从预先收集的数据集中学习最佳的多智能体策略。随着人工智能技术的发展,多智能体系统在诸如自动驾驶、智能家居、机器人协作以及智能调度决策等方面展现了巨大的应用潜力。但现有的离线MARL方法也面临很多挑战,仍存在不协调行为和分布外联合动作的问题。为了应对这些挑战,中山大学计算机学院、美团履约平台技术部开展了学术合作项目,并取得了一些的成果,希望分享给大家。
在管理企业大规模服务弹性伸缩的场景下,Web应用的负载时序数据分析和预测至关重要。然而,由于应用的周期性特征和负载的复杂性,寻找一种能够适应所有应用的预测模型成为了一项挑战。美团与中国人民大学信息学院柴云鹏教授团队展开了“预测技术在弹性伸缩场景的应用”科研合作,取得了较好的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
值蛇年春节到来之际,我们精选过去一年公众号30多篇技术文章和科研论文,整理制作成一本600多页的电子书,作为一份特别的新年礼物,献给每一位热爱技术的你。愿大家乘风破浪,勇往直前!
本文对鸿蒙公开资料进行了深入分析和解读,梳理了鸿蒙单框架应用的签名机制,拆解每一步的实操过程和背后的实现原理,并对源码分析整理签名的校验机制。从中管中窥豹,探究鸿蒙系统的安全设计思路,希望能给从事鸿蒙研发的同学提供一些借鉴。
本文整理了2024年美团技术团队最为热门的10篇技术文章,这些文章覆盖了基础理论、数据存储、因果推断、搜索推荐、智能测试、知识图谱、领域驱动设计等多个技术领域,期望这些精选内容能为大家带来一些启发或帮助。愿大家在新的一年里,持续深耕技术沃土,稳步前行,不断攀登新的高峰。
美团到店研发平台质量工程部与复旦大学计算机学院周扬帆教授团队展开了大前端智能化测试领域的科研合作,从UI界面内容一致性校验入手,并实现了一套自动化智能检测流程,相关论文被软件工程领域具有国际影响力的会议ICSE 2024(CCF-A类会议)的Software In Practice Track(软件工程实践应用)收录。
本文精选了美团技术团队被 CIKM 2024 收录的 8 篇论文进行解读,覆盖了自监督学习、解释生成、CTR预测、跨域推荐、向量召回、图像生成、时效预测等多个技术领域。这些论文有美团独立研究,还有跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
长久以来,容器要实现动态化和双端复用,难免要牺牲掉一些性能。有没有办法让动态化容器的性能尽可能接近原生?美团金服大前端团队给出了一种解决方案,尝试突破动态化容器的天花板。
大众点评技术部/搜索与内容智能团队组成的BlackPearl队伍,参加了2024年KDD 2024 OAG-Challenge Cup赛道的WhoIsWho-IND、PST、AQA三道赛题,以较大优势包揽了该赛道全部赛题的冠军,本文对这三个赛道的夺冠方案分别进行了解读,希望对大家有所帮助或启发。
本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。
本文精选了美团技术团队被ACL 2024收录的4篇论文进行解读,论文内容覆盖了训练成本优化、投机解码、代码生成优化、指令微调(IFT)等技术领域。这些论文是美团技术团队跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
近日,来自大众点评技术部/搜索与内容智能团队组建的BlackPearl队伍,参加了KDD 2024 OAG-Challenge Cup赛道的WhoIsWho-IND、PST、AQA三道赛题,以较大优势包揽了该赛道全部赛题的冠军。
本文精选了美团技术团队被 KDD 2024 收录的 5 篇长文进行解读,覆盖了用户意图感知、机器学习&运筹优化、在线控制实验、联合广告模型、实时调度决策等多个技术领域。这些论文都是美团与高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
本篇文章将深入探讨多线程编程的基本概念(原子操作、CAS、Lock-free、内存屏障、伪共享、乱序执行等)、常见模式和最佳实践。通过具体的代码示例,希望能够帮助大家掌握多线程编程的核心技术,并在实际开发中应用这些知识,提升软件的性能和稳定性。
本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》。作为一种终端产品生态,小程序在业界产品中占有非常重要的地位。本文从小程序的质量保障需求出发,分析小程序的测试难点,引出小程序可测性的基本概念,介绍美团到店研发平台针对小程序可测性改进的通用化方案。最后分享美团门票业务小程序测试工作的实践经验,本文旨在为读者在小程序质量保障领域提供一些有价值的见解和启示。
本文精选了美团技术团队被SIGIR 2024收录的3篇论文进行解读,第一篇论文围绕如何利用深度学习,来整合广告拍卖和混排;第二篇论文扩展定义了全用户纵向联邦推荐范式,并首次提出基于检索增强的纵向联邦推荐框架ReFer,解决了跨域特征缺失问题;第三篇论文提出了一种新颖的框架——解耦对比超图学习,并应用于下一个兴趣点推荐任务中。
Apache Spark是一个优秀的计算引擎,广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下,既可获得资源节省和加速作业执行。Gluten+Velox解决方案为Spark换上了向量化执行引擎,本文将阐述美团在这一方向的实践和思考,希望对大家有所帮助或启发。
本文精选了美团技术团队被CVPR 2024收录的7篇论文进行解读,这些论文既包括OCR预训练、长尾半监督学习等基础学习范式升级,也包括图生视频、数字人驱动、视听分割(AVS)等视觉AIGC技术创新。这些论文有美团视觉智能部的独立产出,也有跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
菜品作为到店餐饮各相关业务的基石,提供了更细粒度的视角理解餐饮供给,为到餐精细化运营提供了抓手。美团到店研发平台/数据智能平台部与天津大学刘安安教授团队展开了“基于多模态信息抽取的菜品知识图谱构建”的科研合作,利用多模态检索实现图文食材的识别,扩展了多模态菜品食材识别的范围,提升了食材识别的准确性。
本文整理自美团技术沙龙第73期《基于领域驱动设计(DDD)的架构演进和实践》,主要介绍了DDD的核心概念、常见的设计思路,并结合DDD介绍大众点评交易系统的演进过程,最后做了一些总结和思考。希望这些内容能够对大家有所帮助或启发。
到家搜索业务具有数据量大、过滤比高等特点,为了在保证高召回率的同时进一步提高检索性能,美团到家搜索技术团队与基础研发机器学习平台团队基于GPU实现了支持向量+标量混合检索的通用检索系统,召回率与检索性能均有较大提升。本文将介绍我们在GPU向量检索系统建设中遇到的挑战及解决思路,希望对大家有所帮助或启发。
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上,我们分享了《美团大规模 KV 存储挑战与架构实践》,本文为演讲内容的整理。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。
本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》,主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念;第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路;第三部分主要解读了变异数据的构造和异常检测方案设计;第四部分介绍了精简变异数据的探索方案。
在龙年春节到来之际,我们精选过去一年公众号30多篇技术文章和科研论文,整理制作成一本600多页的电子书,作为新年礼物赠送给大家。祝愿大家在甲辰龙年,幸福平安,行稳致远。
RASP是Runtime Application Self-Protection(运行时应用自我保护)的缩写,是一种应用程序安全技术。RASP 技术能够在应用程序运行时检测并阻止应用级别的攻击。随着云计算和大数据的发展,应用程序安全越来越受到重视。RASP 技术作为一种新型的安全防护手段,正在逐渐被业界接受并广泛应用。
时光飞逝,告别了难忘的2023,迎来了充满希望的2024。再次感谢大家的一路相伴。我们整理了2023年美团技术团队微信公众号阅读量靠前的10篇技术文章,欢迎大家品阅。祝愿大家在新的一年里,幸福平安,行稳致远。
本文整理自美团技术沙龙第76期《大前端研发协同效能提升与实践》。前端团队在产研多角色协同形式上存在不同阶段,而大前端多技术栈在各阶段都有其独特的实践,同时又有类似的演进路线。本文从到店终端团队移动端和前端技术栈持续交付演进历程展开,分享了大前端团队研发流程在“标准化”、“线上化”、“自动化”以及“数字化”的演进经验,并探讨了大前端多端DevOps建设思路和未来规划。
美团服务运维团队从事前防御、事中处理、事后运营多个阶段探索AIOps在事件管理领域的应用。本文介绍了在各个运维领域中AIOps的赋能场景,详细阐述了每一个运维场景的业务价值以及算法的具体的落地效果。
2013年12月4日,美团技术博客发布了第一篇技术文章;2014年9月30日,「美团技术团队」微信公众号同步更新技术博客的内容。10年的时间,3600多个日夜,我们共发布了570多篇技术文章。感谢大家的一路相伴。
美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作,基于业务实际场景,自主研发了多模态UI交互意图识别模型以及配套的UI交互框架。本文从大前端质量保障领域的痛点出发,介绍了UI交互意图识别的方法设计与实现。基于UI交互意图编写的测试用例在实际业务中展现出了可以跨端、跨App的泛化能力,希望可以为从事相关工作的同学带来一些启发或帮助。
美团到店广告平台在用户行为序列建模算法的迭代落地中,基于对业务实际场景中用户决策心智的观察,创新性地提出了深度上下文兴趣网络,精确建模了用户的兴趣,提升了CTR等线上业务指标。本文介绍了相应算法背后的动机、建模方法以及工程优化,希望能为从事相关工作的同学带来一些启发或帮助。
本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》。本文介绍了基于模式挖掘的可靠性治理探索,为通过技术手段解决该领域代表性问题开启了新的思路。文章第一部分介绍可靠性治理的痛点;第二部分引入模式的概念;第三部分讨论新基建下的新尝试;第四部分分享三个典型的实践案例。
本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》。文章第一部分介绍了软件系统风险与变更;第二部分介绍了代码变更风险可视化系统的能力建设;第三部分介绍了整个系统在美团内部实践落地的情况;最后是对未来的规划和展望。希望对大家能有所帮助或启发。
本文介绍了美团到家/站外投放团队在多场景建模技术方向上的探索与实践。基于外部投放的业务背景,本文提出了一种自适应的场景知识迁移和场景聚合技术,解决了在投放中面临外部海量流量带来的场景数量丰富、场景间差异大的问题,取得了明显的效果提升。希望能给大家带来一些启发或帮助。
MJDK 是基于 OpenJDK 构建的美团 JDK 发行版。本文主要介绍 MJDK 是如何在保障 java.util.zip.* API 及压缩格式兼容性的前提下,实现压缩/解压缩速率提升 5-10 倍的效果。希望相关的经验能够帮助到更多的技术同学。
本文以履约场景下的具体实践为背景,介绍如何提供一个可信赖的AB测试解决方案。一方面从实验方法的角度论述实验过程中容易被忽视的统计陷阱,给出具体的解决方案,一方面从平台建设角度论述针对业务场景和对应约束制定实验方案提供给用户,而不只是功能和方法由用户自由选择,因为实验方法差之毫厘,结果可能是失之千里。
本文精选了美团技术团队被KDD 2023收录的7篇论文进行解读,论文覆盖了Feed流推荐、多模态数据、实例分割、用户意图预测等多个方向。这些论文也是美团技术团队与国内多所高校、科研机构合作的成果。希望给从事相关研究工作的同学带来一些启发或者帮助。
本文整理自美团技术沙龙第76期《大前端研发协同效能提升与实践》,为大家介绍了美团到店前端研发框架Rome实践和演进趋势。具体来讲,本文首先介绍了Rome整体的工程生态、演变路径、规模化升级以及工程框架外的开发辅助工具;第二部分,重点阐述了如何做框架度量和相关的业务实践;最后做整体的总结以及对工程框架的下一阶段的思考。希望能对大家带来一些帮助或启发。
视觉分割技术在街景理解中具有重要地位,同时也面临诸多挑战。美团街景理解团队经过长期探索,构建了一套兼顾精度与效率的分割技术体系,在应用中取得了显著效果。同时,相关技术斩获了CVPR 2023竞赛2项冠军1项季军。本文将详细介绍街景理解中分割技术的探索与应用,希望能给从事相关研究工作的同学带来一些帮助或启发。
本文整理自主题分享《美团数据库自治服务平台建设》,系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈,补充了很多技术细节,跟演讲(视频)相比,内容更加丰富。文章分成上、下两篇,上篇将介绍数据库的异常发现跟诊断方面的内容,下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。
本文整理自主题分享《美团数据库自治服务平台建设》,系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈,补充了很多技术细节,跟演讲(视频)相比,内容更加丰富。文章分成上、下两篇,上篇将介绍数据库的异常发现跟诊断方面的内容,下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。
本文精选了美团技术团队被CVPR 2023收录的8篇论文进行解读。这些论文既有自监督学习、领域自适应、联邦学习等通用学习范式方面的技术迭代,也涉及目标检测、跟踪、分割、Low-level Vision等典型视觉任务的性能,体现了美团在基础通用技术和垂直领域技术上的全方位创新。这些论文也是美团技术团队与国内多所高校、科研机构合作的成果。希望给从事相关研究工作的同学带来一些启发或者帮助。
本篇是美团超大规模数据库集群保稳定系列的第三篇,重点介绍一下美团数据库的容灾体系建设实践。主要内容包括业务架构、数据库容灾平台能力建设、演练体系建设、以及这些建设取得的一些成果,最后也会分享一下容灾建设的未来思考。希望对大家能够有所帮助或者启发。
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列的第2篇文章。本文首先介绍了美团当前数据库运维现状、遇到的问题,以及为什么要建设数据库攻防演练平台;其次,分享当前数据库攻防演练平台的具体实践;第三部分会介绍数据库攻防演练在美团内部的落地情况;最后,会结合混沌工程的成熟度标准和成熟度等级,分享我们对未来工作的一些规划。
2016年,我们对美团Android热更新方案Robust的技术原理做了详细介绍。近几年,Google 推出了新的代码优化混淆工具R8,Android 热修复补丁制作依赖二次构建包和线上包对比,需要对Proguard切换到R8提前进行适配和改造,本文分享 Robust 在适配 R8 以及优化改进中的一些思路和经验,希望能对大家有所帮助或者启发。
基于过去多年在大规模数据集群保稳方面的实践经验,我们希望能够跟业界进行一些技术交流,美团技术团队举办了第75期技术沙龙。我们邀请到了美团研究员赵应钢担任出品人,同时请邀请到张洪、王占全、蔺瑞超、沈裕锋等4位数据库方向的4位技术专家,围绕进攻、防守、⾃愈、演练等几个方向展开分享。本文系超大规模数据库集群保稳系列的第一篇文章。
用好中间件是每一个开发人员的基本功,一个专业的开发人员,追求的不仅是中间件的日常使用,还要探究这背后的设计初衷和底层逻辑,进而保证我们的系统运行更加稳定,让开发工作更加高效。结合这一主题,本文从一次线上告警问题出发,通过第一时间定位问题的根本原因,进而引出Google Dapper与MTrace(美团内部自研)这类分布式链路追踪系统的设计思想和实现途径,再回到问题本质深入@Async的源码分析底层的异步逻辑和实现特点,并给出MTrace跨线程传递失效的原因和解决方案,最后梳理目前主流的分布式跟踪系统的现状,并结合开发人员日常使用中间件的场景提出一些思考和总结。
美团语音交互部针对交互场景下的低延迟语音识别需求,提出了一种全新的低出字延迟流式语音识别方案。本方法将降低延迟问题转换成一个知识蒸馏过程,极大地简化了延迟优化的难度,仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。在实验测试集上,本方法能够获得最高近 200 毫秒左右的平均出字延迟降低。
目前,美团内部的日均慢查询数量已经超过上亿条,如何对对这些慢查询进行分析并建立合适的索引,是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作,通过基于AI+数据驱动的索引推荐,来与基于代价的方法并行地为慢查询推荐索引,以提升推荐效果。
美团到店餐饮算法团队在跨域迁移学习的长期实践中,基于多场景的业务背景,提出了分层信息抽取网络,提升了多场景多任务的建模效果。相关技术方案形成的学术论文已经被国际数据工程会议ICDE 2023收录,本文详细阐述了多场景&多任务学习的解决方案,希望能给从事相关方向研究的同学带来一些帮助或启发。
“当你和智能语音机器人对话交互时,你是否好奇电话背后的机器人如何“听懂”你的意思,又如何像人一样“回答”你的问题?其中比较重要的技术就是 MRCP。本文主要介绍了 MRCP 在美团语音交互中的实践和应用,基于美团自研的语音识别及语音合成能力,我们提升了外呼通话的成功率,并且保证了更好的用户体验。”
近日,美团视觉智能部发布了 YOLOv6 3.0 版本,再一次将目标检测的综合性能推向新高。本次更新除了对 YOLOv6-N/S/M/L 模型进行全系列升级之外,还推出了大分辨率 P6 模型。其中,YOLOv6-L6 检测精度和速度超越 YOLOv7-E6E,取得当前实时目标检测榜单 SOTA。本文主要介绍了 YOLOv6 3.0 版本中引入的技术创新和优化,希望能为从事相关工作的同学带来一些启发或帮助。
美团基础研发平台视觉智能部与中科院计算所展开科研课题合作,共同构建大规模数据集Food2K,并提出渐进式区域增强网络用于食品图像识别,相关研究成果已发表于T-PAMI 2023。本文主要介绍了数据集特点、方法设计、性能对比,以及基于该数据集的迁移实验等方面的内容,并对Food2K未来的工作进行了展望。希望能为从事相关工作的同学带来一些帮助或者启发。
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战,美团视觉研发团队决定通过模型结构拆分和微服务化进行优化,他们提出一种通用高效的部署架构,来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例,优化后的服务压测性能指标GPU利用率由40%提升至100%,QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践,希望对大家能有所帮助或启发。
在2023年春节到来之际,我们从去年美团技术团队公众号上精选了60多篇技术文章,整理制作成一本1300多页的电子书,作为新年礼物赠送给大家。祝愿大家,诸事顺遂,健康平安。
美团开放平台为整个美团提供了20+业务场景的开放API,为了使开发者能够快速且安全的接入美团开放平台,美团开放平台提供了多种语言的SDK来提高开发者的接入效率。本文介绍了美团开放平台如何自动生成SDK代码的相关技术实现方案,希望对大家能够有所帮助或者启发。
时光匆匆,就要跟2022年说再见了!2013年12月4日,美团技术团队博客诞生,发表了第1篇技术文章。9年多的时间,3311个日夜,目前我们已经发布了548篇技术文章,美团技术团队博客/公众号,感谢大家的一路相伴。
11月6日至9日,第20届国际计算机学会ACM嵌入式网络感知系统大会SenSys在美国波士顿召开。清华大学软件学院何源副教授课题组和美团无人机团队合作论文“麦巢:辅助无人机精准降落的远距离即时声源定位技术”获得了大会最佳论文奖第二名(Best Paper Runner-Up)。
美团到店推荐广告团队在图神经网络的长期落地实践中,思考分析了场景的特点与挑战,针对性地进行了模型设计,并通过大规模训练工具及线上部署优化多次成功落地,带来了线上收入提升。本文主要介绍了大规模图召回技术在美团到店广告场景下的实践经验,包括模型设计思路、模型迭代历程、大规模训练工具以及线上部署性能优化等,希望为从事相关工作的读者带来一些启发。
美团语音交互部针对跨语言结构化情感分析任务中缺少小语种的标注数据、传统方法优化成本高昂的问题,通过利用跨语言预训练语言模型、多任务和数据增强方法在不同语言间实现低成本的迁移,相关方法获得了SemEval 2022结构化情感分析跨语言赛道的冠军。
前不久,美团视觉智能部的8篇论文被多媒体和计算机视觉领域顶会 ACM MM 与 ECCV 收录,本文将快速带你了解这8篇论文的研究成果及其可在内容领域的落地应用。
美团外卖搜索工程团队在Elasticsearch的优化实践中,基于Location-Based Service(LBS)业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding(RLE)设计了一款高效的倒排索引结构,使检索耗时(TP99)降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述,并给出最终灰度验证的结论。
美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术,我们深入到源码层面,介绍了Spark算子的原理并提供了最佳实践。希望为读者带来一些思路上的启发。
你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。
在传统的客服、IM等场景中,坐席需要花费大量时间回答用户的各种咨询,通常面临答案查询时间长、问题重复、时效要求高等挑战。因而,使用技术手段辅助坐席快速、准确、高效地回答用户的各类问题非常有必要。我们设计并迭代了一套基于检索式对话系统的框架,以推荐回复的方式,基于对话上文为坐席提供候选回复,提高坐席效率进而提升用户体验,在美团众多业务上均取得了显著的效果。
函数式编程是一种历史悠久的编程范式。作为演算法,它的历史可以追溯到现代计算机诞生之前的λ演算,本文希望带大家快速了解函数式编程的历史、基础技术、重要特性和实践法则。在内容层面,主要使用JavaScript语言来描述函数式编程的特性,并以演算规则、语言特性、范式特性、副作用处理等方面作为切入点,通过大量演示示例来讲解这种编程范式。同时,文末列举比较一些此范式的优缺点,供读者参考。因为文章涵盖一些范畴论知识,可能需要其他参考资料一起辅助阅读。
函数式编程是一种历史悠久的编程范式。作为演算法,它的历史可以追溯到现代计算机诞生之前的λ演算,本文希望带大家快速了解函数式编程的历史、基础技术、重要特性和实践法则。在内容层面,主要使用JavaScript语言来描述函数式编程的特性,并以演算规则、语言特性、范式特性、副作用处理等方面作为切入点,通过大量演示示例来讲解这种编程范式。同时,文末列举比较一些此范式的优缺点,供读者参考。因为文章涵盖一些范畴论知识,可能需要其他参考资料一起辅助阅读。
数据安全最大的挑战是高速扩张前提下,解决数据暴露性问题。Token化让安全成为数据默认属性,让安全性随数据自动扩展,从根本上解决效率和安全合规的矛盾,实现设计安全和默认安全。本文主要介绍了Token化方案、Token化安全性实现以及美团所做的一些工程实践和经验分享。
基于美团目标检测模型开源框架 YOLOv6,本文提供了一种通用的量化部署方案,在保持精度的同时大幅提升了检测的速度,为通用检测的工业化部署探索出一条可行之路,希望能给大家带来一些启发或者帮助。
随着美团到家业务的发展,系统复杂度也在持续增长。测试用例数量近两年增长约一倍,单端数量超过1万2千条,而研发人员的工作从大部分时间在开发,转变成一半时间在开发、一半时间在模拟环境和自测。因此,引入自动化测试就显得十分有必要,本文介绍了美团外卖在自动化测试方向做的一些探索和实践,希望对从事相关领域工作的同学能够带来一些启发或帮助。
近日,美团视觉智能部发布了YOLOv6 2.0版本,本次更新对轻量级网络进行了全面升级,量化版模型 YOLOv6-S 达到了 869 FPS,同时,还推出了综合性能优异的中大型网络(YOLOv6-M/L),丰富了 YOLOv6 网络系列。
近日,在2022年隐私计算大会上,中国信通院公布第六批可信隐私计算评测结果,美团隐私计算平台通过“联邦学习安全”和“多方安全计算基础能力”两个专项评测认证。2021年,美团已经通过“联邦学习基础能力”专项评测认证。
在外卖广告CTR预估建模中,我们依托图技术在场景化上进行了一系列探索。本文首先介绍了使用图网络技术的出发点,然后从特征层面的抽象图关系到子图扩展以及场景感知子图,逐步介绍如何使用图技术建模业务问题,并针对联合训练的线上服务细节及效果进行解释和分析,希望能给从事相关工作的同学带来一些帮助或启发。
美团数据库平台研发组,面临日益急迫的数据库异常发现需求,为了更加快速、智能地发现、定位和止损,我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考,希望为从事相关工作的同学带来一些启发或者帮助。
今年,美团技术团队有多篇论文被KDD 2022收录,这些论文涵盖了图谱预训练、选择算法、意图自动发现、效果建模、策略学习、概率预测、奖励框架等多个技术领域。本文精选了7篇论文做简要介绍(附下载链接),希望能对从事相关研究方向的同学有所帮助或启发。
粗排是工业界搜广推系统的重要模块。美团搜索排序团队在优化粗排效果的探索和实践中,基于业务实际场景,从精排联动和效果性能联合优化两方面优化粗排,提升了粗排的效果。本文介绍了美团搜索粗排的迭代路线、基于知识蒸馏和自动神经网络选择的粗排优化工作,希望为从事相关工作的同学带来一些启发或者帮助。
美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中,基于业务实际场景,自主设计研发了集群负载自动调控系统(LAR)以及配套的运营体系,在提升集群整体资源利用率的同时保障了业务服务质量。本文介绍了LAR的设计理念、基本框架以及核心设计,并结合在线和混部场景应用展开思考,并展示了部分落地成果。希望能为从事相关工作的同学带来一些启发或者帮助。
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能给从事相关开发工作的同学带来帮助或启发。
研发人员在项目开发中不可避免地要使用日志,通过它来记录信息和排查问题。Apache Log4j2提供了灵活且强大的日志框架,虽然上手比较快,但稍有不慎也非常容易踩“坑”。本文介绍了美团统一API网关服务Shepherd在实践中所踩过的关于日志导致线程Block的那些“坑”,以及我们如何从日志框架源码层面进行分析和解决问题的过程,并在最后给大家分享一些关于日志避“坑”的实践经验,希望能给大家带来一些帮助。
今年美团技术团队有多篇论文被ACM SIGIR 2022收录,这些论文涵盖了观点标签生成、跨域情感分类、对话摘要领域迁移、跨域检索、点击率预估、对话主题分割等多个技术领域。本文将精选10篇论文做简要的介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。
可观测性作为系统高可用的重要保障,已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂,传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力,而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联,但更聚焦于调用链路,也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案,它以业务链路为载体,通过有效组织业务每次执行的日志,实现了执行现场的可视化还原,支持问题的高效定位。
经过近3年的建设打磨,美团流水线引擎完成了服务端的基建统一,每日支撑近十万次的流水线执行量,系统成功率保持在99.99%以上。本文主要介绍在自研引擎建设层面遇到的挑战以及解决方案。
在外卖广告CTR场景下,深度学习模型正在从简单DNN小模型过渡到千亿参数复杂模型。基于该背景,本文将重点针对大规模深度模型在全链路带来的挑战,从在线时延、离线效率两个方面展开,阐述外卖广告在大规模深度模型上的工程实践经验,希望能为读者提供思路上的借鉴。
搜索相关性用于衡量Query和Doc的相关程度,是搜索引擎的重要环节,本文主要讲述大众点评搜索团队在相关性计算上的技术探索和实践,通过多相似矩阵模型结构、多阶段训练等方法提升预训练模型在相关性问题上的效果,同时解决基于交互的模型在线预测的性能问题,希望为从事相关工作的同学能够带来一些启发或者帮助。
计算机视觉国际顶会CVPR 2022近日在美国新奥尔良召开,今年美团技术团队有多篇论文被CVPR 2022收录,这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、图像描述、模型安全、跨模态视频内容检索等研究领域。本文将对6篇精选的论文做简要的介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。
近日,美团视觉智能部研发了一款致力于工业应用的目标检测框架 YOLOv6,能够同时专注于检测的精度和推理效率。在研发过程中,视觉智能部不断进行了探索和优化,同时吸取借鉴了学术界和工业界的一些前沿进展和科研成果。在目标检测权威数据集 COCO 上的实验结果显示,YOLOv6 在检测精度和速度方面均超越其他同体量的算法,同时支持多种不同平台的部署,极大简化工程部署时的适配工作。特此开源,希望能帮助到更多的同学。
推荐系统是效果导向的数据应用服务,在功能的“有”和“无”之间,有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型,通过数据血缘关联了数据表、算法模型、系统服务和用户请求,并结合美团综合业务的实践进行了拓展泛化,希望能对大家有所帮助或启发。
近日,美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶,在自然语言推理(OCNLI)单任务中取得第一,并在极少数样本(一个类别仅100余个)的条件下,在新闻分类(TNEWS)、科学文献学科分类(CSLDCP)任务上超过了人类识别精确度。
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。
减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。本文将先从 so 文件格式讲起,结合文件格式分析哪些内容可以优化,然后再具体讲解每项优化手段以及注意事项,最后介绍相关的工程实践经验。希望能对从事包体积优化的同学有所帮助或启发。
随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开源组件可能存在哪些严重的安全隐患等相关的问题,几乎是没有任何能力去进行收敛,多年前的 SCA(Software Composition Analysis 软件成分分析)技术又重出江湖,变成该领域⻛险治理的一个“神器”。本文主要探讨如何利用 SCA 技术实现对开源组件⻛险治理相关能力的建设与落地,希望给大家以启发或者帮助。
随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,而文本摘要就是其中一个重要的手段。本文首先介绍了经典的文本摘要方法,包括抽取式摘要方法和生成式摘要方法,随后分析了对话摘要的模型,并分享了美团在真实对话摘要场景中面临的挑战。同时基于实际的场景,本文提出了阅读理解的距离监督Span-Level对话摘要方案(已发表在SIGIR 2021),该方法比强基准方法在ROUGE-L指标和BLEU指标上提升了3%左右。
美团搜索与NLP团队在图神经网络的长期落地实践中,基于业务实际场景,自主设计研发了图神经网络框架Tulong,以及配套的图学习平台,提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计,希望为从事相关工作的同学带来启发或者帮助。
美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。
CompletableFuture由Java 8提供,是实现异步化的工具类,上手难度较低,且功能强大,支持通过函数式编程的方式对各类操作进行组合编排。相比于ListenableFuture,CompletableFuture有效提升了代码的可读性,解决了“回调地狱”的问题。本文主要讲述CompletableFuture的原理与实践,同时结合了美团外卖商家端API的异步化实战,希望能对从事相关开发的同学有所帮助或启发。
DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。
进入互联网“下半场”,靠“堆人力”的研发方式已经不再具备竞争力了,真正有效且可行的方式是让系统能力变得可沉淀、可组合复用、可灵活应对各种变化。在多业态、大规模定制需求的背景下,本文分享了如何通过组装式开发的方法来提升业务的竞争力。
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化。本文主要介绍了美团外卖广告智能算力从线性规划算法到进化算法的技术演进过程,给出了一种基于进化算法的多动作算力分配方案,希望能给大家带来一些帮助或者启发。
不同的开发语言适合不同的领域,例如Python适合做数据分析,C++适合做系统的底层开发,假如它们需要用到相同功能的基础组件,组件使用多种语言分别开发的话,不仅增加了开发和维护成本,而且不能确保多种语言间在处理效果上是一致的。本文讲述在Linux系统下跨语言调用的实践总结,即开发一次C++语言的组件,其他语言通过跨语言调用技术调用C++组件。
对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。
针对视频数据,如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的研发课题。本文将为大家分享短视频内容理解与生成技术在美团业务场景的落地实践。
知识图谱可视化可以更直观地查看和分析知识图谱的数据。本文主要介绍了美团平台在布局策略、视觉降噪、交互功能、可视化叙事、3D图谱可视化等方面的一些实践和探索,同时沉淀出了uni-graph图可视化解决方案,并支持了美团的很多业务场景,包括美团大脑、图数据库、智能IT运维、组件依赖分析、行业领域图谱等。希望能对从事知识图谱可视化方向的同学有所帮助或启发。
近几年云原生领域飞速发展,eBPF技术成为各厂商首选技术,在网络编排、行为观测等领域四处开花。然而收益与风险并存,不久前爆出的Bvp47后门正是利用BPF技术惊人地在世界各地潜伏了近二十年。今日BPF已演进为eBPF,黑客会如何利用,造成什么危害?我们又该如何防范?
App引导是端上做心智建设的重要手段,我们尝试了“剧本式”思维获得了较好效果。在想法落地时,相关研发工作量较大,而且终端技术栈多样化,需要做到“零代码”和“技术栈无关”。最终我们通过“图像匹配”与“标准协议”等核心方案实现了突破。本文将介绍该项目的思考过程,并会对关键技术方案进行剖析和解读,希望能给从事相关开发工作的同学以启发。
美团机器学习平台基于内部深度定制的TensorFlow研发了Booster GPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性,从数据、计算、通信等多个角度进行了深度的优化,最终其性价比达到CPU任务的2~4倍。本文主要讲述Booster架构的设计实现、性能优化及业务落地工作,希望能对从事相关开发的同学有所帮助或者启发。
Twins 是美团和阿德莱德大学合作提出的视觉注意力模型,相关论文已被 NeurIPS 2021 会议接收。本文主要讲述 Twins 解决的难点、设计和实现思路,以及在美团场景的探索落地,希望能对从事视觉算法研发的同学有所帮助和启发。
随着人工智能的不断发展,安全及合规问题变得越来越重要。当前机器学习比较大的一个局限性在于其学习模型都是基于关联框架,这种框架存在样本选择偏差的问题,且其稳定性也较差。而因果推理模型的出现,给机器学习打开了一个新的思路。美团技术团队特别邀请到清华大学计算机学院长聘副教授崔鹏老师,请他为美团技术团队的同学分享了因果推断技术最新的发展趋势,以及现阶段取得的一些成果。
Sonic是美团内部一款用于热部署的IDEA插件。本文主要讲述Sonic的实现细节以及底层原理,从IDEA插件到自动化部署,再到沉浸式开发产品闭环,全方位讲述了Sonic在美团的落地与实践经验。目前业界对标的产品并不多,希望本文能对从事联调/开发/测试等相关方向的同学有所帮助或启发。
在LBS(Location Based Services, 基于位置的服务)距离约束下,候选较少制约了整个到店广告排序系统的潜力空间。本文介绍了我们从候选类型角度进行候选扩展,通过高性能的异构混排网络来应对性能的挑战,从而提升了本地生活场景排序系统的潜能上限。希望能给从事相关方向的同学以启发。
设计模式是众多软件开发人员经过长时间的试错和应用总结出来的,解决特定问题的一系列方案。现行的部分教材在介绍设计模式时,有些会因为案例脱离实际应用场景而令人费解,有些又会因为场景简单而显得有些小题大做。本文会根据在美团金融服务平台设计开发时的经验,结合实际的案例,并采用“师生对话”这种相对诙谐的形式去讲解几类常用设计模式的应用。希望能对想提升系统设计能力的同学有所帮助或启发。
GPU等专用芯片以较低的成本提供海量算力,已经成为机器学习领域的核心利器,在人工智能时代发挥着越来越重要的作用。如何利用GPU这一利器赋能业务场景,是很多技术研发者都要面临的问题。本文分享了美团外卖搜索/推荐业务中模型预估的GPU架构设计及落地的过程,希望能对从事相关应用研发的同学有所帮助或启发。
随着美团外卖业务不断发展,外卖广告引擎团队在多个领域进行了工程上的探索和实践,目前已经取得了一些成果。我们计划通过连载的形式分享给大家,本文是《美团外卖广告工程实践》专题连载的第一篇。本文针对业务提效的目标,介绍了美团外卖广告引擎在平台化过程中的一些思考和实践。
数字经济的快速发展,给企业的经营带来了新的机遇和挑战,如何有效开展数据治理,打破数据孤岛,充分发挥数据的业务价值,保护数据安全,已成为业界的热门话题。本文基于美团配送数据治理的历程,分享了数据定义、模型设计、数据生产三环节统一的配送数据“底座”的建设与实践。
查询改写是对用户Query拓展改写词,用更好的表述,帮用户召回更多符合需求的结果。查询改写对于文本布尔检索系统是非常重要的扩召回手段,通过优化该算法模块能够直接且显著地提升搜索体验。本文主要讲述在美团的搜索场景下查询改写项目的迭代方向和实现思路,希望能对从事搜索、广告、推荐中召回相关工作的同学有所启发或者帮助。
本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践,阐述了美团在落地以Kubernetes为代表的云原生技术时,比较关心的问题、挑战以及对应的推进策略。同时本文也介绍了针对美团业务需求场景做的一些特色支持,希望本文能够对云原生领域感兴趣的同学有所帮助或者启发。
在2022年春节到来之际,我们精选过去一年公众号50多篇技术文章以及20多篇国际顶会论文,整理制作成一本厚达1200多页的电子书,作为新年礼物赠送给大家。这本电子书内容覆盖前端、后端、算法、数据、安全、测试等多个领域,希望能对同学们的工作和学习有所帮助。
本文介绍了国际竞赛DSTC10开放领域对话评估赛道的冠军方法MME-CRS,该方法设计了多种评估指标,并利用相关性重归一化算法来集成不同指标的打分,为对话评估领域设计更有效的评估指标提供了参考。相关方法已同步发表在AAAI 2022 Workshop上。希望能给从事该技术领域工作的同学一些启发或帮助。
CDN已经成为互联网重要的基建之一,越来越多的网络服务离不开CDN,它的稳定性也直接影响到业务的可用性。CDN的容灾一直由美团的SRE团队在负责,在端侧鲜有方案和实践。本文结合美团外卖业务中的具体实践,介绍了一种在端侧感知CDN可用性状况并进行自动容灾切换的方案,通过该方案可有效降低业务对CDN异常的敏感,提高业务的可用性,同时降低CDN运维压力。希望本方案能够对被CDN问题所困扰的同学有所帮助或者启发。
反馈快速,竞争激烈的算法比赛是算法从业者提升技术水平的重要方式,从若干行业核心问题抽象出的算法比赛具有很强的实际意义。本文结合笔者在7次Kaggle/KDD Cup中的冠军经验,对于多领域建模优化,AutoML技术框架,以及面对新问题如何分析建模三个方面进行了介绍。希望能够让读者收获比赛中的通用高效建模方法与问题理解思路。
「美团技术团队」微信公众号祝大家新年快乐!温故而知新,我们根据文章的「阅读量」和「在看」数,以及所覆盖的技术领域,精选了22篇技术文章作为新年礼物送给大家。希望在2022年,继续陪大家一起,静心苦练,砥砺向前。
美团外卖商家端基于 FlutterWeb 的技术探索已久,目前在多个业务中落地了App、PC、H5的多端复用,有效提升了产研的整体效率。在这过程中,性能问题是我们面临的最大挑战,本文结合实际业务场景进行思考,介绍美团外卖商家端在 FlutterWeb 性能优化上所进行的探索和实践,希望对大家能有所帮助或启发。
经典的细粒度情感分析(ABSA,Aspect-based Sentiment Analysis)主要包含三个子任务,分别为属性抽取、观点抽取以及属性-观点对的情感倾向判定三个级联任务。本文介绍了美团到店到餐应用算法团队通过结合学界最先进的阅读理解、注意力机制等方面的实体抽取、情感分析经验,解决到餐(菜品,属性,观点,情感)四元组抽取问题,并在多个业务场景应用落地,希望能对从事相关工作的同学有所帮助或启发。
美团内部深度定制的TensorFlow版本,基于原生TensorFlow 1.x架构与接口,从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景,分布式扩展性提升10倍以上,单位算力性能也有显著提升,并在美团内部业务中大量使用,本文介绍了相关的优化与实践工作。
搜索广告在优化流量变现效率等商业指标之外,也需要重点优化用户体验,降低不相关广告对用户体验的损害,这样才能保证平台生态的健康发展。本文对预训练技术在广告相关性的落地方案进行了介绍,既包括训练样本上的数据增强、预训练及微调阶段的BERT模型优化等算法探索层面的工作,也包括知识蒸馏、相关性服务链路优化等实践经验。
2019年9月,美团外卖技术团队联合多个研发部门正式推出了React2X,面向所有的前端研发人员,特别是按业务领域划分的团队,为大家提供一个完整的、开放的多终端容器无关化(Containerless)研发框架。研发同学可以通过React2X框架快速创建、开发、构建、部署项目,在人力消耗最小的前提下,以期在不同终端上达到相对最佳的性能体验,并且能大幅降低因容器升级带来的替换和改造成本,让代码同构的复用率最大化。
研究Fairplay DRM(Digital Rights Management,即数字版权保护)最关键的两点是授权和加密。但长久以来,关于App DRM的研究却很少,而就是在这样的前提下,Fairplay DRM又为iOS App的安全研究叠加了一层“阻碍”。我们通过分析混淆系统的设计和实现过程中的问题,克服调试跟踪的障碍,设计了多种静态和动态的对抗方案;同时通过大量的逆向工程,填补了安全研究人员对macOS系统机制中,关于Fairplay这一部分的认知空白。
在互联网圈,开发和产品经理之间相爱相杀的故事,相信大家都有所耳闻。为了减少产品和前端开发人员之间的矛盾,不断降本提效,美团医药技术部构建了跨端一体化富文本管理平台Page-佩奇。本文系统介绍了该平台的定位、设计思路、实现原理以及取得的成效。希望这些实战经验与总结,能给大家带来一些启发或帮助。
首页搜索是美团 App 上十分重要的模块,每天服务于数千万用户。随着美团零售商品类业务的不断发展,美团搜索在商品类业务上的相关技术也在不断迭代,排序模块作为整个搜索系统的重要组成部分,极大地影响着用户最终的搜索体验。本文介绍了美团搜索在商品多业务排序上相关的探索以及实践,希望能对从事相关工作的同学有所帮助或者启发。
知识图谱问答(Knowledge-based Question Answering, KBQA)是指给定自然语言问题,通过对问题进行语义理解和解析,进而利用知识库进行查询、推理得出答案。美团在平台服务的售前、售中、售后全链路的多个场景中都存在大量的咨询问题。我们基于问答系统,以自动智能回复或推荐回复的方式,来帮助商家提升回答用户问题的效率,同时更快地解决用户问题。本文结合KBQA在美团场景中的具体实践,以及发表在EMNLP 2021上的论文,介绍了KBQA系统整体设计、难点突破以及端到端问答的探索,希望能对从事相关研究的同学有所帮助或者启发。
剧本杀作为爆发式增长的新兴业务,在商家上单、用户选购、供需匹配等方面存在不足,供给标准化能为用户、商家、平台三方创造价值,助力业务增长。本文介绍了美团到店综合业务数据团队从0到1快速建设剧本杀供给标准化的过程及算法方案。我们将美团到店综合知识图谱(GENE,GEneral NEeds net)覆盖至剧本杀行业,构建剧本杀知识图谱,实现供给标准化建设,包括剧本杀供给挖掘、标准剧本库构建、供给与标准剧本关联等环节,并在多个场景进行应用落地,希望给大家带来一些帮助或启发。
2021年5月,美团NLP中心开源了迄今规模最大的基于真实场景的中文属性级情感分析数据集ASAP,该数据集相关论文被自然语言处理顶会NAACL2021录用,同时该数据集加入中文开源数据计划千言,将与其他开源数据集一起推动中文信息处理技术的进步。本文回顾了美团情感分析技术的演进和在典型业务场景中的应用,包括篇章/句子级情感分析、属性级情感分析和观点三元组分析。在业务应用上,依托情感分析技术能力构建了在线实时预测服务和离线批量预测服务。截至目前,情感分析服务已经为美团内部十多个业务场景提供了服务。
后深度学习时代下,技术迭代全面进入深水区,以提升模型复杂度为主体的广告预估模型优化已经不再奏效。美团到店广告质量预估团队紧密结合业务特点,发挥深度模型结构灵活多变的优势,实现了进一步破局。本文先介绍了美团业务的LBS空间距离约束和长周期性两大挑战,然后介绍了上下文、用户、广告、训练方式四个维度的应对方案,具体如下四个技术突破:a.基于位次组合的上下文偏差感知预估;b.基于时空依赖的超长序列建模;c.广告候选动态化;d.灾难遗忘与持续学习,带动线上指标显著提升的同时,整理为论文发表在SIGIR、CIKM等国际顶级会议。最后,基于新一轮理解,提出推理量级动态化、评估指标差异化等预估技术新趋势。
客服是在用户服务体验不完美的情况下,尽可能帮助体验顺畅进行下去的一种解决办法,是问题发生后的一种兜底方案。而智能客服能让大部分简单的问题得以快速自助解决,让复杂问题有机会被人工高效解决。在用户服务的全旅程中,美团平台/搜索与NLP部提供了问题推荐、问题理解、对话管理、答案供给、话术推荐和会话摘要等六大智能客服核心能力,以期达到低成本、高效率、高质量地与用户进行沟通的目的。本文主要介绍了美团智能客服核心技术以及在美团的实践,希望能给从事相关工作的同学带来一些启发或者帮助。
操作日志广泛存在于各个B端和一些C端系统中,比如:客服可以根据工单的操作日志快速知道哪些人对这个工单做了哪些操作,进而快速地定位问题。操作日志和系统日志不一样,操作日志必须要做到简单易懂。所以如何让操作日志不和业务逻辑耦合,如何让操作日志的内容易于理解,让操作日志的接入更加简单?上面这些都是本文要回答的问题,主要围绕着如何“优雅”地记录操作日志展开描述。
CTR模型在互联网的搜索、推荐、广告等场景有着广泛的应用。近年来,随着深度神经网络的引入,CTR模型的推理对硬件算力的要求逐渐增加。本文介绍了美团在CTR模型优化的实践。通过分析模型结构特点,结合GPU硬件架构,我们设计了一系列流程对模型进行定制优化,达到了降低延迟、提高吞吐、节省成本的目标。
商品知识图谱作为新零售行业数字化的基石,提供了围绕商品的精准结构化理解,对业务应用起到了至关重要的作用。相比于美团大脑中原有的围绕商户的图谱而言,商品图谱需应对更加分散、复杂、海量的数据和业务场景,且面临着信息来源质量低、数据维度多、依赖常识以及专业知识等挑战。本文将围绕零售商品知识图谱,介绍美团在商品层级建设、属性体系建设、图谱建设人效提升等方向的探索,希望对大家有所帮助或启发。
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易开发、易维护且效率高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足业务的多样性需求。
分布式系统设计是一项十分复杂且具有挑战性的事情。其中,数据复制与一致性更是其中十分重要的一环。数据复制领域概念庞杂、理论性强,如果对应的算法没有理论验证大概率会出错。如果在设计过程中,不了解对应理论所解决的问题以及不同理论之间的联系,势必无法设计出一个合理的分布式系统。
本文主要介绍事务、一致性以及共识,首先会介绍它们怎么在分布式系统中起作用,然后将尝试描述它们之间的内在联系,让大家了解,在设计分布式系统时也是有一定的“套路”可寻。最后将介绍业界验证分布式算法的一些工具和框架。希望能够对大家有所帮助或者启发。
美团的各个业务有着丰富的NLP场景,而这些场景中模型的构建需要很多的标注资源,成本很高。小样本学习致力于在数据资源稀少的情况下训练出比较好的模型。本文从主动学习、数据增强、半监督学习、领域迁移、集成学习&自训练几个方向介绍了现有的一些方法,并在美团场景进行了实验,效果上也取得了一定的提升。希望能对从事相关研究的同学有所帮助或者启发。
Spock是一款国外优秀的测试框架,基于BDD(行为驱动开发)思想实现,功能非常强大。Spock结合Groovy动态语言的特点,提供了各种标签,并采用简单、通用、结构化的描述语言,让编写测试代码更加简洁、高效。目前,美团优选物流绝大部分后端服务已经采用了Spock作为测试框架,在开发效率、可读性和维护性方面均取得了不错的收益。
ACL是计算语言学和自然语言处理领域最重要的顶级国际会议,该会议由国际计算语言学协会组织,每年举办一次。据谷歌学术计算语言学刊物指标显示,ACL影响力位列第一,是CCF-A类推荐会议。美团技术团队共有7篇论文(其中6篇长文,1篇短文)被ACL 2021接收,这些论文是美团技术团队在事件抽取、实体识别、意图识别、新槽位发现、无监督句子表示、语义解析、文档检索等自然语言处理任务上的一些前沿探索及应用。
一次编写多处运行的动态化容器技术给研发效率带来了极大的提升,但对于依旧需要多端验证的测试流程来说,在效率层面却面临着极大的挑战。本文围绕动态化容器中的动态布局技术,阐述了如何通过可测性改造来帮助达成提升测试效率的目标。希望可以给同样需要测试动态化页面的同学们带来一些启发和帮助。
Pike 2.0致力于为美团提供一套易接入、高可靠、高性能的双向消息投递服务。本文首先从系统架构升级、工作模式升级、长稳保活机制升级等方面介绍了Pike2.0的技术演进,然后介绍了Pike 2.0在直播、游戏等新业务场景下的特性支持。希望本文能给对消息投递服务感兴趣或者从事相关工作的读者一些帮助和启发。
本地生活综合性需求图谱(GENE: lifestyle GEneral NEeds net),是从用户需求视角出发,深入挖掘本地生活场景下用户多样化的需求,并将其与多行业、多类型的供给形成关联的知识图谱,旨在提升平台供需匹配效率,助力业务增长。本文介绍了本地生活综合性需求图谱的背景、体系设计和涉及的算法实践,并展示了在美团多个业务线的应用落地,希望给大家带来一些帮助或启发。
美团搜索排序是一个典型的多业务混合排序建模问题,这种多业务场景搜索存在很多挑战,本文聚焦于到店商家多业务场景,进行了多业务排序建模优化工作。希望能对从事相关工作的同学有所启发或者帮助。
常识性概念图谱,是围绕常识性概念建立的实体以及实体之间的关系,同时侧重美团的场景构建的一类知识图谱。本文介绍了美团常识性概念图谱构建的Schema,图谱建设中遇到的挑战以及建设过程中的算法实践,最后介绍了一些目前常识性概念图谱在业务上的应用。
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对算力进行精细化和个性化分配,实现最优化资源利用。本文主要分享美团外卖广告在智能算力探索和实践过程中积累的经验,希望能给大家带来一些帮助或者启发。
美团到店广告平台算法团队基于多年来在广告领域上积累的经验,一直在数据偏差等业界挑战性问题不断进行深入优化与算法创新。在之前分享的《KDD Cup 2020 Debiasing比赛冠军技术方案与广告业务应用》一文[4]中,团队分享了在KDD Cup比赛中取得冠军的选择性偏差以及流行度偏差的解决方案,同时也分享了在广告业务上偏差优化的技术框架。
从 PC 时代、移动时代到万物互联的 IoT 时代,伴随终端设备的日趋多样化,跨端复用的种子自此落地,开始生根发芽。从业务角度出发,跨端技术演进更多是在不同阶段、不同时间段内业务效率上的选择,美团民宿业务在大前端融合的浪潮中逐浪前行,不断探索和迭代抉择,为解决业务痛点而孵化出跨端框架技术,在这个过程中,我们进行了很多的探索和实践的思考,希望能给大家一些启发。本文主要分享美团民宿在跨端复用技术探索和业务实践过程中的经验。
尽管基于BERT的模型在NLP诸多下游任务中取得了成功,直接从BERT导出的句向量表示往往被约束在一个很小的区域内,表现出很高的相似度,因而难以直接用于文本语义匹配。为解决BERT原生句子表示这种"坍缩"现象,美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT,通过在目标领域的无监督语料上Fine-tune,使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配(STS)任务的实验结果显示,同等设置下ConSERT相比此前的SOTA大幅提升了8%,并且在少样本场景下仍表现出较强的性能提升。
实例分割是计算机视觉中的基础问题之一。虽然静态图像中的实例分割已经有很多的研究,对视频的实例分割(Video Instance Segmentation,简称VIS)的研究却相对较少。而真实世界中的摄像头所接收的,无论自动驾驶背景下车辆实时感知的周围场景,还是网络媒体中的长短视频,大多数为视频流的信息而非纯图像信息。因而研究对视频建模的模型有着十分重要的意义,本文系美团无人配送团队在CVPR 2021发表的一篇论文解读。
菜品是外卖交易过程的核心要素,对菜品的理解也是实现外卖供需匹配的重点。今天我们将一次推送三篇文章,系统地介绍了美团外卖美食知识图谱的构建和应用。《美团外卖美食知识图谱的迭代及应用》会介绍外卖知识图谱的体系全貌,包括菜品类目、标准菜品、美食基础属性和美食业务主题属性。《外卖商品的标准化建设与应用》将重点介绍外卖菜品标准化建设思路、技术方案和业务应用。由于外卖的业务特点是搭配成单,而《外卖套餐搭配的探索和应用》一文会针对性地介绍外卖套餐搭配技术的迭代以及应用实践。希望对从事相关工作的同学能够带来一些启发或者帮助。
外卖菜品命名个性化程度高,为运营分析、召回排序、后台管理等业务带来一定的困难。本文系外卖美食知识图谱系列的第二篇文章,介绍了外卖从零到一建设菜品标准化体系的过程及方案,涉及的主要技术包括NLP领域的实体抽取、文本匹配、关系分类,以及CV领域的图像匹配等。最后,通过标准名在外卖业务中的应用实践,验证了标准名体系建设的价值和意义。
本文系外卖美食知识图谱系列的第三篇文章,从技术层面我们会介绍外卖套餐搭配的技术方案,包括离线、实时的套餐搭配的迭代,套餐质量评估方案,同时会介绍套餐搭配的业务应用。
在微服务架构下,服务拆分会让API的规模成倍增长,使用API网关来管理API逐渐成为一种趋势。美团统一API网关服务Shepherd就是在这种背景下应运而生,适用于美团业务且完全自研,用于替换传统的Web层网关应用,业务研发人员通过配置的方式即可对外开放功能和数据。本文将介绍美团统一API网关诞生的背景、关键的技术设计和实现,以及API网关未来的规划,希望能给大家带来一些帮助或者启发。
图灵平台是美团配送技术团队搭建的一站式算法平台,图灵平台中的在线服务框架——图灵OS主要聚焦于机器学习和深度学习在线服务模块,为模型和算法策略的线上部署和计算提供统一的平台化解决方案,能够有效提升算法迭代效率。本文将与大家探讨图灵OS在建设和实践中的思考和优化思路,希望能对大家有所帮助或者启发。
GraphQL是Facebook提出的一种数据查询语言,核心特性是数据聚合和按需索取,目前被广泛应用于前后端之间,解决客户端灵活使用数据问题。本文介绍的是GraphQL的另一种实践,我们将GraphQL下沉至后端BFF层之下,结合元数据技术,实现数据和加工逻辑的按需查询和执行。这样不仅解决了后端BFF层灵活使用数据的问题,这些字段加工逻辑还可以直接复用,大幅度提升了研发的效率。本文介绍的实践方案已经在美团部分业务场景中落地,并取得不错效果,希望这些经验能够对大家有帮助。
Serverless是目前比较热门的技术话题,各个大云厂商以及互联网大厂内部都在积极建设Serverless产品。本文将介绍美团Serverless产品在落地过程中的一些实践经验,其中包括技术选型的考量、系统的详细设计、系统稳定性优化、产品的周边生态建设以及在美团的落地情况。虽然各个公司的背景不尽相同,但总有一些可以相互借鉴的思路或方法,希望能给大家带来一些启发或者帮助。
数据开发过程中会不断引入一些问题,而数据治理就是要不断消除引入的问题,保障数据准确、全面和完整,为业务带来价值,同时合理管理数据权限,避免数据泄露带来的业务风险。数据治理是数据化公司的一项重要能力。
对美团安全团队来说,引入领先的安全技术设计能力,构建全方位、多维度智能防御体系,是我们不懈追求的目标。美团有众多基础设施,核心业务系统也需要以成熟的方法论进行威胁评审。本文将着重分享威胁建模是如何帮助美团安全团队评估、发现大量安全设计的风险,以及互联网企业应该如何大范围地实施威胁建模并完整地进行落地。
弹性伸缩具有应突发、省成本、自动化的业务价值。平台侧将各业务零散、闲置资源进行整合,形成一个大规模资源池,通过弹性调度、库存管控技术在公司运营成本和业务体感中寻求较好的平衡。本文将介绍弹性伸缩系统落地过程中面临的技术挑战、推广以及运营层面的一些思考。
美团有比较多的图数据存储及多跳查询需求,亟需一种组件来对千亿量级图数据进行管理。海量图数据的高效存储和查询是图数据库研究的核心课题,如何在大规模分布式场景中进行工程落地是我们面临的痛点问题。下面介绍美团在图数据库选型及平台建设方面的一些工作。
谷歌 2017 年正式提出神经网络架构搜索用于自动化生成模型架构,这项技术即被业界寄予厚望,成为 AutoML 的核心组成部分。凭借日益增强的算力和持续迭代的 NAS 算法,视觉模型在架构层面诞生了像 EfficientNet、MobileNetV3 等影响力深远的系列模型,NAS 也应用到了视觉、NLP、语音等领域的很多方向。NAS 作为生成 AI 模型的 AI,其重要意义不言而喻。美团在 NAS 方向也开展了深入性的研究,并对该领域保持着积极的探索。
此前,前端工程师尝试过将业务组件模块化构建成通用视图库,并通过拖拽、拼接等形式搭建业务模块,从而实现视图复用,降低设计稿转代码的研发成本。但随着业务的发展和个性化的驱动,通用视图库无法覆盖所有应用场景,本文提出了一种设计稿自动生成代码的方案。
美团外卖商家端业务围绕数百万商家,在 PC 和 App 上分别提供了交易履约、运营、广告、营销等一系列功能,且经常有外投 H5 的场景(如外卖学院、商家社区、营销活动等)。在这种多形态的业务场景下,如何保障多端体验一致性、如何提升多端迭代效率一直是商家端产研关注的重点。
OCTO 2.0是美团下一代分布式服务治理系统,它基于美团现有服务治理系统OCTO 1.0与Service Mesh通信基础设施层的结合,是命名服务、配置管理、性能监控、限流鉴权等服务治理功能的全新演进版本。本文主要讲述OCTO 2.0的重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。
本文介绍了外卖特征平台在特征生产、特征获取计算以及训练样本建设过程中遇到的挑战以及优化思路,为外卖业务的算法迭代提供了有力支撑。
本文从预编译的基础知识入手,由浅至深的介绍了Objective-C和Swift的工作机制,并通过这些机制来解释混编项目中使用到的技术和各种参数的作用,由此来指导开发者如何进行混编。
本文介绍了美团平台自研的一款cocoapods插件,该插件可以大幅提升iOS工程代码的编译速度。文章前半部分主要介绍相关的原理,后面阐述了在工程层面的实践,希望能给从事相关开发的同学带来一些帮助或者启发。
2021年春节到来之际,我们精选过去一年公众号60多篇技术文章以及10多篇国际顶会论文,整理制作成一本厚达1300多页的电子书,作为新年礼物赠送给大家。祝大家阖家欢乐,健康平安,和和美美,锦簇花团。新的一年,牛气冲天!
近日,美团无人车配送中心团队获得NeurIPS 2020 INTERPRET轨迹预测挑战赛Generalizability赛道冠军、Regular赛道亚军。本文主要是算法层面的介绍,希望能给从事相关工作的同学有所帮助或者启发。
鸿蒙系统 (HarmonyOS)是华为推出的一款分布式操作系统,那么如何在保证开发迭代效率的前提下,以相对低的成本将移动应用快速移植到鸿蒙平台上呢?美团外卖 MTFlutter 团队近期做了一次技术探索,成功地实现了 Flutter 对于鸿蒙系统的原生支持。
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。
压缩在数据传输和存储过程中经常扮演着十分重要的角色,因此提高压缩的效率可以帮助我们节省时间和降低存储成本。本文介绍了压缩算法的优化在构建部署平台的应用,能够帮助研发团队提高研发和交付效率。
美团技术团队公众号祝大家新年快乐,我们整理了本年度「阅读量」最高的8篇文章和「在看」数最高的8篇文章。祝大家在新的一年里,乘风破浪会有时,直挂云帆济沧海。
本文从黑产攻击方式、木马恶意行为、监控及防御方案等角度对Lnkr木马进行分析,此类木马影响范围较广,攻击手法多样,但目前国内相关的资料却非常稀少,希望本文的实践经验和总结能对从事相关安全检测的同学有所帮助。
在自动驾驶行业的经典控制方案中,横向控制与纵向控制的求解是模型解耦的独立算法。这种"横纵分离"的控制方案虽然可行,但显然不符合人类的驾驶方式,也不符合横向、纵向紧密联系这一客观事实。本文介绍了一种横纵一体的无人车控制实现方案,在描述车辆横纵耦合、考虑横纵联合约束、统筹横纵跟踪性能方面更具优势。
大型C++工程项目,都会面临编译耗时较长的问题。不管是开发调试迭代、准入测试,亦或是持续集成阶段,编译行为无处不在,降低编译时间对提高研发效率来说具有非常重要意义。
会话推荐(Session-based Recommendation)是推荐领域的一个子分支, 美团平台增长技术部也在该领域不断地进行探索。不久前,该部门提出的跨会话信息感知的时间卷积神经网络模型(CA-TCN)被国际会议ICDM NeuRec Workshop 2020接收。本文会对论文中的CA-TCN模型进行介绍,希望能对从事相关工作的同学有所帮助或者启发。
AI平台/搜索与NLP部/NLP中心/知识图谱组共有六篇论文(其中4篇长文,2篇短文)被国际会议CIKM2020接收,这些论文是知识图谱组在多模态知识图谱、MT-BERT、Graph Embedding和图谱可解释性等方向上的技术沉淀和应用。
在私有云集群环境下建设 Service Mesh ,往往需要对现有技术架构做较大范围的改造,同时会面临诸如兼容困难、规模化支撑技术挑战大、推广困境多等一系列复杂性问题。本文会系统性地讲解在美团在落地 Service Mesh 过程中,我们面临的一些挑战及实践经验,希望能对大家有所启发或者帮助。
在自动驾驶行业的经典控制方案中,横向控制与纵向控制的求解是模型解耦的独立算法。这种"横纵分离"的控制方案虽然可行,但显然不符合人类的驾驶方式,也不符合横向、纵向紧密联系这一客观事实。本文介绍了一种横纵一体的无人车控制实现方案,在描述车辆横纵耦合、考虑横纵联合约束、统筹横纵跟踪性能方面更具优势。
UI一致性是绝大部分研发团队面临的共性问题,大家对落地设计规范,提高UI中台能力,提升产研效率具有强烈的诉求。通过UI一致性的建设,不仅可以在品牌上实现体验升级,更可以全面提高产研效率,为业务的快速迭代提供有力支持和有效保障。统一的品牌符号、品牌特征,有助于加深产品在用户心目中的印象。统一的用户界面和交互形式,能帮助用户加深对产品的熟悉感和信任感。而一个好的设计语言可以在体验上为产品加分,也能够更好的创造一致性体验。
Apache Kylin是一个基于Hadoop大数据平台打造的开源OLAP引擎,它采用了多维立方体预计算技术,利用空间换时间的方法,将查询速度提升至亚秒级别,极大地提高了数据分析的效率,并带来了便捷、灵活的查询功能。
目前,互联网上 Java 的 GC 资料要么是主要讲解理论,要么就是针对单一场景的 GC 问题进行了剖析,对整个体系总结的资料少之又少。前车之鉴,后事之师,美团的几位工程师搜集了内部各种 GC 问题的分析文章,并结合个人的理解做了一些总结,希望能起到"抛砖引玉"的作用。
积木插件原本只是外卖提升UI/RD协作效率的一次尝试,最初的目标仅是UI一致性,但是现在已经作为全面提升产研效率的媒介,承载了越来越多的功能。
华东师范大学是国内为数不多长期坚持数据库内核技术研究的高校,在学术界和工业界均建立了较好的声誉。本次讲座将分享华东师范大学数据库团队近期的一些科研思路和研究成果。
本文将WebView与Native地图组件叠加到一起,实现了用户手势事件智能分发的机制,解决了WebView与Native地图在同一页面内布局困难的问题。
【Top Talk/大咖说】由美团技术学院和科研合作部主办,面向全体技术同学,定期邀请美团资深技术专家、业界大咖、高校学者及畅销书作者,为大家分享最佳实践、互联网热门话题、学术界前沿技术进展等内容,帮助美团同学开拓视野、提升认知。10月20日,Top Talk邀请到了北京航空航天大学全权老师,请他带来题为《基于时空大数据的空中高速公路:一种城市空中移动性管理分布式控制框架》的分享。
跟其他常见的编程语言不同,Java将编译过程分成了两个部分,这就对性能带来了一定的影响。而即时(Just In Time, JIT)编译器能够提高Java程序的运行速度。本文会先解析一下即时编译器的原理,然后再分享一些在美团实践的经验,希望能对大家有所帮助或者启发。
目标导向的视觉对话是"视觉-语言"交叉领域中一个较新的任务,要求机器能通过多轮对话完成视觉相关的特定目标。该任务兼具研究意义与应用价值。日前,北京邮电大学王小捷教授团队与美团AI平台NLP中心团队合作在目标导向的视觉对话任务上的研究论文被国际多媒体领域顶级会议ACMMM 2020录用。
美团技术团队在行业、业务领域知识和运维领域的知识等方面有着长期的积累,已经沉淀出不少工具和产品,实现了自动化运维,同时在AIOps方面也有一些初步的成果。我们希望通过在AIOps上持续投入、迭代和钻研,将之前积累的行业、业务和运维领域的知识应用到AIOps中,从而能让AIOps为业务研发、产品和运营团队赋能,提高整个公司的生产效率。
【Top Talk/大咖说】是美团技术学院面向公司内部组织的系列讲座,定期邀请美团技术团队负责人、业界大咖、高校学者及畅销书作者,为大家分享最佳实践、互联网热门话题、学术界前沿技术进展等内容。我们以后会定期公开这些内部讲座的内容,敬请关注。2020年9月10日,Top Talk邀请到了清华大学自动化系莫一林副教授,请他带来题为《信息物理系统中的安全控制算法设计》的分享。
好的架构要不断演变,进而去适应业务的发展。美团在移动端上的架构,也经历了组件化、平台化、RN混合化,到现在开始向容器化变迁。容器化架构充分地利用了现在的跨端技术,将动态化的能力最大化地赋予了业务。作为美团最为重要的业务之一,美团外卖移动端的架构演进是怎样的呢?本文将为你揭开背后的思考、技术细节以及实践。
本文介绍了KDD Cup2020多模态召回比赛亚军的技术方案以及在美团搜索业务中的应用与实践。
本文介绍了KDD Cup2020多模态召回比赛季军的技术方案以及在美团搜索广告业务中的应用与实践。
为了帮助业务方更好的接入和落地Flutter技术,MTFlutter团队对Flutter的包大小问题进行了调研和实践,设计并实现了一套基于动态下发的包大小优化方案,瘦身效果也非常可观。
在美团有一句老话,叫做「苦练基本功」。美团创始人王兴解读的基本功是业务和管理的基本动作。只要能把基本功扎实练好,就能产生巨大价值。然而滴水石穿非一日之功,练好基本功是一个长期的事情。那么对于技术团队来说,专业基本功是什么?又该如何练习呢?一起听听美团技术大咖如何理解技术基本功的吧~ ~
ACM SIGKDD (国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域的国际顶级会议。美团参加了KDD Cup比赛中Debiasing、AutoGraph、Multimodalities Recall等三道赛题,最终在Debiasing赛道中获得冠军(1/1895),在AutoGraph赛道中也获得了冠军(1/149),并在Multimodalities Recall赛道中获得了季军(3/1433)。
提高机器阅读理解(MRC)能力以及开放领域问答(QA)能力是自然语言处理(NLP)领域的一大重要目标。在人工智能领域,很多突破性的进展都基于一些大型公开的数据集。
Kubernetes是让容器应用进入大规模工业生产环境的开源系统,也是集群调度领域的事实标准,目前已被业界广泛接受并得到了大规模的应用。Kubernetes在美团也进行了大规模的部署,已经成为美团云基础设施的管理引擎。
ZGC(The Z Garbage Collector)是JDK11中推出的一款低延迟垃圾回收器。ZGC适用于大内存低延迟服务的内存管理和回收,本文主要介绍ZGC在低延时场景中的应用和卓越表现。
NER是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具,在自然语言处理技术走向实用化的过程中占有重要的地位。
本文将与大家探讨美团搜索与NLP部使用的统一在线预估框架Augur的设计思路、效果、优势与不足,希望对大家有所帮助或者启发。
本文从 Flutter 的特点讲起, 阐述了美团外卖团队在整个 Flutter 动态化上探索的心路历程,还有设计理念、核心原理以及业务应用的经验。本文的视角也不局限于框架本身,更多思考了在解决问题的过程中技术团队需要做的事情,希望能对大家有所启发和帮助。
本文从一次MyBatis版本升级引发的线上告警开始讲起,然后针对告警定位过程、源码原理进行了深入的分析,并加入了不同版本的类比分析,最后结合实际工作做了一些经验总结,希望能对大家的工程实践有一定的帮助。
行人轨迹预测问题是无人驾驶技术的重要一环,已成为近年来的一项研究热点。在机器人领域国际顶级会议ICRA 2020上,美团无人配送团队在行人轨迹预测竞赛中夺冠,本文系对该预测方法的一些经验总结,希望能对大家有所帮助或者启发。
本文介绍了美团MySQL数据库巡检系统的框架和巡检内容,希望能够帮助大家了解什么是数据库巡检,美团的巡检系统架构是如何设计的,以及巡检系统是如何保障MySQL服务稳定运行的。
本文重点阐述了美团配送技术团队在A/B评估体系构建过程中的一些思考和具体的实践,包括如何建立完备的指标体系、如何建立科学权威的评估方式等等。希望能够给大家一些启发和帮助。
计算机视觉技术是实现自动驾驶的重要部分,美团无人配送团队长期在该领域进行着积极的探索。不久前,高精地图组提出的CenterMask图像实例分割算法被CVPR2020收录,本文将对该方法进行介绍。
本文主要介绍了Sketch Plugin项目的背景,由浅入深地带领大家认识了Sketch Plugin项目,文中还详细解读了该技术的各种优缺点,同时还提供了详细的实践步骤和踩坑总结。希望本文对大家打造一致性体验能够有所帮助。
本文主要介绍了美团在打造自有规则引擎Zeus(中文名"宙斯")的过程中,信息安全团队遇到的挑战以及对应的解决方案,并分享了很多踩过的坑,同时还有一些思考和总结。
命名服务主要解决微服务拆分后带来的服务发现、路由隔离等需求,是服务治理的基石。日均调用达到万亿级别的美团命名服务MNS,如何实现从1.0到2.0的演进?
五四青年节,我们采访了来自清华大学、北京大学、中国科学院大学等国内高校的2位博士和7位硕士,请他们分享了自己在美团技术团队的成长故事。
美团点评自研的 OCTO 数据中心(简称 Watt)日均处理万亿级数据量,该系统具备较好的扩展能力及实时性,千台实例集群周运维成本低于10分钟。
本文将分享一个工作中的实践案例,因Intel PAUSE指令周期的迭代,引发了MySQL的性能瓶颈,美团MySQL DBA团队如何基于这三者来一步步进行分析、定位和优化。希望这些思路能对大家有所启发。
美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析,由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题,他们通过引入Apache Doris引擎优化生产方案,实现了低成本生产与高效查询的平衡。
本文开篇简述线程池概念和用途,接着结合线程池的源码,帮助读者领略线程池的设计思路,最后回归实践,通过案例讲述使用线程池遇到的问题,并给出了一种动态化线程池解决方案。
随着互联网的高速发展,技术岗位在不断地细分,比如软件开发不仅分为前端和后端,前端会分为Web、iOS和Android三个方向,后端又分为后台、系统、数据等。现在异常火爆的AI方向更是让人「眼花缭乱」,深度学习、数据挖掘、NLP、人脸识别、知识图谱等等。那么,我们应该如何更好地选择适合自己的技术岗位呢?
美团搜索与NLP部与国内高校组队,提出了一种基于BERT和LightGBM的多模融合检索排序解决方案,拿下了WSDM Cup 2020 Task 1榜单的第一名,本文系经验总结文章。
微前端是一种利用微件拆分来达到工程拆分治理的方案,可以解决工程膨胀、开发维护困难等问题。随着前端业务场景越来越复杂,微前端这个概念最近被提起得越来越多。
本文会首先回顾美团外卖从早期的月交付,逐渐演变成双周交付,再从双周交付演变成双周版本交付配合周动态交付的过程。然后从外卖的历史实践中,浅谈一个好的持续交付需要综合考虑哪些关键因素,希望对大家有所帮助或启发。
本文根据美团配送资深技术专家郑艳伟在2019 SACC(中国系统架构师大会)上的演讲内容整理而成,主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索,希望对从事此领域的同学有所帮助。
自然场景人脸检测在美团业务中也有着广泛的应用需求,为了应对自然场景应用本身的技术挑战,同时满足业务的性能需求,美团视觉智能中心从底层算法模型和系统架构两个方面进行了改进,开发了高精度人脸检测模型VICFace。而且VICFace在国际知名的公开测评集WIDER FACE上达到了行业主流水平。
2020年春节到来之际,我们精选美团技术博客几十篇技术干货以及数篇国际顶会论文,整理制作成一本厚达900多页的电子书,作为新年礼物赠送给大家。
Logan是美团点评推出的大前端日志系统,支持多端环境运行,可为客户端、Web、小程序等用户端环境提供前端日志的存储、收集、上报及分析能力,能够帮助开发人员快速定位并解决端上问题,便于及时响应用户反馈与排除异常。
Bifrost(英 ['bi:frɔst])原意彩虹桥,北欧神话中是连通天地的一条通道。而在漫威电影《雷神》中,Bifrost是神域——阿斯加德(Asgard)的出入口,神域的人通过它自由穿梭于“九界”(指九个平行的宇宙)之间。
MRN(Meituan React Native) 是基于开源的React Native框架改造并完善而成的一套动态化方案,在开发体验上基本能与原生RN保持一致,同时从业务需求的角度满足从开发、构建、测试、部署、运维的工程化需要。
本文根据美团基础架构部服务治理团队工程师郭继东在2019 QCon上的演讲内容整理而成,主要阐述美团大规模治理体系结合 Service Mesh 演进的探索实践,希望对从事此领域的同学有所帮助。
本文会从应用层逐渐深入到原理层,并通过ReentrantLock的基本特性和ReentrantLock与AQS的关联,来深入解读AQS相关独占锁的知识点,同时采取问答的模式来帮助大家理解AQS。
提单页是美团外卖交易链路中非常关键的一个页面。外卖下单的所有入口,包括首页商家列表、订单列表页再来一单、二级频道页的今日推荐等,最终都会进入提单页,在确认各项信息之后,点击提交订单按钮,完成最终下单操作。
民以食为天,如何提升超大规模配送网络的整体配送效率,改善数亿消费者在”吃“方面的体验,是一项极具挑战的技术难题。面向未来,美团正在积极研发无人配送机器人,建立无人配送开放平台,与产学研各方共建无人配送创新生态,希望能在一个场景相对简单、操作高度重复的物流配送中,提高物流配送效率。
做算法的同学对于Kaggle应该都不陌生,除了举办算法挑战赛以外,它还提供了一个学习、练习数据分析和算法开发的平台。Kaggle提供了Kaggle Kernels,方便用户进行数据分析以及经验分享。
配送骑手端App是骑手用于完成配送履约的应用,帮助骑手完成接单、到店、取货及送达,提供各种不同的运力服务,也是整个外卖闭环中的重要节点。
2018年,自然语言处理(Natural Language Processing,NLP)领域最激动人心的进展莫过于预训练语言模型,包括基于RNN的ELMo和ULMFiT,基于Transformer的OpenAI GPT及Google BERT等。
本文将研究Java语言中的动态调试技术,首先概括Java动态调试所涉及的技术基础,接着介绍我们在Java动态调试领域的思考及实践,通过结合实际业务场景,设计并实现了一种具备动态性的断点调试工具Java-debug-tool,显著提高了故障排查效率。
CVPR 2019 是机器视觉方向最重要的学术会议,本届大会共吸引了来自全世界各地共计 5160 篇论文,共接收 1294 篇论文,投稿数量和接受数量都创下了历史新高,其中与自动驾驶相关的论文、项目和展商也是扎堆亮相,成为本次会议的“新宠”。
本文主要阐述了Lambda表达式及其底层实现(invokedynamic指令)的原理、Android第三方插件RetroLambda对其的支持过程、Android官方最新的dex编译器D8对其的编译支持。通过对这三个方面的跟踪分析,以Java 8的代表性特性——Lambda表达式为着眼点,将Android如何兼容Java8的过程分享给大家。
随着业务的发展,频繁迭代和跨部门的垂直业务单元变得越来越多。但由于缺乏前期规划,导致后期数仓出现了严重的数据质量问题,这给数据治理工作带来了很大的挑战。
自然场景文字定位是文字识别中非常重要的一部分。与通用的物体检测相比,文字定位更具挑战性,文字在长宽比、尺度和方向上有更大范围的变化。针对这些问题,本文介绍一种融合文字片段及金字塔网络的场景文字定位方法。
随着 React Native(以下简称 RN)技术的出现,大前端的发展趋势已经势不可挡,跨平台技术因其通用性、低成本、高效率的特点,逐渐成为行业追捧的热点。
MTFlexbox适用于重展示、轻交互的业务场景,与现有HTML、React Native、Weex等跨平台方案相比,MTFlexbox具备着性能高、渲染速度快、兼容性高、原生功能支持度高等优势。
美团外卖至今已迅猛发展了六年,随着外卖业务量级与日俱增,单一的文字和图片已无法满足商家的需求,商家迫切需要更丰富的商品描述手段吸引用户,增加流量,进而提高下单转化率和下单量。
Java之所以可以“一次编译,到处运行”,一是因为JVM针对各种操作系统、平台都进行了定制,二是因为无论在什么平台,都可以编译生成固定格式的字节码(.class文件)供JVM使用。
本文将介绍美团点评Kubernetes集群管理与使用实践,包括美团点评集群管理与调度系统介绍、Kubernetes管理与实践、Kubernetes优化与改造以及资源管理与优化等。
传统移动端”静态“的开发方式存在一系列问题,已经不能满足高速发展的业务需求,美团平台自研了一套跨平台动态化方案——MTFlexbox。
XGBoost模型作为机器学习中的一大“杀器”,被广泛应用于数据科学竞赛和工业领域,XGBoost官方也提供了可运行于各种平台和环境的对应代码,如适用于Spark分布式训练的XGBoost on Spark。然而,在XGBoost on Spark的官方实现中,却存在一个因XGBoost缺失值和Spark稀疏表示机制而带来的不稳定问题。
本文介绍了美团开源的服务治理核心部分——微服务通信框架及治理平台OCTO,包括其功能特性、整体架构及未来规划等等。
代码规范是软件开发领域经久不衰的话题,几乎所有工程师在开发过程中都会遇到,并或多或少会思考过这一问题。随着前端应用的大型化和复杂化,越来越多的前端工程师和团队开始重视 JavaScript 代码规范。
本文主要介绍了大众点评信息流内容团队利用文本生成技术在创意优化方向上的一些思考和实践。
Litho是Facebook推出的一套高效构建Android UI的声明式框架,主要目的是提升RecyclerView复杂列表的滑动性能和降低内存占用。
移动互联网时代,大部分营销活动仍然通过 Web 页面来承载,但是 Web 页面由于天生的“环境透明”,所以在安全性层面有较大的挑战。本文主要以移动端 Web 页面为基础来讲述如何提升安全性。
想不重启JVM,偷天换日,替换掉已经加载的类?想不重启JVM,获知运行时对象的属性?本文将带你了解Java动态追踪技术的来龙去脉,还有依此衍生出的Java诊断神器……
本文分析了后端服务运维中大量报警出现时相互淹没的问题,选定了一种基于类聚的根因分析算法,并且针对业务报警日志进行了设计与实现,最后构造实验对算法的效果进行了验证与定性分析。
成本管理控制是技术团队管理过程中普遍面临的一个难题,本文根据美团到餐研发团队对于成本控制的方法论和实践进行了描述,将优化成本的落地方法论以及实际操作细节进行了描述。目前总体技术资源成本每月下降近32%,按节约的成本计算,一年节省开支约几千万。在此过程中,我们还获得技术优化、空间压缩、模型开发等专利7项,并证明了通过采用架构升级、技术优化、管理细化等手段,可以有效地降低研发成本。
美团团队在刚刚结束的WSDM Cup 2019比赛“真假新闻甄别任务”中获得了第二名的好成绩。本文将详细介绍他们本次获奖的解决方案,里面用到了很多黑科技比如BERT哦。
2018年8月-12月,由美团点评、创新工场、搜狗、美图联合主办的“AI Challenger 2018全球AI挑战赛”历经三个多月的激烈角逐,冠军团队从来自全球81个国家、1000多所大学和公司的过万支参赛团队中脱颖而出。
又到了我们献上技术年货的时候。在2019年春节到来之际,我们再次精选了114篇技术干货,制作成一本厚达1200多页的电子书呈送给大家。
HIDS主机型入侵检测系统是部署在服务器上的安全防护Agent,用来保障服务器安全。在大型互联网公司,面对的是几十万台甚至上百万台服务器规模的IDC时,复杂的服务器环境,网络环境,巨大的数据量给产品带来了哪些技术挑战呢?
TSLint为TypeScript提供了代码检查能力,对使用TypeScript的React Native工程,在规范性、安全性、可靠性、可维护性等方面起到重要作用。本文主要对TSLint相关知识进行分享,并对自定义TSLint规则进行介绍。
洪磊的职业生涯可以用“跌宕起伏”来形容。从高中时就参加各种计算机竞赛,就开始涉足技术。大四那年,瞒着家里人跟几个小伙伴一起休学创业。
在过去的一年里,美团技术团队成功举办了19场线下沙龙,16次线上沙龙,包括99位讲师,85个演讲,70+小时分享。现整理所有的PPT和视频,分享与大家。
在项目迁移到Spring Boot之后,发生内存使用量过高的问题。本文介绍了整个排查过程以及使用到的工具,也非常适用于其他堆外内存排查。
本文介绍美团到店餐饮团队对 iOS 覆盖率检测算法的研究,分享一种可以嵌入到现有开发流程中,并对开发透明的增量代码测试覆盖率工具的实现。
在数据平台的建设中,数据一致性一直是一个难题,在常规的解决思路上,一般是通过加强数据仓库的建设来保证。不过由于业务的复杂性,需求来源的多样性,数据仓库无法完全消除这个问题,所以需要建设一个专业数据治理平台来辅助实现,达成数据一致性目标。
文章从算法、架构两方面阐述排序学习。算法部分采用理论结合类比的方式进行讲解,希望帮助读者更容易地掌握排序学习核心概念。架构部分阐述如何设计一个良好的在线排序学习预测框架,包括特征治理、召回治理和分层模型三块。重点剖析了在线排序分层模型的组成、各模块的功能以及部分实现。
LruCache(Least Recently Used Cache)是一种带有清退机制的缓存结构。用于DSP系统中的广告数据存储来提高广告投放引擎的性能。
组件化作为Android客户端技术的一个重要分支,近年来一直是业界积极探索和实践的方向。美团内部各个Android开发团队也在尝试和实践不同的组件化方案,并且在组件化通信框架上也有很多高质量的产出。本文介绍了美团行业收银研发组Android团队的组件化实践,以及业界首创强约束组件消息总线modular-event的原理和使用。
本文分享了美团配送在即时配送领域中机器学习技术的最新进展,其主题是如何通过大数据和机器学习手段,建立对线下真实世界的各种场景的感知能力,还原和预测配送过程各个细节,提升整体配送系统的整体精度。
在美团做AI,有一个非常大的优势,就是数据和应用场景丰富,可以把各种各样的前沿技术用到实际产品中,改善亿万人的生活。要把几亿消费者与数百万生活服务商家高效地连接起来,AI有很多用武之地,因此比较大的业务部门中的技术团队,都有从事AI的同学。
DB数据是大数据场景下进行数据分析与挖掘的重要数据来源,是ODS层数据的重要构成部分。本文主要从Binlog流式采集和基于Hive的ODS数据生产两方面,介绍美团点评各业务线的DB数据同步到数据仓库的架构和实践。
从饭否到美团,潘魏增用十年的技术生涯,诠释了“长期有耐心”这句话的含义。在他看来,长期有耐心,其实也是延迟满足感。
本文是在美团点评业务快速发展背景下,针对大型移动项目的静态分析需求,结合开源项目利弊,最终设计实现了静态分析框架 Hades 项目。
美团外卖已经发展了五年,即时物流的探索也经历了3年多的时间,业务从零孵化到初具规模,整个过程中也积累了一些分布式高并发系统的建设经验。
美团NLP中心开始构建餐饮娱乐知识图谱——美团大脑。它充分挖掘关联各个场景数据,用AI技术让机器“阅读”用户评论数据,理解用户在菜品、价格、服务、环境等方面的喜好,构建人、店、商品、标签之间的知识关联,从而构建出一个“知识大脑”。
多年来,基于MySQL构建的传统关系型数据库服务,已经难于支撑美团业务的爆发式增长,这就促使我们去探索更合理的数据存储方案,并实践新的运维方式。
本文主要分享了美团在容器技术上做的一些探索和实践,内容主要涵盖美团容器云在Linux Kernel、Docker和Kubernetes层面做的一些优化工作,以及美团内部推动容器化进程的一些思考。
移动端白屏优化是前端界面体验的一个重要优化方向,Web 前端诞生了 SSR 、CSR、预渲染等技术。在美团支付的前端技术体系里,通过预渲染提升网页首帧优化,从而优化了白屏问题,提升用户体验,并形成最佳实践。
Java提供了种类丰富的锁,每种锁因其特性的不同,在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码、使用场景进行举例,为读者介绍主流锁的知识点,以及不同的锁的适用场景。
入侵检测是每一个大型互联网企业都要面对的难题。价值越高的公司,面临入侵的威胁越大,一旦发生在数据化的互联网公司身上,其后果也不堪设想。
本文主要介绍如何通过 Category 特性来实现优雅的组件间通信方案,并分享美团平台对于 Category 用法的管控与实践。
CAT(Central Application Tracking),是基于Java开发的分布式实时监控系统。CAT目前在美团点评的产品定位是应用层的统一监控组件,在中间件(RPC、数据库、缓存、MQ等)框架中得到广泛应用,为各业务线提供系统的性能指标、健康状况、实时告警等。
CAT是一个开源的实时监控系统,它侧重于Java应用的监控,目前每天实时处理大约100TB数据。为美团业务线提供丰富的监控报表和告警。
作为人工智能时代最重要的知识表示方式之一,知识图谱能够打破不同场景下的数据隔离,为搜索、推荐、问答、解释与决策等应用提供基础支撑。
Swift具有快速、灵活、安全的特性。通过编译器的优化使得执行速度更快,占用空间更小。本文将介绍Swift编译器在各阶段如何优化代码以及方法是如何分配的,在此基础上,引申出如何利用这些优化特性,选择正确的机制来提高程序性能。 文末扩展了Swift在优化后出现的一些非预期的“Bug”。
深度学习作为AI时代的核心技术,已经被广泛应用于多种场景。本文将介绍美团在实际工程中,如何设计和实践深度学习相关的NLU线上系统和语音识别训练系统。
由于 iOS 系统自身的设定,导航栏的转场效果受到诸多因素的限制。除此之外,大型应用中的路由系统也需要导航栏的转场更加灵活、稳定和方便,这些要求都提升了导航栏相关组件的开发难度,本文将介绍美团点评针对此问题的解决方案以及最佳实践。
本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。
Netty是互联网通信领域无可争议的王者,但是一旦使用方式不对,就会带来灾难。这篇文章,我们经历了一个使用Netty的WebSocket框架(netty-socketio)的 “捉虫(Bug)之旅”,排查思路有一定的通用性,希望对你有所启发。
前端是引发企业安全问题的高危据点。我们将发表前端安全系列文章,讲解常见的前端安全问题。本文讲解CSRF的攻防原理,并为前端人员提供CSRF防护建议。
本文主要介绍在生产环境下,如何使用TensorFlow Serving部署深度学习预估服务;同时为了满足线上性能要求,我们对TensorFlow底层原理以及性能优化做了进一步的讨论,最终实现了高性能的要求。
美团App、大众点评App都是重运营的应用。对于App里运营资源、基础配置,需要根据城市、版本、平台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中,保持运营资源能够被高效、稳定和灵活地配置,是我们团队面临的重大考验。在这种背景下,大众点评移动开发组必须要打造一个稳定、灵活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中,积累的一些经验,以及面临的挑战和思考。
前端是引发企业安全问题的高危据点。我们将发表前端安全系列文章,讲解常见的前端安全问题。本文讲解XSS的攻防原理,并为前端人员提供XSS防护建议。
本文主要介绍全链路压测在美团点评的实战经验,包括如何提供安全有效的压测环境,模拟线上真实的流量请求,提供多种压测模式的支持,压测过程的实时监控等。
外卖业务需要在外卖App和美团App上上线,这就让外卖业务产生了复用的问题。本文基于美团外卖Android开发团队长期的平台化复用开发经验,提供一种代码复用的实践方案。
基于 React Native 的企业级移动应用的基础组件库 beeshell 的开源推广文章,从架构设计、实现、质量保证、规划几个方面对 beeshell 进行全面介绍。
ARKit 是 Apple 公司在 2017 年推出的 AR 开发平台。它通过结合 iOS 设备的摄像头、惯性测量单元等传感器,在 App 中为用户提供增强现实的体验。在用户必须亲临商户的到餐业务场景中,能够感知周围商家的位置是个很普遍、很自然的需求。本文详述了一种 LBS+AR 技术方案的探索与实现。
Black Hat USA 是全球顶尖的安全会议,也是全球黑客心中的“世界杯”和“奥斯卡”。美团安全研究院成员Ju Zhu受邀参加了本次盛会,在议题通过率不足20%的严苛筛选条件下,带着本次演讲的议题登上了Black Hat USA 2018的国际舞台。
美团技术团队在小程序领域也进行了很多的探索和实践。扫码付是一款面向C端消费者推出的线下收单业务,这项业务主要寄托在美团小程序下。本文从外部环节和内部环节入手,介绍了美团扫码付小程序的优化与实践。
Oceanus是美团基础架构部研发的统一HTTP服务治理框架,基于Nginx和ngx_lua扩展,主要提供服务注册与发现、动态负载均衡、可视化管理、定制化路由、安全反扒、session ID复用、熔断降级、一键截流和性能统计等功能。本文主要讲述Oceanus如何通过策略抽象、查询、渲染和分组动态更新,实现HTTP请求的定制化路由。
本文主要从原理部分介绍了iOS中的JSCore,包括JS发展历史,WebKit中的JSCore,以及部分JSCore源码解读来阐述常用API原理。
WMRouter是一款Android路由框架,基于组件化的设计思路,功能灵活,使用简单。本文先简单介绍WMRouter的功能和适用场景,然后详细介绍WMRouter的发展背景和过程。
追求卓越是每一位工程师应该遵循的价值观,在工作中我们应当如何践行呢?这需要原则的指导。本文将作者在多年工作与学习中总结的十条原则介绍给大家,期望能够给大家带来一些启发。
在扫码付业务火箭式发展的过程中,对整个系统的可用性提出了严格的要求,前端服务也面临了很大的挑战。我们在不断解决问题的过程中总结了一些经验,有些方案取得了不错的效果,有些方案还在尝试探索。本文通过总结,希望提供大家一个保障前端可用性的思路,为业务发展保驾护航。
本文介绍了全新移动UI框架Flutter的架构、特色功能(Hot Reload、插件等)和Dart语言,并分享了美团外卖Flutter版全品类页面的实践。
介绍美团点评餐饮SaaS在使用Jenkins持续集成过程中,多个Android项目构建和集成React Native时,使用Pipeline的经验。
本文基于美团到店餐饮技术部的精细化数据运营实践,介绍 R 语言在数据分析与可视化方面的工程能力,以期抛砖引玉,汲取业界同行的建议和意见。
本文主要介绍美团日均万亿访问缓存体系以及Redis Rehash机制和原理,并在Redis Rehash机制方面相关的探索和实践等。
对于Android App的开发者来说,EventBus、RxBus一定是最为常用的消息总线框架,用于在不同模块之间订阅/发送消息。本文提供了一个新的消息总线框架——LiveDataBus,利用LiveDataBus,不仅可以实现消息总线功能,而且对于订阅者,他们不需要关心何时取消订阅,极大减少了因为忘记取消订阅造成的内存泄漏风险。
美团配送自成立以来,业务经历了多次跨越式发展。业务的飞速增长,对系统的整体架构和基础设施提出了越来越高的挑战,同时也不断驱动着技术团队深刻理解业务、准确定位领域模型、高效支撑业务扩展。如何在业务高速增长、可用性要求越来越高的背景下实现系统架构的快速有效升级?如何保证复杂业务场景下的研发效率与质量?本文将为大家介绍美团配送的方法与实践。
面对非常繁多的业务数据对接需求,美团服务体验平台在实践过程中探索和沉淀了海盗技术中间件。通过该中间件可以实现对业务方服务的编排和数据后处理。此外,该中间件适用于所有需要对接外部数据的场景,本文将对此做详细介绍。
EasyReact 是一款基于响应式编程范式的客户端开发框架,开发者可以使用此框架轻松的解决客户端地异步问题。<br/>EasyReact 现已开源。
本文将介绍一个用于测量App页面加载速度和冷启动速度的SDK,以及将其自动化实现的插件,可以对整个项目所有页面的加载速度进行实时监控,并且没有业务代码的侵入。
美团每天有百万级的图片产生量,运营人员负责相关图片的内容审核,对涉及法律风险及不符合平台规定的图片进行删除操作。由于图片数量巨大,人工审核耗时耗力且审核能力有限,所以必须依靠深度学习技术。
本文从美团点评App的业务复杂度出发,介绍构建稳定高效自动化的移动持续集成系统的最佳实践,在此基础上通过自研的静态准入方案进一步提升移动项目质量,通过全流程的托管方案提升移动开发生产力。
静态资源的分发是前端开发的一个热门话题。在美团金融服务平台,我们有自己的一套静态资源加载和增量更新方案。本文将总结我们使用 Go 语言搭建前端增量更新服务的实践成果。
Kotlin有着诸多的特性,比如空指针安全、方法扩展、支持函数式编程、丰富的语法糖等。在实际的使用过程中,我们发现看似写法简单的Kotlin代码,可能隐藏着不容忽视的额外开销。本文剖析了Kotlin的隐藏开销,并就如何避免开销进行了探索和实践。
以美团业务为例,在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用,包括文字识别、图片分类、目标检测和图像质量评价等方向。本文将通过以OCR(光学字符识别)的场景来介绍深度学习在计算机视觉中的应用。
主要介绍多入口业务形态下的多端复用需要如何推动,有哪些前提条件与技术支撑,如何不影响现有业务进行平滑的架构迁移,以及如何规避架构演进衍生出的副作用
近几年以深度学习技术为核心的人工智能得到广泛的关注,无论是学术界还是工业界,它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累、计算能力的提升和算法模型的改进。
一年一度的WWDC又来啦!每年都有少数App开发者会在WWDC上演示自己App利用新版本iOS的feature开发的强大功能。大众点评作为Apple的资深合作伙伴,今年带来了Apple Pay闪付的全新体验,从相机扫码点餐到最终Apple Pay支付一气呵成。
服务的高可用是每个业务方都极力追求的事,本文将详细讲讲大众点评账号团队在高可用方面的思考和实践,看看我们的实现有什么不一样。
Facebook数据泄露事件一度成为互联网行业的焦点,几百亿美元市值瞬间蒸发,数据安全是实现隐私保护的最重要手段之一,对安全有一定了解的读者可能也会察觉到,数据安全并不是一个独立的要素,本文介绍了互联网企业的数据安全体系建设。
Kerberos 是一种网络认证协议,通过通过传统的密码技术(如:共享密钥),为客户机 / 服务器应用程序提供强大的认证服务。
业务发展是树,系统稳定是根。想要向上成树,先要向下扎根。美团点评智能订单量在高速增长,也给系统带来了巨大的挑战。本文主要介绍了美团点评智能支付核心交易系统的可用性实践。
在解决技术实现问题的基础上,从实际需求角度对Android Lint静态代码检查做出更多思考,最终在美团外卖的项目开发中实践。
我们在Hadoop集群上使用分布式TensorFlow的实践中,定位发现了一些系统性能瓶颈导致WDL模型训练速度慢。通过分析瓶颈根源和相应的调优手段,WDL模型训练性能提升10倍左右,同时我们对TensorFlow框架和WDL模型也有了更深刻的理解。
本文介绍了使用传统Toast存在的问题和对应的解决方案,并详细讲解了美团最终实现的用Snackbar替换Toast的方案。
2017年,美团成长为中国领先的生活服务电子商务平台,在吃喝玩乐住行等200多个品类,2800多个城...
使用当前流行的前端框架 Vue.js 开发小程序,实现双端代码复用和组件化开发,同时为你揭秘 mpvue 框架的设计和实现思路。
在我们美团技术团队超过6000名工程师中,有众多的女同学,她们是支撑中国领先的生活服务电子商务平台不可或缺的力量。3月8日女神节,我们专访了她们的代表——美团广告平台技术负责人任登君。
线上用户产生bug,根据现象很难快速定位问题原因,由于用户个性化环境的差异导致问题很难准确定位,针对这些问题我们往往采用比较常规的办法,这些解决办法在时间效率和易用性上都存在很多问题,动态日志提供给开发者一个简单易用、快速下发、精准回捞的日志平台来排查线上问题。
本文主要介绍如何对Android平台上Xposed Installer和Cydia Substrate两种Hook手段进行防范。
本文介绍了一种在移动端实现的高效车辆识别算法,可用于帮助打车用户快速找到自己预约的车辆。通过本文可以学习如何利用Core ML在移动端应用AI算法。
本文介绍了如何通过日志收集、绘制调用链路图并在图上展示相关日志,解决微服务拆分过细的情况下,全链路排查问题的痛点。
接口测试的特点是高效、低投入高产出,且容易实现自动化,与UI自动化比更稳定,能有效减少回归测试的人力和时间成本。本文将从脚本设计、用例设计、网站展示等几个方面,以Lego接口测试平台为例,阐述对自动化测试的理解。
随着业务场景变得复杂,页面臃肿,难以维护,除了MVP或MVVM等设计模式分层解耦,本文将为大家介绍另一种切分页面的方式来解决这些问题。
深入分析了binlog的格式,解释了实现binlog反转的细节,给出了MyFlash的架构设计方案,最后与binlog反转工具做了性能对比。
讲述酒旅的数据报表平台大圣魔方的设计及实现,希望为大家在数据建模规范化、数据权限统一化以及数据展现多样化上提供一些经验。
通过前后端分离、模块化和组件化改造、流程自动化、接入了监控和报表系统,极大的提高了开发效率和项目代码的可维护、可复用性,同时通过自动化的资源优化,确保了有效的优化策略被以极低的成本在多个项目中复用。
本文对Spring Data REST远程代码执行漏洞(CVE-2017-8046)进行分析和复现,希望能引起重视,及早修补。
在大数据与人工智能如火如荼的今天,任何策略系统都离不开大量在线特征的支撑。本文提出一些在线特征系统面临的问题和解决方案,并聊一聊系统架构上的一些思考。
先分享几个有趣的Binder漏洞,接着介绍drozer架构和高级用法,如何基于drozer实现一个Binder fuzzer,最后介绍漏洞利用方法。
2017年数据挖掘领域最有影响力的赛事KDD Cup近日揭晓,Convolution队从全球70个国...
本文将介绍数据平台融合项目的实践及相关的思路和经验,深入讨论一下Hadoop多机房架构在我们公司的一种实现方案和大面积SQL任务重构的一种平滑化方法。
本文介绍了Android Code Arbiter的由来,关键代码的实现,最后展示本工具的扫描的效果。
利用localStorage实现Web App离线化加载管理是一种提升移动端页面性能的有效手段,本文介绍了外卖H5业务中的具体实现。
在大数据与人工智能如火如荼的今天,任何策略系统都离不开大量在线特征的支撑。本文提出一些在线特征系统面临的问题和解决方案,并聊一聊系统架构上的一些思考。
本文主要介绍在团队单测覆盖不足的情况下,如何在开发阶段通过JaCoCo生成增量代码的覆盖率报告,避免出现少测漏测的情况。
本文首先分析多个规则应用场景,然后抽象出规则模型,最后进行系统建设,通过这三步详细的介绍了如何从0到1构建一个强大且易用的规则引擎。
Vuex是一个为Vue提供页面状态管理服务的生态系统。本文从使用Vuex框架所引起的疑问入手,以核心流程-文件目录-源码核心的顺序进行分析,并引入实例辅助理解,让使用Vuex的同学有更清晰的开发思路。
HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发,介绍了HDFS Federation在美团点评的实际应用经验。
Robust是Android平台上高兼容性、高稳定性的实时热更新系统,本文为Robust热更新系统提供自动化补丁的解决方案,为使用ProGuard进行代码混淆的工程提供了自动化补丁的支持。在补丁的代码利用反射来修复出现Bug的类,以此达到修复问题的目的。
在现今的本地应用或互联网应用中,出于提升性能、扛住压力等多种原因考虑,都会引入和使用各类缓存组件,包括本地缓存、分布式缓存、持久化缓存等,基于不同的实际场景,各类缓存工具都有独特的优势,如何合理的选择和使用?以低成本带来高收益?本文总结了我们初步的思考和摸索。
在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,所以对NameNode重启优化非常关键。
如何防止网络通信被劫持?如何提升用户页面打开速度?老板反馈页面打不开时你该怎么办?来听听美团点评客户端网络优化实践中的经验分享吧。
本文主要讲述了美团App对原生Lint检测的改进,其中包括增强HashMap检测、修复Retrolambda下ToastDetector的误报。
SQLAdvisor是一款SQL优化工具:输入SQL,输出索引优化建议。它基于MySQL原生词法解析,再结合SQL中的where条件以及字段选择度、聚合条件、多表Join关系等输出最优的索引优化建议。
乐高是美团外卖内部使用的一个面向前端或者后台开发者的自动化界面组装平台,可以把充分解耦的前端模块按照一定的规则拼装为最终的页面。极大的提高了研发的效率,降低了开发的成本和沟通的成本。
Mt-Falcon监控系统是基于开源的Open-Falcon,结合美团点评的实际情况,量身定做的一套高性能、高可用、可拓展的分布式监控系统。
工欲善其事,必先利其器。一个好的工具,能够节省大量的时间,提高整体工作效率。本文主要依据一线工程师的日常工作,从使用最频繁的日志着手,介绍了如何在保障系统性能的条件下,更快更准确的定位排查线上问题。
本文介绍美团点评的Docker容器集群管理平台,包括平台架构、网络、微服务、监控、微服务、镜像仓库,以及自主维护的美团点评Docker分支。
从底层原理到Android Java层实现,对GPU硬件加速技术进行介绍,让软件开发者了解硬件加速,开发性能更好的App。
本文介绍美团App的Android版所用的新一代渠道生成工具Walle,能够在完美支持Android 7.0新的APK Signature Scheme v2的同时,快速生成渠道包。项目已经开源。
DBProxy是一款基于MySQL协议的中间件,在奇虎360的开源项目Atlas基础上进行了一系列的改进工作,现在正式开源。
本文介绍了美团团购订单系统一系列优化实践,从存储拆分到服务化架构改造,提供了一种老服务进行微服务化改造的可行方案,以及作者在微服务化中的一些思考。
Hertz是一个移动端性能采集与监控系统。本文介绍Hertz的主要实现原理,以及在研发各阶段的实际应用场景。
MTDDL(Meituan Distributed Data Layer):美团点评分布式数据访问层中间件,旨在为全公司提供一个通用数据访问层服务,支持MySQL动态数据源、读写分离、分布式唯一主键生成器、分库分表、动态化配置等功能,并且支持从客户端角度对数据源的各方面(比如连接池、SQL等)进行监控,后续考虑支持NoSQL、Cache等多种数据源。
从HDFS整体架构上看,NameNode内部结构相对复杂,我们通过对其内存核心数据结构定量分析,详细说明NameNode内存使用细节,提供可借鉴的内存使用评估模型,对优化用户使用HDFS的方式和管理HDFS集群具有非常重要的指导意义。
常见性能优化策略的总结,包括数据库、缓存、异步、多线程与分布式、NoSQL、JVM调优等,再结合真实的案例。可实践、可借鉴的各种性能优化的方案以及选型考虑点。
本文介绍Disruptor的实现原理。主要介绍了常用内存队列的缺陷,Disruptor针对缺陷进行的独特设计,以及优化后的性能对比。
本文意在讲解如何构建MVVM的应用框架,MVVM模式中每一层的职责、联系,分工,代码设计,同时还给出了一个帮助快速构建MVVM的轻量工具库。
本文从NIO原理的角度出发,讲解其解决线程池瓶颈、处理海量连接之道,并结合在服务端和客户端的使用方式描述其优势,最后会讲一些NIO的高级主题。
实时监控分析App异常,是业界流行的保证App质量的方法。但面对海量的异常数据流,普通的监控系统很难满足实时监控分析的需求。为了解决这个问题,我们结合了目前业界广泛应用的流式处理引擎Spark Streaming和搜索引擎Elasticsearch,构建了一个低成本高可用的异常监控平台。
对 Storm 三种消息可靠性保证进行测试,并阐述了不同消息保证机制的要求,以及如何实现不同的消息保证机制,最后提供了每种消息可靠性保证的示例代码。
本文略过ReactiveCocoa的基本概念与基础使用,着重介绍RAC数据流与RAC核心元素,并从数据流的角度切入,介绍RACComand与RACChannel。
本文深入讨论了Spring MVC注解引发空指针的表现及深层次原因,涵盖问题的产生和表象、排查和定位、解决方案和深入的原理探索。
本文针对分布式系统中操作的互斥性和幂等性问题,研究多种环境的解决方案,总结分布式锁的实现原理,介绍自行开发的Cerberus分布式锁和GTIS组件。
大促活动带来的瞬时流量可能是平时流量的几十倍,对系统来说是一个不小的挑战,本次分享的内容是一次大促活动前的系统压力测试、容量评估和分析实践。
美团数据库运维自动化系统经历了1.0版和2.0版;从1.0版之初的各方面考虑,到2.0版的逐渐成熟,美团数据库自动化系统从功能上、架构上都做了很多的工作.
Robust是Android上高兼容性的实时热更新方案,不需要发版,就可以修复线上版本存在的bug,实现新功能的上线。本文简述了Robust的原理,以及Robust的实际使用情况。
DBProxy是一款基于MySQL协议的中间件,来源于360的开源项目DBProxy,DBProxy在开源的基础上进行了一系列的改进工作
外卖订单系统作为支撑外卖业务的核心系统,为每日百万级的订单提供全链路交易支撑,系统每天调用上亿次。如何从零做到支撑日百万单的订单系统,本文将说明整个系统的演进过程。
本文根据猫眼测试团队在猫眼 iOS 客户端的 UI 自动化测试实践,简要介绍和对比 iOS 各种 UI 自动化框架,介绍基于 KIF 的 UI自动化的实施及持续集成的搭建。
NameNode在整个HDFS系统中扮演最核心的角色,同时也是最复杂和容易出现问题的模块,本文从NameNode数据视角对NameNode内存全景及几个关键数据结构进行了简单的解读,并结合实际场景介绍了NameNode内存可能遇到的问题及业界各种可借鉴的解决方案。
ReactiveCocoa是GitHub开源的一个函数响应式编程框架,目前在美团App中大量使用。用过它的人都知道很好用,也确实为我们的生活带来了很多便利,特别是跟MVVM模式结合使用,更是如鱼得水。
本文从实用主义的角度,分析了消息队列的设计目的、解决的问题以及实现方式。重点关注怎么用消息队列实现补偿/最终一致性等问题并对消息重复/丢失等难点问题做了重点剖析。对于想自己动手实现消息队列有一定的参考价值。
服务过载指瞬时流量超过系统能力,造成服务不可用,是Web系统常见的故障形式,会对系统可用性造成严重影响。本文研究一类系统在应用Cache过程中引发服务过载的原因和应对方法,重点阐述预防机制,以求在此类系统构建时能提升其可用性。
曹振团将会在2016年7月在深圳举行的ArchSummit全球架构师峰会上分享《美团外卖系统架构演进与系统稳定性经验谈》。分享前接受了InfoQ的专访。
想要用好Spark,就必须进行合理的性能优化,才能充分发挥出它的优势。本文主要讲解了笔者实际工作中积累的Spark性能优化方案的高级内容,包括数据倾斜调优和shuffle调优。
想要用好Spark,就必须进行合理的性能优化,才能充分发挥出它的优势。本文主要讲解了笔者实际工作中积累的Spark性能优化方案中的基础内容,包括开发调优以及资源调优。
Online Learning是应用比较多的模型训练方法,本文介绍一下Online Learning的基本原理以及在实际中的应用。
介绍Spark在美团的实践,包括我们基于Spark所做的平台化工作,以及Spark在生产环境下的应用案例。
Android Lint是Google提供给Android开发者的静态代码检查工具。本文阐述了如何通过自定义来扩展Lint的检查能力,并提供了更简单的使用方式。
分布式块存储系统对于云平台有至关重要的作用,然而市面上并没有成熟的开源系统或商业系统可直接使用。本文在分析相关开源项目的基础上,展示了美团云分布式块存储系统的设计与实现,并给出了性能评测结果和未来发展方向。
美团iOS客户端中大量使用了ReactiveCocoa框架。使用过程中我们发现,冷信号与热信号的概念很容易混淆并且造成问题。本文是系列文章的最后一篇,主要介绍怎么处理冷信号与热信号。
美团EP团队开发的Mock Server,是用来模拟被测系统外部依赖模块行为的通用服务。本文介绍了Mock Server的整体结构及在美团使用的典型案例。
Android APK的代码可以通过ProGuard或者DexGuard来保护,那资源文件又该怎么保护呢?
美团iOS客户端中大量使用了ReactiveCocoa框架。使用过程中我们发现,冷信号与热信号的概念很容易混淆并且造成问题。本文是系列文章的第二篇,主要介绍为什么要区分冷信号与热信号。
美团iOS客户端中大量使用了ReactiveCocoa框架。使用过程中我们发现,冷信号与热信号的概念很容易混淆并且造成问题。本文将讨论冷信号与热信号的基本概念。
ReactiveCocoa是一个FRP的思想在Objective-C中的实现框架,目前在美团的项目中...
概述 作为一个android开发者,在开发应用时,随着业务规模发展到一定程度,不断地加入新功能、添加...
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛。本文作为美团机器学习InAction系列中的一篇,主要关注逻辑回归算法的数学模型和参数求解方法,最后也会简单讨论下逻辑回归和贝叶斯分类的关系,以及在多分类问题上的推广。
本文介绍了美团基于Docker的自动构建系统,包括问题的背景,技术方案,以及带来的收益。最后展望了Docker在美团的应用前景。
随着大数据时代的到来,机器学习成为解决问题的一种重要且关键的工具。我们结合美团在机器学习上的实践,进行一个实战(InAction)系列的介绍(带"机器学习InAction系列"标签的文章),介绍机器学习在解决工业界问题的实战中所需的基本技术、经验和技巧。本文主要结合实际问题,概要地介绍机器学习解决实际问题的整个流程,包括对问题建模、准备训练数据、抽取特征、训练模型和优化模型等关键环节。
虚拟机和解释器相当于为高级语言或者脚本语言提供了一个中间层,隔离了与操作系统之间进行交互的细节,这为工程师们减少了很多与系统底层打交道的麻烦,大大提高了工程师的开发效率。
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
我们在年前最后一周上线了美团图书馆系统。短短一周时间,已覆盖公司总部大部分部门。图书总数增长了720%,极大的丰富了美团人的读书选择。本文将简单的介绍图书馆系统分布式自组织网络与提倡分享的P2P资源共享的业务及产品设计思路。
美团的性能优化小组在过去一年的时间,成功将项目详情页、首页、搜索和筛选页的加载时间从10秒左右降到3秒以内,首屏时间从3秒降到800ms以内,我们是如何做到的?有哪些经验教训?在做性能优化的过程中我们逐步构建起了美团通用性能监控平台,来收集真实用户的性能数据、挖掘性能瓶颈、评估优化效果,该平台目前正在被越来越多的产品线使用,它解决了哪些问题?是如何构建起来的?我们做WEB性能分析的框架又是怎样的?在这篇文章中都会揭晓。
本文从广义的抽象语法树入手,介绍了其定义,用途。然后深入讲解了 JavaScript 中生成抽象语法树的工具 UglifyJS Tools,最后以两个实际场景阐释了抽象语法树在 JavaScript 中的应用。
OpenTSDB 是一款非常适合存储海量时间序列数据的开源软件,使用 HBase 作为存储让它变的非常容易扩展。
当前在线筛选服务面临着频繁计算地理空间距离所带来的性能挑战。为了应对这一挑战,本文首先分析了地理空间距离计算的一般原理,在此基础上提出了多种提高计算效率的方法,并分析了各方法的优缺点以及性能情况,最后选择了较优方法应用于在线服务,结果显示本文的优化方法在满足应用精度的情况下大幅度地提升了计算效率。
一、问题背景 美团CRM系统中每天有大量的后台任务需要调度执行,如构建索引、统计报表、周期同步数据等...
Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年...
随着WiFi的普及,移动运营商的热点也越来越多了,如中国移动的CMCC、中国电信的ChinaNet、中国联通的ChinaUnicom等,一般来说,连上此类的热点,打开浏览器上网时都会自动跳转到一个验证页面,最近有个项目也有类似的需求,Android手机自建热点,别的手机wifi连接此热点,打开浏览器,输入任意内容,自动跳转到一个下载列表页面,点击相应的链接即可下载相应的文件。
室内定位技术的商业化必将带来一波创新高潮,尤其是在O2O领域,各种基于此技术的应用将出现在我们的面前。我们可以想象一些比较常见的应用场景,比如在大型商场里面借助室内导航快速找到目标商铺,商店根据用户的具体位置向用户推送更多关于商品的介绍等等,这些应用会极好的服务于O2O,提高用户体验。
问题现象 1. 在zabbix系统中,对Hadoop集群的历史监控数据分析时,发现在执行大Job任务...
YUI自定义事件在总体上模仿了DOM事件的设计思想。DOM中的一些事件是有默认行为的,详细见DOM3 Event - Default actions and cancelable events一节。简单来说,所谓默认行为,是指该事件在通常情况下所表现出来的动作。
上两篇文章YUI事件体系之Y.Do、YUI事件体系之Y.CustomEvent中,分别介绍了YUI实...
上一篇文章中,简要介绍了YUI实现AOP的Y.Do对象。 接下来,我们继续对YUI事件体系进行探索。...
背景 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Stor...
在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。
美团网在2010年引爆了团购行业,并在2012年销售额超过55亿,实现了全面盈利。在业务规模不断增长的背后,作为研发队伍中和用户最接近的前端团队承担着非常大的压力,比如用户量急剧上升带来的产品多样化,业务运营系统的界面交互日益复杂,代码膨胀造成维护成本增加等等。