Tag: # 基础研发平台

本篇文章将深入探讨多线程编程的基本概念（原子操作、CAS、Lock-free、内存屏障、伪共享、乱序执行等）、常见模式和最佳实践。通过具体的代码示例，希望能够帮助大家掌握多线程编程的核心技术，并在实际开发中应用这些知识，提升软件的性能和稳定性。 阅读全文

Apache Spark是一个优秀的计算引擎，广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下，既可获得资源节省和加速作业执行。Gluten+Velox解决方案为Spark换上了向量化执行引擎，本文将阐述美团在这一方向的实践和思考，希望对大家有所帮助或启发。 阅读全文

本文精选了美团技术团队被CVPR 2024收录的7篇论文进行解读，这些论文既包括OCR预训练、长尾半监督学习等基础学习范式升级，也包括图生视频、数字人驱动、视听分割（AVS）等视觉AIGC技术创新。这些论文有美团视觉智能部的独立产出，也有跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。 阅读全文

到家搜索业务具有数据量大、过滤比高等特点，为了在保证高召回率的同时进一步提高检索性能，美团到家搜索技术团队与基础研发机器学习平台团队基于GPU实现了支持向量+标量混合检索的通用检索系统，召回率与检索性能均有较大提升。本文将介绍我们在GPU向量检索系统建设中遇到的挑战及解决思路，希望对大家有所帮助或启发。 阅读全文

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。 阅读全文

美团服务运维团队从事前防御、事中处理、事后运营多个阶段探索AIOps在事件管理领域的应用。本文介绍了在各个运维领域中AIOps的赋能场景，详细阐述了每一个运维场景的业务价值以及算法的具体的落地效果。 阅读全文

MJDK 是基于 OpenJDK 构建的美团 JDK 发行版。本文主要介绍 MJDK 是如何在保障 java.util.zip.* API 及压缩格式兼容性的前提下，实现压缩/解压缩速率提升 5-10 倍的效果。希望相关的经验能够帮助到更多的技术同学。 阅读全文

视觉分割技术在街景理解中具有重要地位，同时也面临诸多挑战。美团街景理解团队经过长期探索，构建了一套兼顾精度与效率的分割技术体系，在应用中取得了显著效果。同时，相关技术斩获了CVPR 2023竞赛2项冠军1项季军。本文将详细介绍街景理解中分割技术的探索与应用，希望能给从事相关研究工作的同学带来一些帮助或启发。 阅读全文

本文整理自主题分享《美团数据库自治服务平台建设》，系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈，补充了很多技术细节，跟演讲（视频）相比，内容更加丰富。文章分成上、下两篇，上篇将介绍数据库的异常发现跟诊断方面的内容，下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。 阅读全文

本文整理自主题分享《美团数据库自治服务平台建设》，系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈，补充了很多技术细节，跟演讲（视频）相比，内容更加丰富。文章分成上、下两篇，上篇将介绍数据库的异常发现跟诊断方面的内容，下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。 阅读全文

本篇是美团超大规模数据库集群保稳定系列的第三篇，重点介绍一下美团数据库的容灾体系建设实践。主要内容包括业务架构、数据库容灾平台能力建设、演练体系建设、以及这些建设取得的一些成果，最后也会分享一下容灾建设的未来思考。希望对大家能够有所帮助或者启发。 阅读全文

本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》，系超大规模数据库集群保稳系列的第2篇文章。本文首先介绍了美团当前数据库运维现状、遇到的问题，以及为什么要建设数据库攻防演练平台；其次，分享当前数据库攻防演练平台的具体实践；第三部分会介绍数据库攻防演练在美团内部的落地情况；最后，会结合混沌工程的成熟度标准和成熟度等级，分享我们对未来工作的一些规划。 阅读全文

基于过去多年在大规模数据集群保稳方面的实践经验，我们希望能够跟业界进行一些技术交流，美团技术团队举办了第75期技术沙龙。我们邀请到了美团研究员赵应钢担任出品人，同时请邀请到张洪、王占全、蔺瑞超、沈裕锋等4位数据库方向的4位技术专家，围绕进攻、防守、⾃愈、演练等几个方向展开分享。本文系超大规模数据库集群保稳系列的第一篇文章。 阅读全文

目前，美团内部的日均慢查询数量已经超过上亿条，如何对对这些慢查询进行分析并建立合适的索引，是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作，通过基于AI+数据驱动的索引推荐，来与基于代价的方法并行地为慢查询推荐索引，以提升推荐效果。 阅读全文

近日，美团视觉智能部发布了 YOLOv6 3.0 版本，再一次将目标检测的综合性能推向新高。本次更新除了对 YOLOv6-N/S/M/L 模型进行全系列升级之外，还推出了大分辨率 P6 模型。其中，YOLOv6-L6 检测精度和速度超越 YOLOv7-E6E，取得当前实时目标检测榜单 SOTA。本文主要介绍了 YOLOv6 3.0 版本中引入的技术创新和优化，希望能为从事相关工作的同学带来一些启发或帮助。 阅读全文

美团基础研发平台视觉智能部与中科院计算所展开科研课题合作，共同构建大规模数据集Food2K，并提出渐进式区域增强网络用于食品图像识别，相关研究成果已发表于T-PAMI 2023。本文主要介绍了数据集特点、方法设计、性能对比，以及基于该数据集的迁移实验等方面的内容，并对Food2K未来的工作进行了展望。希望能为从事相关工作的同学带来一些帮助或者启发。 阅读全文

面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战，美团视觉研发团队决定通过模型结构拆分和微服务化进行优化，他们提出一种通用高效的部署架构，来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例，优化后的服务压测性能指标GPU利用率由40%提升至100%，QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践，希望对大家能有所帮助或启发。 阅读全文

美团代码托管平台经过长期的打磨，完成了分布式架构的改造落地，托管数以万计的仓库，日均Git相关请求达到千万级别。本文主要介绍了美团代码托管平台在迭代演进过程中面临的挑战及解决思路，希望对大家有所帮助或启发。 阅读全文

前不久，美团视觉智能部的8篇论文被多媒体和计算机视觉领域顶会 ACM MM 与 ECCV 收录，本文将快速带你了解这8篇论文的研究成果及其可在内容领域的落地应用。 阅读全文

你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况？或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境？本文介绍了美团是如何从0到1搭建高性能终端实时日志系统，从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。 阅读全文