Tag: # 数据

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。 阅读全文

本文以履约场景下的具体实践为背景，介绍如何提供一个可信赖的AB测试解决方案。一方面从实验方法的角度论述实验过程中容易被忽视的统计陷阱，给出具体的解决方案，一方面从平台建设角度论述针对业务场景和对应约束制定实验方案提供给用户，而不只是功能和方法由用户自由选择，因为实验方法差之毫厘，结果可能是失之千里。 阅读全文

近日，在2022年隐私计算大会上，中国信通院公布第六批可信隐私计算评测结果，美团隐私计算平台通过“联邦学习安全”和“多方安全计算基础能力”两个专项评测认证。2021年，美团已经通过“联邦学习基础能力”专项评测认证。 阅读全文

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。 阅读全文

推荐系统是效果导向的数据应用服务，在功能的“有”和“无”之间，有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型，通过数据血缘关联了数据表、算法模型、系统服务和用户请求，并结合美团综合业务的实践进行了拓展泛化，希望能对大家有所帮助或启发。 阅读全文

美团住宿数据治理团队从事数据治理工作多年，从最初的被动、单点治理，发展到后来的主动、专项治理，再发展到现在的体系化、自动化治理。一路走来，他们不断进行积累和沉淀，也在持续思考与实践。目前该团队取得了一些阶段性的成果，并得到美团多个业务线的认可和肯定。过程的经验与教训，希望能和大家分享，也希望能给从事数据治理工作的同学带来一些新思路。 阅读全文

数字经济的快速发展，给企业的经营带来了新的机遇和挑战，如何有效开展数据治理，打破数据孤岛，充分发挥数据的业务价值，保护数据安全，已成为业界的热门话题。本文基于美团配送数据治理的历程，分享了数据定义、模型设计、数据生产三环节统一的配送数据“底座”的建设与实践。 阅读全文

本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易开发、易维护且效率高的流水线，兼顾开发效率与生产成本，以较好的投入产出比满足业务的多样性需求。 阅读全文

数据开发过程中会不断引入一些问题，而数据治理就是要不断消除引入的问题，保障数据准确、全面和完整，为业务带来价值，同时合理管理数据权限，避免数据泄露带来的业务风险。数据治理是数据化公司的一项重要能力。 阅读全文

Apache Kylin是一个基于Hadoop大数据平台打造的开源OLAP引擎，它采用了多维立方体预计算技术，利用空间换时间的方法，将查询速度提升至亚秒级别，极大地提高了数据分析的效率，并带来了便捷、灵活的查询功能。 阅读全文

本文重点阐述了美团配送技术团队在A/B评估体系构建过程中的一些思考和具体的实践，包括如何建立完备的指标体系、如何建立科学权威的评估方式等等。希望能够给大家一些启发和帮助。 阅读全文

本文重点阐述了美团配送技术团队在A/B评估体系构建过程中的一些思考和具体的实践，包括如何建立完备的指标体系、如何建立科学权威的评估方式等等。希望能够给大家一些启发和帮助。 阅读全文

美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。 阅读全文

随着互联网的高速发展，技术岗位在不断地细分，比如软件开发不仅分为前端和后端，前端会分为Web、iOS和Android三个方向，后端又分为后台、系统、数据等。现在异常火爆的AI方向更是让人「眼花缭乱」，深度学习、数据挖掘、NLP、人脸识别、知识图谱等等。那么，我们应该如何更好地选择适合自己的技术岗位呢？ 阅读全文

大数据时代的到来，让越来越多的企业意识到数据资产的价值。但是如果企业在走向数字化过程中遗忘了数据治理，可能再多的投入都会变成一种“徒劳​”。 阅读全文

做算法的同学对于Kaggle应该都不陌生，除了举办算法挑战赛以外，它还提供了一个学习、练习数据分析和算法开发的平台。Kaggle提供了Kaggle Kernels，方便用户进行数据分析以及经验分享。 阅读全文

随着业务的发展，频繁迭代和跨部门的垂直业务单元变得越来越多。但由于缺乏前期规划，导致后期数仓出现了严重的数据质量问题，这给数据治理工作带来了很大的挑战。 阅读全文

成本管理控制是技术团队管理过程中普遍面临的一个难题，本文根据美团到餐研发团队对于成本控制的方法论和实践进行了描述，将优化成本的落地方法论以及实际操作细节进行了描述。目前总体技术资源成本每月下降近32%，按节约的成本计算，一年节省开支约几千万。在此过程中，我们还获得技术优化、空间压缩、模型开发等专利7项，并证明了通过采用架构升级、技术优化、管理细化等手段，可以有效地降低研发成本。 阅读全文

本文将介绍数据平台融合项目的实践及相关的思路和经验，深入讨论一下Hadoop多机房架构在我们公司的一种实现方案和大面积SQL任务重构的一种平滑化方法。 阅读全文