Datadog 如何大规模衡量数据完整性
本文介绍了 Datadog 在大规模数据管道中如何衡量数据完整性。作者详细阐述了从数据采集、处理到最终存储的全链路完整性检测方案，包括使用校验和、水位线监控和延迟追踪等技术手段来确保数据不丢失、不重复。文章还分享了在分布式系统环境下实现这些检测所面临的挑战及相应的工程实践，为构建可靠的数据管道提供了宝贵经验。
背景速读
- Datadog 是一家总部在纽约、主营云监控和安全分析的上市公司（代码 DDOG），业内知名度很高。它的客户依赖它来收集服务器、应用和网络的海量时序数据。
- 所谓"数据完整性"（data completeness），是指 Datadog 在接收、处理和存储客户发来的数据时，有没有丢数据、有没有延迟、数据是否准确。对监控公司来说，如果数据不完整，客户可能错过真实告警，这是严重信任问题。
- 这篇博客的技术含量较高，属于 Datadog 工程团队分享内部实践（"eat our own dog food"）的系列。文章重点介绍他们自己开发的大规模校验框架，用于在 PB 级管道中持续验证数据的"完整性"。
- 背景上，Datadog 近年来（尤其是 2022-2023 年）经历了多次大规模故障和可靠性事件，因此"完整性测量"不仅是技术需求，也是恢复客户信心的关键举措。