Skip to content
TopicTracker
出典 HackerNews原文を表示
翻訳言語翻訳言語

Datadogが大規模データ完全性を測定する方法

Datadogは、大規模なデータパイプラインにおけるデータ完全性(completeness)を測定・監視するための手法を解説する。本記事では、データ欠損を検出し、パイプライン全体の信頼性を確保するための実践的なアプローチと、Datadog内部で使用されている測定フレームワークについて紹介する。

背景メモ

Datadogはクラウドアプリケーションの監視・分析を提供するSaaS企業(NASDAQ上場)。本稿は同社が自社のデータパイプライン(顧客から送られる膨大な観測データを処理する仕組み)の「完全性(データ欠損なく処理できているか)」をどう測定しているかを技術的に解説したもの。