Scaling a 1.59 quadrillion-row logging system across three clouds

ClickHouseは、ロシアの検索エンジンYandexが2016年に開発したオープンソースのカラム型データベース。大規模な分析クエリを高速に処理でき、ログデータや時系列データの保存・分析に特化する。同社（ClickHouse, Inc.）はこの技術をベースにマネージドクラウドサービスも提供している。 - 本記事はClickHouse社が自社のログ管理システム「LogHouse」をAWS・GCP・Azureの3クラウドにまたがって運用し、1.59 quadrillion行（約1.6京行）のログデータを処理した事例報告。 - 「LogHouse」は同社のプロダクト開発・運用のための内部システム。全社のサービスログを一元的に収集・検索可能にしている。 - クエリの99%が1秒未満で完了するなど、カラム型DBの特性を活かした圧縮（データを1/10に削減）と分散処理の最適化により、この規模でも実用的なパフォーマンスを達成。 - 3クラウド間でのデータ複製やクエリルーティングにはClickHouseのネイティブ機能を活用しており、ベンダーロックインを避けつつ可用性を高めている点が特徴。