ベンチマークと不可解主義：越えてはならない「レッドライン」
ClickHouseがDatabricksの「Reyden」ベンチマークに関する透明性の欠如を批判。所謂「Reyden X」ベンチマークはClickHouseの結果を含めず、再現性を欠く不正確なテスト方法を用いていると指摘。ベンダー主導のベンチマークには利害対立があり、オープンで再現可能な独立したパフォーマンス比較の重要性を強調する。
背景メモ
ClickHouse社がDatabricks社の「Reydenベンチマーク」を巡る論争を分析したブログ記事の要旨。Databricksは自社データ基盤「Unity Catalog」のパフォーマンスを示すベンチマークを公表したが、ClickHouse側は「試験条件が不透明で自社に有利な設定になっている」と批判。具体的には、ハードウェア構成やクエリ設定の詳細不足、比較対象のClickHouseに最適化が施されていなかった点を問題視。Databricksは大規模データ処理・AI基盤で知られる企業（時価総額約600億ドル）。ClickHouseはリアルタイム分析向けオープンソースDB。両社はOLAP（オンライン分析処理）市場で競合する。この議論はクラウドDB業界の「ベンチマーク倫理」を問うもので、ベンダーが自社製品を有利に見せるためのベンチマーク設計が後を絶たない業界慣行に対する警鐘としても読める。