TurboQuantは1億行規模でベクトルインデックスサイズを10分の1に削減可能
pgvectorのプルリクエスト#989では、TurboQuantと呼ばれる新しい量子化手法が提案されています。この手法により、1億行規模のデータセットにおいてベクトルインデックスのサイズを最大10分の1に削減できると報告されています。大規模ベクトル検索のストレージ効率を大幅に改善する可能性があります。
背景メモ
pgvectorはPostgreSQLにベクトル検索機能を追加する拡張機能で、AIの埋め込みベクトルをデータベース内で直接検索・保存できる。今回提案されたTurboQuantは、ベクトルデータの圧縮技術。100M行（1億行）規模のデータで、ベクトルインデックスのサイズを従来比10分の1に削減できると主張する。ベクトル検索ではメモリ使用量と精度のトレードオフが課題で、大規模になるとインデックスが巨大化しコストが急増する。TurboQuantは量子化（浮動小数点を低ビットで近似）を改良し、サイズ削減と検索精度のバランスを取る手法。本PRはpgvector本体へのマージを目指す実験的実装で、まだ議論・検証段階。背景として、RAG（検索拡張生成）など大規模ベクトル検索の実運用ニーズが高まっており、PostgreSQLだけで大規模AIワークロードを処理したい需要が増えている。