gzipは言語モデルになり得るか？

本記事では、テキスト圧縮アルゴリズムであるgzipが、大規模言語モデル（LLM）ではなくともテキスト分類などの言語タスクにおいて有用である可能性を検証する。圧縮率に基づく距離指標（NCD: 正規化圧縮距離）を用いることで、gzipが教師なし学習の一種として機能し、特にリソースの少ない環境で競争力のある結果を示せることを解説する。