エキスパートを考慮した量子化：Q2近辺のサイズでQ4に迫る品質？

- MoE（Mixture of Experts）は大規模言語モデルのアーキテクチャの一種。「専門家（Expert）」と呼ばれる多数の小さなサブネットワークを持ち、入力に応じて一部だけを活性化する仕組み。計算効率が高い一方で、モデル全体のサイズは大きい。 - 量子化（Quantisation）はモデルの重みを低精度（例：4ビットや2ビット）に変換してメモリ使用量を減らす技術。量子化が強すぎると品質が落ちる（例：Q2はサイズが小さいが品質低下が大きい）。 - 著者Martin AndersonはローカルLLM（自分のPCで動かす言語モデル）の効率化に関する実験や記事で知られる個人ブロガー。コミュニティ内部で参照されることが多い。 - この記事の貢献：タスクごとに各Expertの重要度をプロファイルし、重要でないExpertだけを強く量子化する「Expert-aware quantisation」手法を提案。これにより、モデル全体の品質はQ4（高品質）相当を維持しながら、サイズはQ2（超圧縮）に近づくという結果を報告している。ローカルLLMユーザーにとっては、限られたVRAMやRAMでより高性能なモデルを動かせる可能性があるため注目を集めている。