LLMのためのガウス分布重み
この記事では、4ビット浮動小数点フォーマットであるNF4とその高精度版について解説します。NF4とFP4はbitsandbytesの一般的な4ビットデータ型で、Hugging Faceからダウンロードする4ビット量子化されたLLM重みはNF4またはFP4フォーマットで保存されている可能性があります。
この記事では、4ビット浮動小数点フォーマットであるNF4とその高精度版について解説します。NF4とFP4はbitsandbytesの一般的な4ビットデータ型で、Hugging Faceからダウンロードする4ビット量子化されたLLM重みはNF4またはFP4フォーマットで保存されている可能性があります。
FP4 is a 4-bit floating point format that uses 1 sign bit, 2 exponent bits, and 1 mantissa bit. It has limited precision and dynamic range, making it suitable for specialized applications like AI inference where memory bandwidth is constrained.
USearch introduces FP8 (8-bit floating point) support for vector search and KV-caching, enabling more efficient memory usage and faster computations. The implementation allows for reduced storage requirements while maintaining search accuracy through quantization techniques.