Show HN: mlx-chronos - Apple Silicon上でMLX推論エンジンをベンチマークする
mlx-chronosは、Apple Silicon搭載Mac上でMLX推論エンジンのパフォーマンスをベンチマークするためのツールです。異なるMLX実装間での推論速度や効率を比較・測定し、最適なエンジンを選択するための指標を提供します。
背景メモ
MLXはAppleが2023年12月に公開した機械学習フレームワークで、Apple Silicon（M1/M2/M3シリーズ）上のGPU・Neural Engineを効率的に活用できる。主要な競合はllama.cpp（CPU/GPU両対応の軽量推論エンジン）やApple自身のCore ML。mlx-chronosはGitHub上で公開されたベンチマークツールで、同一のLLMをMLX・llama.cpp・Core MLなど複数の推論エンジンで実行し、トークン生成速度やメモリ使用量を比較する。Apple SiliconユーザーやローカルLLM運用に関心のある開発者にとって、どのフレームワークを使うべきかの判断材料を提供する。LLMのローカル実行が普及する中で、ハードウェアを最大限活かせる選択肢を探る実用的なプロジェクト。