Show HN: Sipp – ブラウザ上で小型ローカルLLMを3倍高速に動作
SippはオープンソースのAI推論ライブラリで、ブラウザ上でローカルLLMを実行し、従来のライブラリと比較して最大3倍のデコード速度を実現します。統一されたクライアントAPIにより、WebGPU経由のブラウザ推論からセルフホストゲートウェイやクラウドプロバイダーへのシームレスなスケールアップが可能です。RustとC++で構築され、カーネル融合によるさらなる最適化を目指しています。
背景メモ
「Sipp」は、ブラウザ上で小型言語モデル（ローカルLLM）を実行するための新たなオープンソース推論ライブラリ。既存ライブラリ比で最大3倍の復号（デコード）速度を謳う。
- 背景：これまでブラウザ上でのAI実行はWebGPU経由でも動作が重く、モデルの読み込みやキャッシュが実用的でなかった。またElectron/Tauriアプリにモデルを組み込む適切な手法も乏しかった。
- 著者らはこれまでllama.cpp（主力のローカルLLM実行エンジン）に貢献し、WebGPUバックエンドのGPU対応を拡充。その知見を元にSippをRust/C++でゼロから設計し直した。
- 統合クライアントAPIを採用。ブラウザ（WebGPU）→ 自宅サーバ（CUDA/Vulkan）→ クラウド と、コードを変えずにエンドポイントを切り替えられる点が売り。小タスクはローカル、高度な処理はクラウドへと段階的にスケールできる。
- 著者らの本当の狙いは、トークンが「無料」同然になった先のUI体験——チャットボットではなく、ユーザの意図を常時監視し動的にUIを生成・変化させる「継続的で静かな」アシスタントを実現すること。