GitHub Handles Git LFS
This article explains how GitHub manages Git Large File Storage (LFS), a system designed to handle large files in Git repositories. It covers the architecture, storage mechanisms, and performance considerations that allow GitHub to efficiently support binary files without bloating the repository size.
背景メモ
- Git LFSは、大容量ファイル（バイナリ、画像、動画など）をテキストのポインタで置き換え、実際のデータは別サーバーで管理する仕組み。Gitそのものはテキスト管理に最適だが、バイナリをそのまま突っ込むとリポジトリが肥大化し、cloneやfetchが遅くなる問題がある。
- GitHubはこのLFSを標準機能として提供しているが、実際の保存場所はGitHub独自のオブジェクトストレージであり、通常のGitオブジェクトとは別に管理される。LFSファイルはWeb UI上でも直接表示できず、API経由でのみアクセス可能。
- LFSには帯域制限やストレージ容量の制限があり、無料プランでは月1GBのストレージと1GBの帯域が上限。超過分は追加課金となるため、大規模なバイナリ管理にはコストがかさむ。
- GitHub ActionsやGitHub Pagesと違い、Git LFSはGitHubのポリシー上「特別扱い」されておらず、料金体系やパフォーマンス面で制約が多い。そのため、ゲーム開発や機械学習のデータセットなど、巨大バイナリを多用するプロジェクトでは専用のLFSサーバーや代替手段（Artifact Storageなど）が検討される。