モデルを拡張する方法 – TPU上のLLMのシステム的視点(2025年版)
本書は、TPU上で大規模言語モデル(LLM)を効率的にトレーニング・推論するためのシステム設計と実装戦略を解説する。データ並列・モデル並列・パイプライン並列などの分散計算手法から、メモリ管理や通信最適化まで、実践的な知見を網羅的に提供している。
本書は、TPU上で大規模言語モデル(LLM)を効率的にトレーニング・推論するためのシステム設計と実装戦略を解説する。データ並列・モデル並列・パイプライン並列などの分散計算手法から、メモリ管理や通信最適化まで、実践的な知見を網羅的に提供している。
The article discusses a notable AI hallucination, highlighting how large language models can confidently generate false or fabricated information, which underscores ongoing reliability issues with such technology.