AIインフラエンジニアになるには？
現在、大手企業のGenAIプラットフォームで推論インフラを構築しているエンジニアが、単なるLLMのデプロイ担当から真のソフトウェアエンジニアへ成長するために必要なスキルセットについてコミュニティに質問。分散システム、低レベルのGPUプログラミング、ML研究といった分野の重要性や、大規模企業以外で習得が難しいスキルについて実践的なアドバイスが求められている。
背景メモ
- H200 GPU は NVIDIA の AI 推論向け最先端アクセラレータ。48基という規模は並列処理の大規模環境を意味する。<br>- vLLM は LLM 推論の高速化・効率化を実現するオープンソースライブラリ。Kubernetes 上のサービスとして組み込まれている。<br>- SRE（Site Reliability Engineering）は Google 発祥の、運用業務をソフトウェア工学の手法で行う職種。ここでは「インフラを回す係」と「コードを書く係」の対比で使われている。<br>- GenAI プラットフォーム分野では、モデルを研究開発する層・推論を最適化する層・インフラを運用する層の役割が分化しており、質問者は運用（SRE）側からより深いソフトウェアエンジニアリング領域へキャリアを広げたいという課題を抱えている。<br>- 分散システム（複数マシンで処理を協調させる設計）や低レイヤ GPU プログラミング（CUDA レベル）は、大企業でなければ体系的に学ぶ機会が得にくいスキルとして認識されている。