Show HN: NanoEuler – 純粋なC/CUDAでスクラッチから構築したGPT-2規模のモデル
NanoEulerは、純粋なC言語とCUDAのみでスクラッチから実装されたGPT-2規模のテキスト生成モデルです。23Mパラメータの段階でテキストの構造を学習し、SFTを活用してチャットボットへと発展させました。中間ライブラリを一切介さず、GPUの動作やパラメータとデータの相関を低レベルで理解することを目的としています。
背景メモ
NanoEulerは、OpenAIのGPT-2（2019年発表、約15億パラメータ）と同程度の小規模LLMを、Pythonフレームワーク（PyTorchなど）を一切使わず、純粋なC言語とNVIDIAのGPUプログラミング言語CUDAだけでゼロから実装した個人プロジェクト。作者はAnthropic（Claudeを開発するAI企業）への就職を志望しており、学習の一環として公開した。</param>
<｜｜DSML｜｜parameter name="note" string="true">NanoEulerは、OpenAIのGPT-2（2019年発表、約15億パラメータ）と同程度の小規模LLMを、Pythonフレームワーク（PyTorchなど）を一切使わず、純粋なC言語とNVIDIAのGPUプログラミング言語CUDAだけでゼロから実装した個人プロジェクト。作者はAnthropic（Claudeを開発するAI企業）への就職を志望しており、学習の一環として公開した。</param>