微型LLM基准测试：Jetson Orin Nano Super 8GB
本文对搭载8GB内存的Jetson Orin Nano Super开发板进行了非推理场景下的微型语言模型基准测试。通过在不同参数规模和任务上评估模型性能，展示了这款边缘计算设备在运行轻量级LLM时的实际吞吐量和延迟表现，为嵌入式AI应用提供了重要参考数据。
背景速读
- 英伟达Jetson Orin Nano Super 8GB是一款边缘AI开发板（售价约500美元），专为在设备本地运行AI模型而设计，无需联网或依赖云端算力。
- 与英特尔/AMD的CPU或游戏显卡不同，Jetson系列搭载英伟达的GPU和Tensor Core，侧重于低功耗（15-25瓦）下的AI推理，常用于机器人、无人机、智能摄像头等嵌入式场景。
- 本文评测的是非推理模型（即传统的大型语言模型，如Llama/GPT类，而非o1等推理链模型），测试其运行速度和内存占用，这是判断开发板能否在无云环境下跑通AI助手或本地聊天机器人的关键指标。
- 此前已有Jetson Orin Nano（标准版）和更高端的Orin NX/AGX系列，Orin Nano Super是2024年底推出的"超级"升级版，主要提升GPU频率和内存带宽，但功耗和价格保持不变。