推理速度提升十倍！英伟达发布ChatGPT核弹级GPU _ 游民星空 GamerSky.com

在GTC大会上，英伟达发布了一款专为ChatGPT设计的“核弹”GPU（图像芯片）：H100 NVL。这是一种具有94GB内存和加速Transformer引擎的大语言模型（LLM）专用解决方案，配备了双GPU NVLINK的PCIE H100 GPU。

视频链接>>>>

黄仁勋表示，当前唯一可以实际处理ChatGPT的GPU是英伟达HGX A100（OpenAI便是使用A100 GPU训练和运行ChatGPT），而H100 GPU的处理速度比A100 GPU快十倍，可以将大语言模型的处理成本降低一个数量级。