NVIDIA 推出带有 L4 Tensor Core GPU 和 H100 NVL GPU 的推理平台

 　　NVIDIA 宣布推出四款推理平台，推出全新的 NVIDIA L4 Tensor Core GPU 和 NVIDIA H100 NVL GPU，用于加速推理应用。他们合作过与 Google Cloud、D-ID 和 Cohere 等合作伙伴一起加速各种生成式人工智能服务的开发。

　　推理平台主要采用 Ada、Hopper GPU 或“Grace + Hopper”Superchip 配置，辅以新增的 NVIDIA L4 Tensor Core GPU 和 NVIDIA H100 NVL GPU，根据工作负载需求优化处理。这些平台满足人工智能视频生成、图像生成、大型语言模型部署和推荐系统推理需求。

　　NVIDIA L4 Tensor Core GPU 提供的 AI 视频生成性能是传统 CPU 的 120 倍，同时能耗降低 99% 。它处理各种工作负载，并支持增强的视频解码和转码功能、视频流、增强现实和生成 AI 视频应用程序。

　　NVIDIA H100 NVL GPU，适合部署ChatGPT等大型自然语言模型，拥有94GB显存和Transformer加速引擎。在数据中心规模的服务器上运行 GPT-3 语言模型时，它提供的推理性能是上一代 A100 GPU 的 12 倍。

　　谷歌云率先在其机器学习平台 Vertex AI 中实施 NVIDIA L4 Tensor Core GPU，并向公众提供由 NVIDIA L4 Tensor Core GPU 提供支持的实例。早期采用者包括 Descript，它可以帮助创作者使用生成式 AI 制作视频和播客内容，以及 WOMBO，这是一款名为“Dream”的 AI 文本到数字艺术应用程序。

　　NVIDIA 推理平台的其他采用者包括快手、生成式 AI 技术平台 D-ID、AI 制作工作室 Seyhan Lee 和语言 AI ​​公司 Cohere。

　　Grace Hopper Superchip 和 NVIDIA H100 NVL GPU 定于下半年上市，而 NVIDIA L4 Tensor Core GPU 可通过谷歌云以非公开方式预览，或由研华、华硕、思科、戴尔提供、富士通、技嘉、HPE、联想、QCT 和 Supermicro。