英伟达发布新一代 AI 芯片 H200

当地时间 11 月 13 日，英伟达宣布推出 NVIDIA HGX™H200，为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构，配备 NVIDIAH200Tensor Core GPU 和高级内存，可处理生成 AI 和高性能计算工作负载的海量数据。H200将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。

NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存，与前身 NVIDIA A100 相比，容量几乎翻倍，带宽增加 2.4 倍。

H200、H100、A100 性能对比，来源：anandtech

英伟达超大规模和 HPC 副总裁 Ian Buck 表示：「要通过生成式 AI 和 HPC 应用程序创建智能，必须使用大型、快速的 GPU 内存高速有效地处理大量数据。借助 NVIDIA H200，业界领先的端到端 AI 超级计算平台能够更快地解决世界上一些最重要的挑战。」

NVIDIA H200 将应用于具有四路和八路配置的 NVIDIA HGX H200 服务器主板，这些主板与 HGX H100 系统的硬件和软件兼容。它还可用于 8 月份发布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper™ 芯片。

英伟达表示，H200 可以部署在各种类型的数据中心中，包括本地、云、混合云和边缘。NVIDIA 的全球合作伙伴服务器制造商生态系统（包括华擎 Rack、华硕、戴尔科技、Eviden、技嘉、慧与、英格拉科技、联想、QCT、Supermicro、纬创资通和纬颖科技）可以使用 H200 更新其现有系统。

除了 CoreWeave、Lambda 和 Vultr 之外，从 2024 年开始，亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。

HGX H200 由 NVIDIA NVLink™ 和 NVSwitch™ 高速互连提供支持，可为各种应用工作负载提供最高性能，包括针对超过 1750 亿个参数的最大模型的 LLM 训练和推理。

八路 HGX H200 提供超过 32 petaflops 的 FP8 深度学习计算和 1.1TB 聚合高带宽内存，可在生成式 AI 和 HPC 应用中实现最高性能。

当与具有超快 NVLink-C2C 互连的 NVIDIA Grace™ CPU 配合使用时，H200 创建了带有 HBM3e 的 GH200 Grace Hopper 超级芯片——一种旨在服务于大规模 HPC 和 AI 应用的集成模块。

富国银行 (Wells Fargo) 分析师 Aaron Rakers 说，H200 是英伟达首款采用 HBM3e 内存的图形处理器，这使其拥有更高的带宽和容量，并凸显出了内存在下一代人工智能工作负载中的重要性。

英伟达表示，H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可增强生成式 AI 和高性能计算 (HPC) 工作负载。

H200 基于 NVIDIA Hopper 架构，是首款以每秒 4.8 TB/s 的速度提供 141 GB HBM3e 内存的 GPU，几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍，内存带宽提高了 1.4 倍。H200 更大、更快的内存可加速生成式 AI 和 LLM，同时以更高的能效和更低的总拥有成本推进 HPC 工作负载的科学计算。

在处理 Llama2 等 LLM 时，H200 的推理速度比 H100 GPU 提高了 2 倍。

对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保高效地访问和操作数据，与 CPU 相比，获得结果的时间最多可加快 110 倍。

英伟达表示，H200 的能源效率和 TCO 达到了新的水平。H200 在性能增长的同时，功率配置与 H100 相同。人工智能工厂和超级计算系统不仅速度更快，而且更环保，提供了推动人工智能和科学界向前发展的经济优势。

英伟达表示，NVIDIA Hopper 架构比其前身实现了前所未有的性能飞跃，并通过 H100 的持续软件增强（包括最近发布的 NVIDIA TensorRT-LLM™等强大的开源库）继续提高标准。