在官方公告中,英伟达引用了 OCI 执行副总裁 Clay Magouyrk 的话说:“Oracle 云基础设施为企业客户提供了几乎无与伦比的人工智能和科学计算基础设施的可访问性,并具有改变行业的能力。Nvidia BlueField-3 DPU 是我们提供最先进、可持续的云基础设施和极致性能战略的关键组成部分。”

BlueField-3 在 CSP 中的其他胜利包括百度、CoreWeave。京东、微软 Azure 和腾讯。

Nvidia 还报告称,BlueField-3 具有“通过DOCA软件框架”的完全向后兼容性。

DOCA 是 BlueField 的编程工具,DOCA 2.0 是最新版本。Nvidia 一直在稳步为其 DPU 产品线添加功能。例如,最近,它加强了内联 GPU 数据包处理,“以实施高数据率解决方案:数据过滤、数据放置、网络分析、传感器信号处理等。” 新的 DOCA GPUNetIO 库可以克服以前 DPDK 解决方案中发现的一些限制。

按照英伟达所说,Nvidia 实时 GPU 网络数据包处理是一种对多个不同应用领域有用的技术,包括信号处理、网络安全、信息收集和输入重建。这些应用程序的目标是实现内联数据包处理管道以在 GPU 内存中接收数据包(无需通过 CPU 内存暂存副本);与一个或多个 CUDA 内核并行处理它们;然后运行推理、评估或通过网络发送计算结果。

推出H100 NVL,用于大模型的内存服务器卡

Anandtech表示,虽然今年的春季 GTC 活动没有采用 NVIDIA 的任何新 GPU 或 GPU 架构,但该公司仍在推出基于去年推出的 Hopper 和 Ada Lovelace GPU 的新产品。但在高端市场,该公司今天宣布推出专门针对大型语言模型用户的新 H100 加速器变体:H100 NVL。

H100 NVL 是NVIDIA H100 PCIe 卡的一个有趣变体,它是时代的标志和 NVIDIA 在 AI 领域取得的广泛成功,其目标是一个单一的市场:大型语言模型 (LLM) 部署。有一些东西使这张卡与 NVIDIA 通常的服务器票价不同——其中最重要的是它的 2 个 H100 PCIe 板已经桥接在一起——但最大的收获是大内存容量。组合的双 GPU 卡提供 188GB 的 HBM3 内存——每张卡 94GB——提供比迄今为止任何其他 NVIDIA 部件更多的每个 GPU 内存,即使在 H100 系列中也是如此。