NVIDIA 乙太網加速 xAI 構建的全球最大 AI 超級電腦

2024 年 10 月 28 日—NVIDIA 宣佈，xAI 位於田納西州孟菲斯市的 Colossus 超級計算機集群達到了 10 萬顆 NVIDIA® Hopper GPU 的巨大規模。 該集群使用了 NVIDIA Spectrum-X™ 乙太網網路平臺，該平臺是專為多租戶、超大規模的 AI 工廠提供卓越性能而設計的 RDMA（Remote Direct Memory Access）網路。

Colossus 是世界上最大的 AI 超級電腦，目前正被用於訓練 xAI 的 Grok 系列大語言模型，以及作為 X Premium 使用者功能之一的聊天機器人（Chatbot）。 xAI 正在將 Colossus 的規模進一步擴大一倍至 20 萬顆 NVIDIA Hopper GPU。

xAI 和 NVIDIA 僅用了 122 天就建成了所有配套設施和這台最先進的超級計算機，從第一個機架落地到開始訓練任務，只用了 19 天。 而建造這種規模的系統通常需要數月乃至數年的時間。

在訓練 Grok 這種超大型模型時，Colossus 實現了空前的網路性能，在三層網路架構下，整個系統未出現任何因流量衝突而造成的應用延遲增加或數據包丟失的情況。 憑藉 Spectrum-X 先進的擁塞控制功能，系統數據輸送量一直保持在 95%。

這一性能水準是傳統乙太網在大規模的情況下根本無法實現的，傳統乙太網在數千條流發生衝突時，只能提供 60% 的數據輸送量。

NVIDIA 網路高級副總裁 Gilad Shainer 表示：“AI 正變得至關重要，對性能、安全性、可擴展性和成本效益提出了更高的要求。 NVIDIA Spectrum-X 乙太網網路平臺專為那些如 xAI 一樣的創新企業提供更快的處理、分析和執行 AI 工作負載的速度，進而加速 AI 解決方案的開發、部署和上市。 ”

埃隆·馬斯克在 X 上表示：“Colossus 是世界上最強大的訓練系統。 xAI 團隊、NVIDIA 和我們的眾多合作夥伴及供應商幹得漂亮。 ”

xAI 發言人表示：「xAI 構建了全球規模最大、性能最強的超級計算機。 借助 NVIDIA Hopper GPU 和 Spectrum-X，我們得以突破大規模 AI 模型訓練的邊界，打造基於乙太網標準並經過超級加速和優化的 AI 工廠。 ”

Spectrum-X 平臺的核心是Spectrum SN5600乙太網交換機，它支持高達800Gb/s的埠速度，採用了Spectrum-4交換機 ASIC。 xAI 採用了 Spectrum-X SN5600 交換機與 NVIDIA BlueField-3® SuperNIC 的端到端解決方案，實現了前所未有的性能。

專門面向 AI 的 Spectrum-X 乙太網網路具有先進的功能，可在提供高效、可擴展的頻寬的同時，實現低延遲和短尾延遲，而這些功能之前是 InfiniBand 網路所獨有的。 Spectrum-X 的功能包括基於 NVIDIA DDP（Direct Data Placement）技術的動態路由、擁塞控制計算，以及增強了 AI 網路的可視性和性能隔離，所有這些功能都是多租戶生成式 AI 雲和大型企業應用環境的關鍵要求。