超節點（SuperPod）是近年來為因應 AI 大模型訓練與推理需求而發展出的新型算力基礎設施架構。
它透過高速互連技術，將大量計算單元（例如 GPU、TPU、NPU 等）進行高度整合，形成一個高頻寬域（High Bandwidth Domain，HBD）。
具體而言，超節點是指在單一物理機櫃或一組高度緊密耦合的計算單元內，透過高密度整合計算資源與專用高速互聯技術，打造出接近單機效能的超大規模平行計算系統。
其核心目標是突破傳統伺服器內部，以及伺服器之間依靠 PCIe 或標準乙太網路互連所造成的頻寬不足與延遲瓶頸。
透過將數十甚至數百個 AI 加速器緊密連接，超節點可以形成一台邏輯上的「超級伺服器」，支援張量平行（Tensor Parallelism）、專家平行（Expert Parallelism）等對內部通信能力要求極高的 AI 大模型運算任務。
一、超節點計算架構的主要特徵
1. 高密度算力整合
超節點能夠在有限的物理空間內整合大量 GPU 或其他 AI 加速器。
透過提升單位空間內的計算密度，提供極高等級的 AI 運算能力。
相較於傳統伺服器只能配置少量 GPU，超節點採用機櫃級設計，可以將數十甚至數百顆 AI 晶片整合為一體，使整個系統具備類似超級電腦的計算能力。
2. 高速互聯技術
超節點採用：
- NVLink
- InfiniBand
- 高速 Ethernet/RoCE
等高速互聯技術。
藉此實現：
- GPU 與 GPU 之間的高速通信
- GPU 與網路之間的低延遲傳輸
有效降低 AI 模型訓練過程中的資料交換瓶頸。
尤其是在大模型訓練中，大量存在：
- 模型參數同步
- 梯度交換
- 張量切分通信
高速互聯能力直接決定整體訓練效率。
3. 算力與網路深度融合
在超節點架構中，網路不再只是單純的資料傳輸管道，而是與計算資源深度融合。
其目標包括：
- 網路感知計算（Network-aware Computing）
- 網路融合計算（Network Integrated Computing）
- 計算重新定義網路（Computing Redefining Network）
例如：
在超節點內部引入節點內交換晶片（Node Internal Switch），可以提升 GPU 卡之間的 P2P（Peer-to-Peer）通信頻寬，大幅提升節點內部網路傳輸效率。
4. 統一資源管理與調度
超節點可以實現：
- 計算資源
- 儲存資源
- 網路資源
的統一管理。
透過融合路由與資源調度，提高整體資源利用率與管理效率。
這種資源池化設計，使 AI 工作負載能夠更加彈性地分配計算能力，滿足不同規模的大模型訓練與推理需求。
二、目前業界主要超節點方案
目前業界具有代表性的超節點方案包括：
- NVIDIA DGX SuperPOD（以 GB200 NVL72 為代表）
- 華為 CloudMatrix 384
- ETH-X 開放式超節點架構
（一）NVIDIA DGX SuperPOD（以 GB200 NVL72 為例）
NVIDIA 作為 AI 加速計算領域的領導企業，其 DGX SuperPOD 系列已成為目前業界廣泛採用的 AI 超級計算平台。
其中：
GB200 NVL72 SuperNode
是 NVIDIA 最新一代超節點代表產品。
GB200 NVL72 SuperNode 將：
- 36 顆 Grace CPU
- 72 顆 Blackwell GPU
整合於單一液冷機櫃中。
其採用：
GPU-GPU NVLink Scale Up + Node-Node RDMA Scale Out
的互聯架構。
1. Compute Tray（計算托盤）
整個 GB200 NVL72 系統包含：
- 18 個 Compute Tray
每個 Compute Tray 包含：
- 2 個 GB200 Superchip
每個 GB200 Superchip 內包含：
- 2 顆 Blackwell B200 GPU
- 1 顆 Grace CPU
因此整個 NVL72 機櫃總共包含：
- 72 顆 B200 GPU
- 36 顆 Grace CPU
透過：
- NVLink
- NVLink-C2C
技術，實現 GPU 之間以及 GPU 與 CPU 之間的高速記憶體共享與資料傳輸。
單一 Compute Tray 提供：
- 7.2TB/s 雙向頻寬
- 28.8Tb/s 單向頻寬
整個 NVL72 機櫃中的 Compute Tray：
提供：
- 129.6TB/s NVLink 頻寬
2. Switch Tray（交換托盤）
NVL72 系統包含：
- 9 個 Switch Tray
每個 Switch Tray 內建：
- 2 顆 NVSwitch 晶片
整個機櫃共有：
- 18 顆 NVLink Switch 晶片
透過機櫃後方高速線纜連接：
- Compute Tray
- Switch Tray
單一 Switch Tray 提供：
- 14.4TB/s 雙向頻寬
- 57.6Tb/s 單向頻寬
整個 NVL72：
提供：
- 129.6TB/s NVLink 頻寬
因此 Compute Tray 中的 GPU 與 Switch Tray 中的交換晶片，可以實現全互連架構。
3. Scale Up（節點內擴展）
NVL72 內部採用：
- NVLink 5
- NVSwitch
建立 Scale Up 網路。
其特色：
- 超高頻寬
- 超低延遲
每個 Compute Tray 透過 NVLink/NVSwitch 提供：
- 7.2TB/s Scale Up 連接頻寬
由於採用銅纜連接，相較於光模組，可以降低額外傳輸延遲。
所有 GPU 都可以存取：
- 超節點內其他 GPU 的 HBM 記憶體
- Grace CPU 的 DDR 記憶體
形成統一記憶體空間。
4. Scale Out（節點間擴展）
透過：
- CX8800 800Gbps RNIC
接入：
- InfiniBand RDMA Scale Out 網路
多個 NVL72 SuperNode 可以組成更大規模的 SuperPOD。
例如：
8 個 DGX GB200 NVL72
可以組成：
- 576 顆 B200 GPU 的超大型 AI 集群。
（二）華為 CloudMatrix 384 超節點方案
CloudMatrix 384 是華為推出的大規模 AI 超節點解決方案。
該方案由：
- 384 顆昇騰 910C NPU
透過全連接拓撲架構互聯而成。
其創新點在於提出：
對等計算架構（Peer Computing Architecture）
將傳統伺服器內部匯流排擴展至：
- 整個機櫃
- 跨機櫃範圍
讓整個系統形成一個高度融合的 AI 計算單元。
Leave a Reply