英偉達(dá)發(fā)布“超級AI芯片”H200 預(yù)計明年第二季度開始供應(yīng)

每經(jīng)記者｜楊卉    每經(jīng)編輯｜董興生    

黃仁勛又升級“裝備”了。11月14日，《每日經(jīng)濟(jì)新聞》記者從英偉達(dá)處獲悉，當(dāng)?shù)貢r間11月13日，英偉達(dá)宣布推出NVIDIA HGX™  H200（AI芯片型號，以下簡稱“H200”）。據(jù)悉，H200是首款采用HBM3e GPU（內(nèi)存，相較此前速率更快、容量更大），進(jìn)一步加速生成式AI與大語言模型，同時推進(jìn)用于HPC（高性能計算）工作負(fù)載的科學(xué)計算，可提供傳輸速度4.8 TB/秒的141GB顯存，與上一代架構(gòu)的NVIDIA A100相比容量翻了近一倍，帶寬增加了2.4倍。

圖片來源：企業(yè)供圖

在英偉達(dá)超大規(guī)模和高性能計算副總裁Ian Buck看來，想要通過生成式AI和HPC應(yīng)用創(chuàng)造智能，就必須使用大型、快速的GPU顯存來高速、高效地處理海量數(shù)據(jù)。當(dāng)H200與采用超高速NVLink-C2C互連技術(shù)的NVIDIA Grace CPU搭配使用時，就組成了帶有HBM3e的GH200 Grace™ Hopper超級芯片——專為大型HPC和AI應(yīng)用而設(shè)計的計算模塊。

從規(guī)格來看，H200將提供四路和八路H200服務(wù)器主板可選，與HGX H100系統(tǒng)的硬件和軟件都兼容；還可用于今年8月發(fā)布的采用HBM3e的NVIDIA GH200 Grace Hopper™超級芯片。這些配置使H200可以部署在各類數(shù)據(jù)中心，包括本地、云、混合云和邊緣；可為各種應(yīng)用工作負(fù)載提供最高的性能，包括針對1750億參數(shù)以上超大模型的LLM訓(xùn)練和推理。

架構(gòu)方面，與前代相比，NVIDIA Hopper架構(gòu)實現(xiàn)了性能躍升，如在一個700億參數(shù)的LLM——Llama 2上的推理速度比H100（英偉達(dá)AI芯片）提高了近一倍。

根據(jù)英偉達(dá)方面的說法，將于2024年第二季度開始通過全球系統(tǒng)制造商和云服務(wù)提供商提供H200；服務(wù)器制造商和云服務(wù)提供商也預(yù)計于同一時間開始提供搭載H200的系統(tǒng)。