1. 首頁 > 生活百科 > >

AMD新品號稱性能強于英偉達

【AMD新品號稱性能強于英偉達】AMD新品號稱性能強于英偉達

文章圖片

AMD新品號稱性能強于英偉達

文章圖片

AMD的256GB Instinct MI325X GPU在AI推理工作負載方面的表現可以超越Nvidia的141GB H200處理器 ， 并承諾下一代MI350加速器芯片將使性能大幅提升 。
在訓練AI模型方面 ， AMD表示MI325X與H200相當或略勝一籌 。
MI325X是Instinct MI300X的后續產品 ， 具有更大的內存容量和帶寬 。
Instinct MI300X去年12月推出 ， AMD憑借提供強大的AI加速器芯片方面的實力 ， 成為Nvidia的競爭對手 。

這是AMD新戰略的一部分 ， 即每年發布一次Instinct芯片 ， 而不是每兩年發布一次 ， 這顯然是為了跟上Nvidia加快的芯片發布節奏 。
AMD表示 ， MI325X明年第一季度開始應用于戴爾科技、聯想、超微、惠普企業、技嘉、Eviden 和其他幾家服務器供應商的系統 。
Instinct MI325X規格和性能指標
Instinct MI300X配備192GB HBM3和5.3TB/s的內存帶寬 ， 而基于與MI300X相同的CDNA 3 GPU 架構的MI325X配備256GB HBM3E ， 由于內存格式的更新 ， 內存帶寬可達到6TB/s 。

在吞吐量方面 ， MI325X具有與MI300X相同的功能：8位浮點（FP8）性能為2.6千萬億次浮點運算 ， 16位浮點（FP16）性能為1.3千萬億次浮點運算 。
在芯片級別將AI推理性能與H200進行比較時 ， AMD表示 ， MI325X采用8組、70億參數的Mixtral 模型 ， 吞吐量提高40%；采用70億參數的Mixtral模型 ， 延遲降低30%；采用700億參數的Llama 3.1模型 ， 延遲降低20% 。
MI325X將適用于八芯片Instinct MI325X平臺 ， 該平臺將作為明年初推出的服務器的基礎 。
該平臺通過帶寬為896GB/z的AMD Infinity Fabric連接八個MI325X GPU ， 將具有2TB的HBM3e 內存、48TB/s的內存帶寬、20.8 petaflops的FP8性能和10.4 petaflops的FP16性能 。
這意味著MI325X平臺的內存容量比Nvidia的H200 HGX平臺高出80% ， 內存帶寬高出30% ， FP8和FP16吞吐量快30% ， 該平臺配備8個H200 GPU ， 今年早些時候開始出貨 ， 作為基于H200的服務器的基礎 。
AMD將推理性能與H200 HGX平臺進行比較 ， MI325X平臺通過4050億個參數的Llama 3.1模型提供了更快40%的吞吐量 ， 通過700億個參數的Llama 3.1模型提供了更低20%的延遲 。
在單個GPU上訓練70億參數的Llama 2模型時 ， MI325X比H200快10% 。
另一方面 ， 在八個GPU上訓練700億參數的Llama 2模型時 ， MI325X平臺與H200 HGX平臺不相上下 。
MI350芯片推理能力提升35倍
下一代 Instinct MI350加速器芯片系列有望明年下半年推出 ， 并透露與MI300X相比 ， 推理性能將提高35倍 。
這是基于運行1.8萬億參數專家混合模型的八GPU MI350平臺的工程估算做出的預測 。
MI350系列基于AMD下一代CDNA 4架構 ， 采用3納米制造工藝 ， 將包括MI355X GPU ， 配備288GB HBM3e內存和8TB/s內存帶寬 。

MI350系列支持新的4位和6位浮點格式 (FP4、FP6) ， MI355X能夠實現9.2千萬億次浮點運算 。
對于FP8和FP16 ， MI355X預計分別達到4.6千萬億次浮點運算和2.3千萬億次浮點運算 。
這意味著下一代Instinct芯片有望比MI325X或MI300X提供快77%的FP8和FP16格式的性能 。

Instinct MI355X平臺配備八個MI355X GPU ， 預計將具有2.3TB HBM3e內存、64TB/s內存帶寬、18.5 petaflops的FP16性能、37 petaflops的FP8性能以及74 petaflops的FP6和FP4性能 。
MI355X平臺擁有74petaflops的FP6和FP4性能 ， 預計比MI300X平臺的FP16功能快7.4倍 。
MI355X平臺的內存容量增加了50% ， 這意味著它可以在單個系統上支持多達4.2萬億個參數模型 ， 是MI300X平臺的六倍 。
AMD明年下半年推出MI355X后 ， 公司計劃在2026年推出采用下一代CDNA架構的Instinct MI400 系列 。

    推薦閱讀