1. 首頁 > 生活百科 > >

AWS推出主權AI本地部署方案及新一代AI加速器

ai芯片亞馬遜英偉達

AWS推出主權AI本地部署方案及新一代AI加速器
【AWS推出主權AI本地部署方案及新一代AI加速器】
亞馬遜云科技今日發布了一系列人工智能基礎設施產品 ， 涵蓋主權本地部署、下一代定制AI加速器以及AWS上最先進的英偉達GPU實例 ， 旨在主導云端和私有大規模AI市場 。
此次發布包括AWS AI工廠的推出、搭載全新Trainium3芯片的Amazon EC2 Trn3 UltraServers正式上線 ， 以及配備英偉達最新基于Blackwell架構GB300 NVL72平臺的P6e-GB300 UltraServers 。
AWS AI工廠
AWS AI工廠是此次發布的重點產品 ， 這一全新服務將專用的全棧AWS AI基礎設施直接部署到客戶現有的數據中心內 。
該平臺整合了英偉達加速計算、AWS Trainium芯片、高速低延遲網絡、節能基礎設施以及核心AWS AI服務 ， 包括Amazon Bedrock和Amazon SageMaker 。
AWS AI工廠主要面向政府和受監管行業構建 ， 運行方式類似私有AWS區域 ， 在確保嚴格數據主權和監管合規的同時 ， 提供安全、低延遲的計算、存儲和AI服務訪問 。 通過這一產品 ， 客戶可以利用自己的設施、電力和網絡連接 ， 而AWS負責部署、運營和生命周期管理 。 AWS表示 ， 這一方案將原本需要數年的部署時間大幅縮短 。
作為AI工廠發布的一部分 ， AWS還強調了與英偉達在該平臺上的深度合作 ， 包括對Grace Blackwell和未來Vera Rubin GPU架構的支持 ， 以及Trainium4對英偉達NVLink Fusion互連的未來支持 。
英偉達超大規模和高性能計算副總裁兼總經理Ian Buck表示：\"大規模AI需要全棧方法——從先進GPU和網絡到優化數據中心每一層的軟件和服務 。 我們與AWS合作 ， 將所有這些直接交付到客戶環境中 。 \"
Trainium3 UltraServers
AWS還宣布搭載全新三納米Trainium3 AI芯片的Amazon EC2 Trn3 UltraServers正式上線 。
Trn3系統可在單個UltraServer中擴展至144個Trainium3芯片 ， 相比Trainium2提供高達4.4倍的計算性能、4倍的能效以及近4倍的內存帶寬 。
這些UltraServers專為下一代工作負載設計 ， 如智能體AI、專家混合模型和大規模強化學習 ， 配備AWS工程化網絡 ， 實現低于10微秒的芯片間延遲 。
在使用OpenAI開源權重模型GPT-OSS的測試中 ， AWS客戶相比上一代產品實現了每芯片3倍的吞吐量提升和4倍的推理響應速度 。 包括Anthropic、Karakuri、Metagenomi、Neto.ai、理光和Splash Music在內的客戶已報告訓練和推理成本降低高達50% 。
AWS還預覽了Trainium4 ， 預計將在FP4和FP8性能以及內存帶寬方面實現重大提升 。
英偉達GB300
在AI基礎設施發布中 ， AWS推出了全新的P6e-GB300 UltraServers ， 配備英偉達GB300 NVL72平臺 ， 成為Amazon EC2上最先進的英偉達GPU架構 。
這些實例在AWS上提供最高的GPU內存和計算密度 ， 面向萬億參數AI推理和生產環境中的高級推理模型 。
P6e-GB300系統運行在AWS Nitro系統上 ， 與Amazon Elastic Kubernetes Service等服務緊密集成 ， 使客戶能夠安全高效地部署大規模推理工作負載 。
Q&A
Q1：AWS AI工廠是什么？主要面向哪些客戶？
A：AWS AI工廠是亞馬遜云科技推出的全新服務 ， 將專用的全棧AWS AI基礎設施直接部署到客戶現有數據中心內 。 主要面向政府和受監管行業 ， 運行方式類似私有AWS區域 ， 在確保數據主權和監管合規的同時提供AI服務 。
Q2：Trainium3相比上一代有什么提升？
A：Trainium3采用三納米工藝 ， 相比Trainium2提供高達4.4倍的計算性能、4倍的能效以及近4倍的內存帶寬 。 在測試中 ， 客戶實現了每芯片3倍的吞吐量提升和4倍的推理響應速度 ， 訓練和推理成本降低高達50% 。
Q3：P6e-GB300 UltraServers有什么特點？
A：P6e-GB300 UltraServers配備英偉達最新的GB300 NVL72平臺 ， 是Amazon EC2上最先進的英偉達GPU架構 。 提供AWS上最高的GPU內存和計算密度 ， 專門面向萬億參數AI推理和生產環境中的高級推理模型 。


    推薦閱讀