更新AMD Instinct加速器發展藍圖揭示領先業界AI效能與記憶體功能的年度進程
全新AMD Instinct MI325X加速器預計在2024年第4季上市,將配備多達288 GB的HBM3E記憶體;全新AMD Instinct MI350系列加速器採用AMD CDNA 4架構,預計在2025年出貨,較前一代產品的AI推論效能將有35倍的巨幅提升
台北—2024年6月5日—AMD(NASDAQ: AMD)董事長暨執行長蘇姿丰博士在COMPUTEX 2024開幕主題演講中,展現AMD Instinct™加速器系列的強勢發展動能。AMD揭示AMD Instinct加速器的跨年度產品藍圖,將逐年透過每個世代的AMD Instinct加速器挹注AI效能與記憶體功能優勢。
在更新版發展藍圖中,率先登場的是將於2024年第4季問市的全新AMD Instinct MI325X加速器。隨後則是AMD Instinct MI350系列,採用全新AMD CDNA™打造,預計在2025年上市,其AI推論效能將比AMD CDNA 3架構的AMD Instinct MI300系列大幅提升35倍註1。AMD Instinct MI400系列則將採用AMD CDNA “Next”架構,預定在2026年問市。
AMD資料中心加速運算全球副總裁Brad McCredie表示,AMD Instinct MI300X加速器持續受到Microsoft Azure、Meta、戴爾科技集團、HPE、聯想等眾多合作夥伴與客戶的熱烈採納,充分反映AMD Instinct MI300X加速器的卓越效能與價值。在更新版年度產品藍圖的引領下,我們努力不懈地推動創新,提供領先各界的功能與效能,迎合AI產業與客戶的期盼,促進資料中心AI訓練與推論的新一波革新。
AMD AI軟體產業體系日臻成熟
AMD ROCm™ 6開放軟體堆疊持續發展完備,助力AMD Instinct MI300X加速器為當今最熱門的大型語言模型(LLM)挹注卓越效能。在一部配備8個AMD Instinct MI300X加速器與ROCm 6軟體並運行Meta Llama-3 70B模型的伺服器,客戶可獲得相較競爭對手產品提升1.3倍的推論效能以及token生成吞吐量註2。而憑藉單一AMD Instinct MI300X加速器與ROCm 6軟體,在運行Mistral-7B模型時,客戶可獲得相較競爭對手產品提升1.2倍的推論效能以及token生成吞吐量註3。AMD亦披露最大型且最受歡迎的AI模型儲存庫Hugging Face目前每晚測試70萬個最熱門的模型,確保它們能在AMD Instinct MI300X加速器上直接運行。此外,AMD持續拓展與上游領域的合作,包括PyTorch、TensorFlow以及JAX等熱門AI框架。
AMD預覽新款加速器並公佈年度進程藍圖
AMD在主題演講中揭示AMD Instinct加速器藍圖的年度進程,因應各界對運行更多AI運算的爆發需求。這也將確保AMD Instinct加速器推動新一代前沿AI模型的開發。更新後AMD Instinct年度藍圖的重點包括:
- 全新AMD Instinct MI325X加速器將配備288 GB的HBM3E記憶體以及每秒6 terabytes的記憶體頻寬,沿用和AMD Instinct MI300系列相同的產業標準Universal Baseboard伺服器設計,預計將於2024年第4季問市。這款加速器將擁有領先業界的記憶體容量與頻寬,分別比對手高2倍與1.3倍註4,運算效能則是比對手高1.3倍註5。
- AMD Instinct MI350系列中率先推出的是AMD Instinct MI350X加速器,採用AMD CDNA 4架構打造,預計在2025年上市。新品將沿用和MI300系列加速器相同的產業標準Universal Baseboard伺服器設計,採用先進3奈米製程技術,支援FP4與FP6 AI資料類型,並配備288 GB的HBM3E記憶體。
- AMD CDNA “Next”架構將打造AMD Instinct MI400系列加速器,預計在2026年上市,將提供眾多最新特色與功能,協助為推論與大規模AI訓練挹注額外效能與效率。
AMD強調各界對AMD Instinct MI300X加速器的需求持續成長,眾多合作夥伴與客戶運用加速器運行其要求嚴苛的AI工作負載,其中包括:
- Microsoft Azure運用加速器運行Azure OpenAI服務以及新推出的Azure ND MI300X V5虛擬機器。
- 戴爾科技集團運用MI300X加速器打造PowerEdge XE9680運行企業AI工作負載。
- 美超微(Supermicro)推出多款採用AMD Instinct加速器的解決方案。
- 聯想推出ThinkSystem SR685a V3為混合型AI創新挹注動能。
- HPE運用加速器打造HPE Cray XD675,加速AI工作負載。
歡迎至AMD官網瀏覽AMD在COMPUTEX發表的AI消息,以及前往AMD YouTube專頁觀看主題演講重播。