最新MLPerf基準測試展現英特爾XeonAI推論與通用AI工作負載的效能表現

2024年9月23日──開放工程聯盟(MLCommons)日前公布其業界標準AI效能基準測試套件MLPerf Inference v4.1的結果。英特爾針對第5代Intel® Xeon®可擴充處理器和首次參與測試並搭載效能核心(P-core)的Intel® Xeon® 6處理器,提交了6項MLPerf基準測試結果。相較於第5代Xeon處理器,搭載效能核心(P-core)的英特爾Xeon 6處理器在AI效能上實現約1.9倍的幾何平均效能(geomean performance)提升。

英特爾企業副總裁暨資料中心AI解決方案總經理Pallavi Mahajan指出:「最新MLPerf基準測試結果顯示,持續投資與資源配置對提升AI效能至關重要。在過去四年期間,我們透過MLPerf測試,將英特爾Xeon處理器的AI效能提升高達17倍。隨著今年稍晚產品即將正式發表,我們期待攜手合作夥伴與客戶共同促進Xeon 6的普及。」

AI系統需要CPU作為關鍵元件,以便於各種情境中成功布署解決方案。英特爾Xeon提供優異的AI推論解決方案,包括古典機器學習(ML)和向量搜尋嵌入(vector search embedding)。

利用MLPerf Inference v4.1測試基準,英特爾提交了第5代英特爾Xeon處理器和搭載效能核心(P-core)的Xeon 6處理器,並以ResNet50、RetinaNet、3DUNet、BERT、DLRM v2和GPT-J模型進行測試。相較於第5代Intel Xeon處理器,Xeon 6在六項基準測試中平均提供約1.9倍的AI推論效能提升。而英特爾是唯一持續向MLPerf提交CPU測試結果的伺服器處理器供應商。

英特爾自四年前首次提交MLPerf測試結果以來,在CPU的AI效能方面已經取得顯著進展。與2021年第3代Intel® Xeon®可擴充處理器相比,Xeon 6在自然語言處理(BERT模型)上的效能表現提升高達17倍,在電腦視覺(ResNet50模型)工作負載上的效能則提升高達15倍。英特爾在其CPU產品藍圖規畫中持續投資AI領域,例如藉由新的資料類型與效率提升,持續創新Intel® Advanced Matrix Extensions(AMX)。

最新的MLCommons基準測試結果,突顯了Xeon處理器如何為OEM提供強大的CPU AI伺服器解決方案。隨著AI運算需求的成長,許多客戶在執行企業工作負載的同時,也在執行AI工作負載。OEM會將MLPerf基準測試結果列為優先考量條件,以確保能為顧客提供針對AI工作負載最佳化的高效能Xeon系統。

英特爾在最新的MLPerf基準測試中,支援思科、戴爾科技、慧與科技(HPE)、廣達和美超微(按廠商英文名稱順序排列)等五家OEM夥伴。每位客戶皆提交了使用第五代Xeon可擴充處理器的MLPerf測試結果,展示其系統對各種AI工作負載和布署的支援。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *