Intel正式公布全新AI解決方案組合，包括採用全P-Core的Xeon 6，以及大幅提升性能的Gaidi 3 AI加速器；全P-Core的Xeon 6鎖定AI與HPC工作負載，而Gaudi 3 AI加速器不僅較前一代提高20%吞吐量、對比業界主流的NVIDIA H100，可在同樣成本執行Llama 2 70B推論提供2倍性能，Intel強調結合Xeon 6處理器與Gaudi 3 AI加速器能提供出色的每瓦最佳效能並降低總成有成本(TCO)。
Xeon 6
▲Xeon 6較前一代提升兩倍的性能，並將AI加速功能融入每個核心
Intel此次公布的Xeon 6為全P-Core(基於Lion Cove)設計，旨在處理運算密集工作負載，同時兼具出色的效率，隊比前一代產品不僅核心數增加、記憶體頻寬增加，也在每個P-Core架構納入AI加速功能，實現較前一代2倍的效能提升，可滿足邊際至資料中心與雲端的AI效能需求。
Gaudi 3
▲Gaudi 3緊咬NVIDIA H100不放，強調在相同持有成本可提供兩倍的性能
Gaudi 3旨在為大規模生成式AI進行最佳化，具備64個張量處理器核心(TPC)與8個矩陣乘法引擎(MME)，配備高達128GB的HBM2e記憶體，以及可用於擴充網路的24個200Gb乙太網路連接埠；Gaudi 3提供與PyTorch框架、Hugging Face Transformer模型與diffuser模型的無縫相容向，並獲得IBM選用作為IBM Cloud的服務進行佈署。
強調可降低AI系統總持有成本
Intel強調大規模佈署AI需考量多種音色，包括靈活彈性佈署、具競爭力的價格效能比與可用的AI技術；Intel以建構在x86的開放生態系，使其支援企業建構最佳化總持有成本與出色每瓦效能的高價值AI系統，當前市場上有高達73%的GPU加速伺服器皆採用Intel的Xeon處理器。
Intel亦與OEM夥伴、包括Dell、美超微等進行系統的共同設計與開發，滿足客戶在有效佈署AI的特定需求，其中Dell正著手與Intel設計適用於檢索增強生成(RAG)的Gaudi 3與Xeon 6解決方案。
▲Intel藉由與OEM夥伴共同設計滿足客戶有效佈署AI的特定需求
在生成式AI解決方案自原型發展至量產就緒的過程，需面臨即時監控、錯誤處理、紀錄日誌檔、安全性與可擴充性的挑戰，Intel攜手OEM與產業夥伴透過共同設計解決這些挑戰，並推出量產就緒的RAG解決方案；這些解決方案建構於OPEA(Open Platform For Enterprise AI)平台，並將基於OPEA的為服務架構整合至可擴充的RAG系統，在針對Xeon與Gaudi AI系統進行最佳化，協助客戶整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI的應用程式。
使企業搶先體驗與進行開發
Intel Tiber產品組合解決方案可解決AI、雲端與邊際等挑戰，包括存取、成本’複雜性、安全性、效率與可擴充性，目前Intel Tiber Developer Cloud提供Xeon 6預覽系統工進行技術評估與測試，特定客戶則可搶先於平台體驗Gaudi 3並進行AI模型的布署與驗證，預計於2024年第四季開始推出供大規模量產布署Gaudi 3叢集。
此外包括Seekr推出用於開發可信賴AI應用程式的SeekrFlow，以及包括Intel Gaudi軟體最新版本和整合PyTorch 2.4的Jupyter Notebooks、英特爾oneAPI以及AI工具2024.2版本，其中包括全新AI加速功能，並支援Xeon 6處理器。
暂无评论内容