AWS 推出新一代自研晶片

AWS Graviton4 是目前 AWS 效能最強、最具能源效率的自研晶片，支援廣泛的雲端工作負載

AWS Trainium2 提供 AWS 上用於模型訓練的最高運算效能，提高訓練速度、降低成本及能耗

亞馬遜（Amazon）旗下 Amazon Web Services（AWS）於 AWS re:Invent 全球盛會上宣布，自研晶片的兩個系列推出新一代，包括 AWS Graviton4 和 AWS Trainium2，為機器學習（ML）訓練和生成式人工智慧（AI）應用等廣泛的工作負載提供更高性價比和效能。Graviton4 和 Trainium2 是 AWS 自研晶片的最新創新，AWS 每一代自研晶片都持續提升性價比和效能，為客戶提供了使用 AMD、Intel 以及 NVIDIA 等最新晶片和執行個體組合之外的更多選擇，進而使 Amazon Elastic Compute Cloud (Amazon EC2) 可以為客戶虛擬運行幾乎所有應用和工作負載。

Graviton4 與前一代 Graviton3 處理器相比，效能提升高達 30%，獨立核心增加 50% 以上，記憶體頻寬提升 75% 以上，為在 Amazon EC2 上運行的工作負載提供最佳效能和能源效率。
Trainium2 與第一代 Trainium 晶片相比訓練速度提升多達 4 倍，並能在 EC2 UltraClusters 中部署多達 100,000 個晶片，可以在極短的時間訓練基礎模型（FMs）和大語言模型（LLMs），同時能源效率提升多達 2 倍。

AWS 運算與網路服務副總裁 David Brown 表示：「晶片是客戶所有工作負載的基礎，這也是為什麼 AWS 一直將此領域視為至關重要的創新領域。透過將晶片設計聚焦於客戶真正關心的實際工作負載，我們能夠為客戶提供最先進的雲端基礎設施。Graviton4 是我們在短短五年推出的同系列第四代，是我們至今功能最強大和最具能源效率的晶片，支援客戶廣泛的工作負載。隨著生成式 AI 引起廣大的關注， Tranium2 可以幫助客戶以更低的成本和更佳的能源效率，更快地訓練機器學習模型。」

Graviton4 為客戶廣泛的工作負載提供更佳的性價比和更高的能源效率

如今，AWS 在全球大規模提供的使用 Graviton 的 Amazon EC2 執行個體種類達 150 多個，已經建構的 Graviton 處理器數量超過 200 萬個，並擁有超過 50,000 客戶。這些客戶涵蓋了 EC2 最大的前 100 個客戶，他們應用使用 Graviton 的執行個體獲得最佳的性價比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe 以及 Zendesk 等客戶正採用使用 Graviton 的執行個體運行廣泛的工作負載，包括資料庫、資料分析、網路服務器、批次處理、廣告服務、應用伺服器以及微服務等。隨著客戶把更大的記憶體資料庫和分析工作負載遷移到雲端，對運算、記憶體、儲存和網路的要求也隨之增加。為此，客戶需要更高效能和更大的執行個體來運行這些要求嚴苛的工作負載，同時需要優化成本。針對這些工作負載，客戶還希望能使用更加節能的運算資源，減少對環境的影響。目前，很多 AWS 的託管服務都支援使用 Graviton，包括 Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 以及 AWS Lambda 等，將 Graviton 的性價比優勢帶給使用這些服務的客戶。

Graviton4 處理器相比 Graviton3 處理器效能提升 30%，獨立核心增加 50% 以上，記憶體頻寬提升 75% 以上。Graviton4 還進一步透過完全加密高速物理硬體介面提升了安全性。Amazon EC2 R8g 記憶體優化執行個體將採用最新的 Graviton4，提升客戶運行高效能資料庫、記憶體緩存、大數據分析等工作負載的效率。R8g 執行個體相比前一代 R7g 執行個體提供更大的執行個體大小，虛擬處理器（vCPU）以及記憶體均提升了 3 倍。這讓使用者可以處理更大量的資料、更大規模的工作負載、更快獲得運行結果，並降低擁有權總成本。使用 Graviton4 的 R8g 執行個體現已提供預覽版，並將在未來幾個月推出正式可用版。欲了解更多使用 Graviton4 的 R8g 執行個體的資訊，請至：aws.amazon.com/ec2/instance-types/r8g

Trainium2 的 EC2 UltraClusters 致力於為客戶提供雲端最高效能、最具能源效率的 AI 模型訓練基礎設施

如今日益增加的生成式AI應用背後的基礎模型和大語言模型需要使用海量的資料進行訓練。這些模型透過創造文字、音訊、圖片、影片、甚至軟體程式碼等大量新的內容，幫助客戶重構使用者體驗。當今最先進的基礎模型和大語言模型通常包含數千億甚至數萬億個參數或變數，需要能夠支援上萬機器學習晶片進行擴展的可靠高效能運算能力。AWS 現已提供廣泛而深入的機器學習晶片支援的 Amazon EC2 執行個體選項，包括最新的 NVIDIA GPU、Trainium 以及 Inferentia2。

Databricks、Helixon、Money Forward 以及 Amazon Search 團隊等眾多客戶都在使用 Trainium 訓練大規模深度學習模型，受益於 Trainium 的高效能、可擴展、可靠以及低成本等諸多優勢。然而即便已經在使用當今最快的加速執行個體，客戶仍然希望獲得更強的效能和規模來訓練這些日益複雜的模型，從而提高訓練速度、降低成本，同時降低能源消耗。

Trainium2 晶片專為以高效能訓練具有數萬億個參數或變數的基礎模型和大語言模型而打造。Trainium2 與第一代 Trainium 晶片相比，效能提升多達 4 倍，記憶體提升 3 倍，能源效率（每瓦效能）提升多達2倍。Amazon EC2 Trn2 執行個體採用最新的 Trainium2，一個單獨執行個體包含 16 個 Trainium 加速晶片。Trainium2 執行個體致力於為客戶在新一代 EC2 UltraClusters 中擴展多達 100,000 個 Trainium2 加速晶片，並與 AWS Elastic Fabric Adapter（EFA）PB 級網路互連，提供的產能高達 65 exaflops（exaflops指 10 的 18 次方，百億億次），客戶可按需獲得超級運算級別的效能。有了這個級別的規模，客戶可在數週而非數月就能訓練完成一個具有 3 千億參數的大語言模型。透過顯著降低的成本提供最高橫向擴展的模型訓練，Trainum2 執行個體可以幫助客戶開啟並加速生成式 AI 的新一輪創新。欲了解更多 Trainum2 的相關資訊，請至：aws.amazon.com/machine-learning/trainium/

Anthropic 是一家 AI 安全和研究公司，是負責任地部署生成式 AI 的主要推廣者，致力於打造可靠、可判斷和可控的 AI 系統。Anthropic 自 2021 年開始使用 AWS，近期 Anthropic 推出了 Claude，一款專注於提供幫助、無害且誠實的 AI 助手。Anthropic 聯合創辦人 Tom Brown 表示：「自支援 Amazon Bedrock 以來，Claude 已獲得 AWS 客戶的廣泛採用。Trainium2 將幫助我們大規模建構和訓練模型，對於一些工作負載，Trainium2 相比第一代 Trainium 晶片速度提升了至少 4 倍。我們與 AWS 的合作，將助力各種規模的組織有機會同時受益於 Anthropic 安全並先進的 AI 系統以及 AWS 可靠的雲端技術，進而開創新的可能性。」

Databricks 幫助全球超過 10,000 家組織機構，包括 Comcast、Condé Nast 及 50% 以上的財富 500 強企業，統一資料、分析和運用 AI。Databricks 生成式 AI 副總裁 Naveen Rao 表示：「數千家客戶在 AWS 上運用Databricks，使用 MosaicML 對各種用例的基礎模型進行預先訓練、微調及其他操作。AWS Trainium 為我們提供了訓練 Mosaic MPT 模型所需要的規模、高效能以及低成本。Trainium2 使更快地建構下一代 Mosaic MPT 模型成為可能，讓我們有機會為客戶提供前所未有的規模和效能，助力他們比以往更快地推出自己的生成式 AI 應用。」

本文章內容由「Amazon Web Services (AWS)」提供。