隨著Meta推出Llama 3.1，作為全球AI產業關鍵技術供應者的NVIDIA也旋即宣布透過NVIDIA AI Foundry與NVIDIA NIM推論微服務提供支援，使企業能基於全新的Llama 3.1訓練專屬的客製化生成式AI模型，更可藉由超大參數的Llama 3.1 405B和NVIDIA Nemotron建構「超級模型」；其中諮詢管理公司埃森哲(Accenture)已率先使用NVIDIA AI Foundry訓練專屬的Llama 3.1客製化模型，而沙烏地阿拉伯國家石油公司、AT&T、Uber等企業亦導入全新的Llama NVIDIA NIM推論微服務，並提供量身打造的AI Copilot、個人助理與數位人等服務。
▲企業現在可使用達450B參數的Llama 3.1進行客製化超級模型訓練，同時可透過精煉使客製模型參數縮減並於邊際裝置執行
即日起，企業與國家等可利用Llama 3.1與NVIDIA Nemotron於NVIDIA AI Foundry平台進行客製化模型訓練；NVIDIA AI Foundry基於由全球領先的公有雲服務共同設計的NVIDIA DGX Cloud AI提供服務，可根據AI運算需求進行擴充；藉由導入Llama 3.1 450B與結合NVIDIA Nemotron 340B產生的合成數據，企業與國家能夠投入專屬資料進行超大參數的客製化生成式AI模型訓練，在完成模型訓練後，企業與國家再搭配適用於Llama 3.1模型的NVIDIA NIM推論微服務，取得比未導入NVIDIA NIM高出2.5倍的推論性能。
Meta在建構Llama 3.1時與NVIDIA緊密合作，Llama 3.1多語言大型語言模型(LLM)是以超過16,000個NVIDIA H100 Tensor GPU進行訓練，同時針對NVIDIA加速運算與軟體進行最佳化，並可在數據中心、雲端與搭載NVIDIA RTX GPU的地端工作站、個人電腦提供8B、70B與405B參數大小的生成式AI模型參數；同時NVIDIA與Meta也共同合作提供Llama 3.1的精煉，使企業訓練的大型參數超級模型能夠進行參數精煉，縮減參數大小但維持企業所需的客製化功能，使其能在邊際裝置、基礎設施執行。
暂无评论内容