NVIDIA在GTC宣布數十種生成式AI微服務，包括20多種用於醫療保健領域的NIM與CUDA-X微服務；NIM推論微服務適用預先訓練AI模型，NVIDIA CUDA-X微服務現在與可使用加速軟體開發套件、函式庫及工具；透過這些AI微服務，開發人員能在裝有NVIDA GPU的機器建立與部署生成式AICopilot，保有建立與部署客製化應用程式的同時，可保留完全持有與控制自有智慧財產權的權利。
NVIDIA同步宣布全新AI入口網站ai.nvidia.com，開發人員可在ai.nvidia.com申請免費試用NVIDIA微服務；企業可以利用在NVIDIA認證系統及主要雲端服務市場上運行的NVIDIA AI Enterprise 5.0部署生產級NIM微服務Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow和 Shutterstock是首批使用NVIDIA AI Enterprise 5.0中提供之全新 NVIDIA 生成式AI微服務的主要應用程式、資料和網路安全平台提供商。
可大幅縮減部署時間的NIM推論微服務
NIM推論微服務為包括 Triton Inference Server和 TensorRT-LLM在內的NVIDIA推論軟體驅動的預先建置容器，旨在大幅縮減開發人員部署時間；NIM利用為語言、語音與藥物發現等領域提供符合產業標準的API，開發人員能使用安全託管在自己基礎設施的專有資料快速開發AI應用程式，並可依據需求調整規模。
NIM 微服務為部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock的模型，以及Google、Hugging Face、Meta、Mistral AI和 Stability AI的開放模型，提供了速度最快、執行效能最高的生產型AI容器，也預計於近期支援微軟的模型；ServiceNow也在活動宣布正在使用NIM以更快速度、更高成本效益開發與部署全新特定領域的AI Copilot與其它生成式AI應用程式。
客戶可自Amazon SageMaker、Google Kubernetes Engine與Microsoft Azure AI使用NIM微服務，並且與 Deepset、LangChain 和 LlamaIndex 等熱門的AI框架進行整合。
用於RAG、資料處理、Guardrails、高效能運算的CUDA-X微服務
CUDA-X微服務可為資料準備、客製化與訓練提供端到端的建構模組，提供RAG(檢索增強生成)、資料處理、Guardrails、高效能運算，加速各領域開發生產型AI的速度。
企業可利用包括自動語音與翻譯AI的NVIDIA Riva、最佳路徑的NVIDIA cuOpt、高解析度氣候與天氣模擬的NVIDIA Earth-2等CUDA-X微服務；開發者可利用NeMo Retriever微服務串連AI應用程式與文字、圖片，以及長條圖、折線圖和圓餅圖等視覺化資料等業務資料，以產生出高度準確又與語境脈絡相關的回應。
NVIDIA 不久後將推出用於開發客製化模型的其他 NVIDIA NeMo微服務。這些服務包括針對建立用於訓練和檢索之簡潔資料集的NVIDIA NeMo Curator、用於利用特定領域資料微調大型語言模型LLM的NVIDIA NeMo Customizer、用於分析人工智慧模型效能的NVIDIA NeMo Evaluator，以及用於大型語言模型LLM 的 NVIDIA NeMo Guardrails。
生態系夥伴利用AI微服務增強企業平台
除了主要應用程式供應商外，NVIDA生態系的資料、基礎架構與運算平台供應商也同樣透過與NVIDA微服務合作，將生成式A帶到企業使用；Box、Cloudera、Cohesity、Datastax、Dropbox NetApp與Snowflake正與NVIDIA合作，協助客戶將RAG管道調整至最佳狀態，並將專有資料與生成式AI應用整合，其中Snowflake透過NeMo Retriever利用企業數據建構AI應用。
企業也可在自己選擇的基礎架構部署NVIDIA AI Enterprise 5.0所包含的NVIDIA微服務，例如Amazon Web Services（AWS）、Google Cloud、Azure和Oracle Cloud Infrastructure等主要雲端運算平台都可提供NVIDIA AI Enterprise 5.0所包含的NVIDIA微服務。括思科 、戴爾科技集團、慧與科技、惠普、聯想 及美超微等公司所推出的伺服器和工作站等400多個NVIDIA認證系統也皆支援這些微服務，其中HPE慧與科技宣布推出用於生成式AI企業運算解決方案，並將NIM 和NVIDIA AI Foundation模型納入慧與科技的人工智慧軟體。
此外，NVIDIA AI Enterprise為服務將加入基礎架構軟體平台，包括與NVIDIA合作的VMware Private AI Foundation，以及Red Hat OpenShift利用支援 NVIDIA NIM微服務協主ˋ企業更輕鬆將生成式AI功能與應用程式整合；Canonical正透過NVIDIA AI Enterprise為NVIDIA 微服務加入支援Charmed Kubernetes的能力。
Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI及Weights & Biases等將透過 NVIDIA AI Enterprise 來加入支援NVIDIA微服務。Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis和Weaviate等向量搜尋提供商與NVIDIA NeMo Retriever微服務合作，為企業提供反應靈敏的RAG功能。
暂无评论内容