作為引領AI技術的NVIDIA積極協助各國發展主權AI，於2024年8月27日宣布推出四款全新的NVIDIA NIM微服務，除了支援社群常用的各種AI模型，並可針對地區需求量身打造，藉此因應當地語言、文化進行精確理解與回應，使其符合在地化需求；同時NVIDIA也同步宣布在日本與台灣推出用於生成式AI的微服務，包括以日本資料訓練的Llama-3-Swallow-70B與利用台灣資料訓練的Llama-3-Taiwan-70B，協助日本與台灣提供在地化的主球AI服務。
從通用模型至在地語言模型進而打造主權AI
隨著AI技術逐漸成為新一代科技趨勢，現在全球都在積極追求與發展主權AI，包括新加坡、阿拉伯聯合大公國、韓國、瑞典、法國、義大利與印度，皆希冀利用自身持有的運算基礎設施、資料、人力與商業網路發展符合當地價值觀、法律與利益的AI技術與服務，即便使用的文字相近，也會由於區域獨自的演化產生語意的分歧。
使用一個地區的語言訓練的大型語言模型LLM有助更好理解與反映文化與語言的微妙差異，例如以及使用日文資料訓練出的Llama-3-Swallow-70B、使用國語資料訓練出的Llama-3-Taiwan-70B，皆有助提供更精準、符合當地法律、法規與習俗的AI體驗，相較於Llama 3等基礎LLM，這些經過在地化素材訓練的區域性LLM更能處理當地的資訊。
微服務化簡化開發流程
▲NVIDIA AI Enterprise是作為提供NIM為服務的平台，可將主權AI包裝為微服務並部署到各種環境
日本樂天藉Mistral-7B模型建構RakutenAI 7B系列模型，透過英文與日文資料進行訓練，並提供適用於對話(Chat)與指令(Instruct)兩種NIM供外界使用，同時RakutenAI 7B的基礎與指令模型也在日文大型語言模型取得搶眼的成績，在2024年1月至3月的LM Evaluation Harness的平均分數名列前茅。
NVIDIA透過利用NVIDIA TensorRT-LLM開源函式庫推論最佳化的NVIDIA AI Enterprise提供微服務；透過NIM微服務，開發者可輕鬆把包裝成NIM微服務的主權AI模型部署到生產環境，企業、政府機構與大學即可在自己的環境託管原生LLM，使開發者能夠藉此開發先進的AI Copilot、聊天機器人與AI助理。
適用於Llama 3 70B的NIM微服務可提供高達5倍的輸出量，同時Llama 3 70B也同時為正是全新 Llama-3-Swallow-70B與Llama-3-Taiwan-70B NIM微服務的基礎模型。這麼一來可以降低在生產環境執行模型的總成本與具備低延遲，而現在皆可利用託管式API(應用程式介面)使用這些全新的NIM微服務。
台、日企業正利用在地化的大型語言模型微服務打造專屬AI服務
現在Llama-3-Swallow-70B與Llama-3-Taiwan-70B也分別在日本與台灣有幾項公開的實地應用案例。如東京工業大學科學資訊與運算中心即進一步利用日文資料進行Llama-3-Swallow-70B的微調，使日本的文化與產生的資料更符合日本需求，產生符合自身文化習俗的主權AI，並作為NVIDIA NIM微服務提供給外界使用，使日本各產業都能活用主權AI；如日本AI公司Preferred Networks即活用Llama-3-Swallow-70B訓練醫療保健領域的AI，結合日本獨有的醫療資料語料庫訓練，而這項Llama-3-Preferred-MadSwallow-70B更在日本國家醫師考試取得高分。
台灣的長庚紀念醫院也正活用Llama-3-Taiwan-70B建構屬於該醫院體系專屬的AI推論服務AIIIS，作為集中管理醫院體系內所有的LLM應用；長庚醫院藉由Llama-3-Taiwan-70B提供患者更能理解與細膩的醫療語言，使工作流程能夠簡化，並提供持續學習工具，藉此提升第一線醫護人員工作效率。
此外，台灣和碩聯合也採用Llama-3-Taiwan-70B NIM微服務開發供內部與外部的應用，並將這套微服務整合至PEGAAi Agentic AI系統整合，達到流程自動化，並提升製造與營運效率；另外包括石化產品製造商長春集團、印刷電路板公司欣興電子、科技報橘、線上合約服務公司律果科技、生成式AI新創APMIC也正活用Llama-3-Taiwan-70B打造服務。
暂无评论内容