台智雲於 AIHPCcon 台灣 AI 超算年會發表繁中企業大型語言模型,藉台灣杉二號建構達 1,760 億個參數的福爾摩沙語言模型

由科技部國研院國網中心結合華碩集團於 2018 年成立的台智雲在「 AIHPCcon 台灣 AI 超算年會」活動,公布台灣第一個具備 1,760 億個參數的繁中企業大型語言模型「福爾摩沙」,「福爾摩沙」語言模型相當與 GPT-3.5 同級,是由台灣自有超級電腦系統「台灣杉二號」進行訓練,結合繁中語意理解與文本生成,能提供企業級生成 AI 解決方案應用。

結合全球 25 座商用 AIHPC 之一的台灣杉二號提供商業 AI 服務

▲福爾摩沙大型語言模型由台灣自架超算系統台灣杉二號完成訓練

除了公布「福爾摩沙」繁中大型語言模型以外,台智雲亦結合 AIHPC 與 No-code 大模型優化平台,打造全方位企業級生城式 AI 解決方案,提供快速調動 AI 超算運算力、容易優化模型與彈性部屬模型的方案( AFS )系列服務; AFS 服務包括「 AFS Platform 大型語言模型優化服務」,「 AFS Shuttle 大型語言模型優化共乘服務」,全球首創的「 AFS Appliance 大型語言模型地端部署解決方案」,「 AFS Cloud 大型語言模型託管服務」;藉由台智雲提供可信賴、節能且可自由遷移部署的優化 AI 模型,企業得以在公有雲私有雲之間無縫轉移或調整 AI 工作負載。

作為此次模型訓練的台灣杉二號是在全球名列前茅的 AIHPC 系統,是全球前百大 HPC 系統當中的 64 名,基於 NVIDIA V100 GPU 的加速運算設計,可達 9PFLOPS ,也是前 100 大 HPC 當中的 25 座以商業為目的的 HPC 之一;當前全球 25 座商用 AIHPC 當中,其中 7 座由大型能源公司, 5 座由俄羅斯掌握, 3 座位於 NVIDIA ,美國有 4 座,三星電子 1 座,韓國 SKT  1 座,歐洲 2 座, UAE 1 座,而台灣杉二號則是台灣當前唯一的 1 座提供商業服務的 AIHPC 。台灣杉二號由華碩、台灣大哥大、兆豐金控、永豐金控共同成立的台智雲進行商業營運、技術開發與產能擴充。

▲強調針對台灣在地使用的繁中語言最佳化,同時也支援多國語言

福爾摩沙大模型是藉由台灣杉二號達 768 個 GPU 的 AIHPC 環境進行訓練,其結果接近 GPT3.5 ,不過有數據更新,且不同於其它支援中文語系的模型混雜多種中文用法,台灣杉二號強調強化繁中語料,使用貼近台灣日常使用的用語與知識,但也保有支援多國語言的特質,此外福爾摩沙大型語言模型提供 176B 與 7B 選項,並提供 Playground 供企業使用。

© 版权声明
THE END
喜歡就支持一下吧
点赞15 分享
評論 抢沙发
头像
歡迎您留下寶貴的見解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容