高通認為邊際裝置的 AI 將會走向終端與雲混合執行,有助節省成本、提升算力並確保個人化與安全隱私

雖然高通在先前展是透過 Snapdragon 8 Gen 2 平台執行生成式 AI ,憑藉針對行動裝置算力調整過的 AI 模型,在不須透過連往、僅靠手機即可執行完整的 AI 畫圖,不過高通最新公布的一篇 OnQ 部落格則聲稱邊際裝置的 AI 勢必走向混合型,結合裝置運算與雲運算,能夠降低成本與提升效能,但同時確保個性化與安全隱私。

高通也在官網公布一份混合 AI 未來的白皮書,有興趣可以下載閱讀: The Future of AI is hybrid

混合式 AI 有助降低生成式 AI 時代應用的運算成本

高通認為終端裝置的邊際 AI 執行勢必邁入雲與裝置混合執行才能發揮最大效能,不會一味仰賴雲端處理,並強調導入混合 AI 架構將工作負載分散到裝置與雲運算有助於縮減成本,尤其當前熱門的生成式 AI 的搜尋較傳統的搜尋功能將產生 10 倍的成本,故結合裝置端 AI 運算與雲 AI 運算勢在必行。

終端可執行精簡版模型、再利用雲端執行的完整模型進行校錯

▲高通認為混合式 AI 能夠同步在雲與端執行,利用雲的完整 AI 模型為終端的精簡版 AI 校錯

高通認為,透過混合式 AI 架構,能夠依據模型與搜索的複雜度進行分配處理,若執行的模型較小、搜尋的關鍵詞意與產生的內容也較為單純,基本上即可使用現代化的高性能終端裝置在邊際上獨立執行,如果執行的任務複雜度高,則 AI 模型能夠跨裝置與雲端執行;且混合式 AI 甚至可允許終端裝置與雲端同時執行模型:裝置端執行輕量化模型、雲端執行完整的模型,在必要時用以輔助設備端的運算結果。

由於生成式 AI 蓬勃發展,裝置端的運算能力不斷提升,在先前高通 Snapdragon 8 Gen 2 執行的生成式 AI 模型已經包括 10 億個參數,並提供與雲端相近的精度與性能,高通確信不久的將來,裝置端將足以執行超過 100 億個參數的 AI 模型。高通認為混合式 AI 不僅適用於智慧手機,同時亦適用於筆電、擴增實境頭戴顯示器、汽車、物連網等

© 版權聲明
THE END
喜歡就支持一下吧
點讚5 分享
評論 搶沙發
頭像
歡迎您留下寶貴的見解!
提交
頭像

暱稱

取消
暱稱表情代碼圖片

    暫無評論內容