高通在 2022 Snapdragon 高峰會主題演講公布新一代旗艦平台 Snapdragon 8 Gen 2後，也針對平台在多個領域的特色進行專場深度探討，筆者也從中選擇對消費者體驗與 2023 年新旗艦機特色功能較顯著的部分進行介紹，第一篇是針對 Snapdragon 8 Gen 2 相機影像技術 Snapdragon Sight 的進化進行解說。
從單鏡頭一幀到 3 鏡頭 30 幀與 6 層分層處理的 Snapdragon Sight 演進史
▲高通 Snapdragon 845 之前只能控制單鏡頭、單次輸出一幀訊號
▲ Snapdragon 845 導入雙 ISP 可同步控制雙相機與處理 6 幀資訊，也開啟智慧手機以多幀強化影像的時代
▲ Snapdragon 855 承襲 Snapdragon 845 的影像技術，但加入立體深度資訊與結合機器視覺的 ISP
▲ Snapdragon 865 升級為 14bit ISP 與支援 8K 影像錄製
▲ Snapdragon 888 導入 3 ISP ，可同時控制三鏡頭
▲ Snapdragon 8 Gen 1 升級到 3 個 18bit ISP ，能一次處理高達 30 幀影像
▲ Snapdragon 8 Gen 2 可將處理完的影像透過語意識別拆解成 8 層，並針對不同主題的層次進行影像增強
高通的 Snapdragon Sight 技術自 Snapdragon 845 開始進入技術變革， Snapdragon 845 打破以往僅能控制單鏡頭、一次處理一幀的限制，借助雙 ISP 可一次控制雙鏡頭與處理 6 幀影像，也因此開啟多幀技術的延伸應用如雜訊消除與 HDR 等； Snapdragon 855 則把電腦視覺與 ISP 結合，同時以雙鏡頭產生立體深度資訊，使手機能借助深度資訊分辨主題與背景； Snapdragon 865 將雙 ISP 提升至 14bit ，並具備 8K 影像錄製能力； Snapdragon 888 再把 ISP 提升至 3 個，能一次控制最多 3 個鏡頭，也能提供符合規格的三鏡頭的無縫切換；至於前一代 Snapdragon 8 Gen 1 打破以往只能處理六幀限制，一口氣能處理達 30 幀影像，使多幀合成能夠更細緻；最新的 Snapdragon 8 Gen 2 在 Snapdragon 8 Gen 1 的 Snapdragon Sight 技術基礎升級為 3 個 18bit ISP ，同時可將處理後的影像透過語意分析拆解成最多 6 層並進行處理，對手機的軟體定義相機是相當革命性的進展。
▲借助 Hexagon DSP 與 Spectra ISP 直連升級為全新認知影像訊號處理器
▲借助語意分析可將照片拆解為多層的元素，並針對不同元素的特質進行增強處理
Snapdragon 8 Gen 2 的 Snapdargon Sight 透過稱為 Hexagon Direct 的技術，使具備 AI 運算的 Hexagon DSP 不用經過 CPU 直接與 Spectra ISP 相通，能將 AI 介入即時影像辨識，在處理完前端 30 幀影像的合成處理後，可透過語意分析的方式拆解影像的元素，最多可分為 6 個圖層，藉由拆解出不同特質的圖層加入最佳化處理，再將圖層進行合併，使照片不再是套用單一的影像增強方式，使照片中的人、景、物甚至是五官、頭髮等都以最合適的方式進行影像增強處理。
與 Sony 、三星在感光元件深度合作
▲ Snapdragon 8 Gen 2 支援 Sony 最新的 QDOL4 四重曝光 HDR 技術並針對元件進行最佳化
▲借助四種不同的曝光進行合成，實現更出色的 HDR 色彩過渡
▲ Sony 強調接下來的 LYTIA 感光元件品牌產品也將與高通 Snapdragon 攜手進行最佳化
▲三星是繼 Sony 之後第二家與高通進行元件最佳化的品牌，第一款最佳化元件是 200MP 元件 ISOCELL HP3
Sony 半導體解決方案部門在 2021 年的 Snapdargon 峰會宣布與高通 Snapdragon 深度合作，由 Sony 技術人員進駐高通實驗室，針對 Snapdragon 平台特性與元件特性進行調整，使元件能夠發揮其最大效能； Sony 代表 Michiki Mikuriya 也在此技術說明登台解說雙方合作的成果，此次公布兩款具備 Sony 新一代四重曝光 HDR 技術的 Sony IMX800 QDOL4 1/1.5″ 元件與 Sony IMX989 QDOL4 1″ 元件已與 Snapdragon 8 Gen 2 進行最佳化，其 QDOL4 四重曝光 HDR 技術是借助元件在一幀時間捕捉四種不同曝光的影像後進行合成，使 HDR 的對比與細節更為細膩，同時也預告 Sony 感光元件新品牌 LYTIA 的新產品也將與高通深度合作；另外， Sony 在感光元件的主要競爭對手三星也藉此次 Snapdragon 峰會宣布成為第二家針對 Snapdragon 進行元件最佳化調整的感光元件供應商，三星已將最新的 200MP 元件 ISOCELL HP3 與 Snapdragon 8 Gen 2 進行最佳化調整。
藉由 Sensing Hub 整合 AI 處理器使相機具備高隱私權的事件導向的觸發功能
▲藉由在 Sensing Hub 整合 AI 處理，手機鏡頭能以特定事件進行觸發但同時保有高度安全性
Snapdragon 8 Gen 2 此次在 Sensing Hub 導入雙 AI 處理器，不僅增強語音助理功能，更使 Snapdragon 8 Gen 2 成為全球第一款具備事件導向影像感知的應用處理器，此技術可藉由相機與管控感測器的 Sensing Hub 達到元件的 Always Sensing ，使相機偵測到特定事件後進行喚醒，如對準餐廳菜單 QR Code 不須喚醒整支手機也能開啟較無隱私爭議的線上菜單進行點菜，或是在前相機鏡頭偵測到後方有他人試圖觀看當前手機持有者的個人隱私相關畫面時關閉或是調暗手機螢幕保護個人隱私，同時這些用於喚醒相機功能的影像資料既不會上傳到雲端也不會存入手機的空間，在事件完成後即從快取刪除。
即時散景模擬現在可模擬多種光圈與光圈形狀效果
▲ Boken Engine 2 現在可模擬多種光圈效果與多種光圈形狀產生的效果
高通先前即在 Snapdragon Sight 加入名為 Bokeh Engine 的硬體型背景虛化處理技術，借助景深與人物辨識後進行即時背景虛化，並模擬專業相機產生的即時大光圈背景虛化； Snapdragon 8 Gen 2 將背景即時虛化技術升級到 Boken Engine 2 ，能夠模擬更多種光圈大小(如 f1.4 與 f2.0 的效果就不同)的散景效果，還可模擬不同光圈葉片形狀對背景光源產生的效果。
紀錄更多資訊細節的 Pro Sight 影像編碼
▲ Pro Sight 相較標準 HEVC 高出 5 倍編碼率
同時為了提供更出色的影像細節以及進行專業影像後製，高通還在 Snapdragon 8 Gen 2 提供稱為 Pro Sight 的專業影像編碼，相較當前主流的 HEVC 提供 5 倍的編碼率，可帶來更多的細節、更低的雜訊，減低影像人工後製的效果，並可進行電影級的專業編修。
與 Google 合作使第三方軟體也能享受 Snapdragon Sight 的各項新技術
▲透過與 Google 深度合作，使影像 app 開發者也能輕鬆取用 Snapdragon Sight 的多項技術
過往許多應用處理器的相機技術最大的遺憾是僅限裝置原生的相機 app 能夠使用，許多第三方影像 app 無法導入這些創新技術，高通有鑑於此與 Google 深度合作，提供全新的 API 使第三方影像 app 也能發揮 Snapdragon Sight 的多項特色，如在視訊直播軟體套用其中的 Bokeh Engine 創造美麗的散景效果，或是為直播應用導入 Snapdragon Sight 的影像穩定技術。
暂无评论内容