17
在邊緣運算與資源受限裝置的應用日益擴大之際,人工智慧公司Nota AI宣布與高通技術公司(Qualcomm Technologies)達成關鍵合作,將其旗艦AI模型最佳化平台「NetsPresso」整合進入「Qualcomm AI Hub」。此次整合旨在提升AI與大型語言模型(LLM)在邊緣裝置上的部署效率與可擴展性,標誌著邊緣AI進入更快速、輕量化的新階段。
NetsPresso引領AI模型最佳化革新
NetsPresso平台採用「訓練、壓縮、編譯、效能評估」四步驟流程,致力於為資源受限的終端裝置量身打造最佳化AI模型。在與高通的合作中,編譯與效能評估階段將由Qualcomm AI Hub接手執行,大幅簡化開發與部署流程,降低進入門檻。
Nota AI首席技術長金泰浩(Tae-Ho Kim)指出,這項合作顯示了他們如何加速邊緣AI的部署,讓AI模型變得更輕巧且高效,並藉此拓展在全球邊緣裝置與物聯網(IoT)應用市場的影響力。
同時,Nota AI也宣布推出「NetsPresso Optimization Studio」— 這是一款全新升級的視覺化最佳化介面。開發者能透過該平台直觀檢視模型的各層結構與效能指標,並針對量化過程中關鍵環節做出更快且數據驅動的決策。這項工具有助於進一步縮短AI模型從開發到部署的時間,並提升模型在實際裝置上的運作效率。
此合作不僅代表一項技術突破,更彰顯出AI模型正加速從雲端走向邊緣,從大型資料中心邁向每一台終端裝置。隨著邊緣AI需求急遽增長,這場高通與Nota AI的結盟,或將成為推動AI大眾化的重要推手。(原文出處)
延伸閱讀