如同先前Qualcomm與Meta合作，將Llama 2大型語言模型應用在搭載Snapdragon處理器的終端裝置上，聯發科稍早也宣布將Llama 2大型語言模型佈署於其APU人工智慧運算元件及人工智慧開發平台NeuroPilot，強調其處理器產品也同樣能處理應用大型語言模型的人工智慧運算服務，同時更預告其即將公布的旗艦級處理器將於年底相。
聯發科表示，其旗艦級處理器產品也將能應用自動生成式人工智慧服務，並且實現在終端裝置使用Llama 2大型語言模型，藉此對應各類人工智慧應用可能性。
相較過往大型語言模型都是透過雲端協同運算，使用者必須先將資料上傳至雲端，等待完成處理之後才將結果回傳到裝置端使用，過程可能會因為網路傳輸影響產生延遲，而資料也可能因為上傳至雲端而有隱私外洩風險，因此近年越來越多業者開始提倡裝置端的邊緣運算，讓絕大部分運算在裝置端完成，由於資料僅在裝置端進行處理，因此不會有隱私外洩問題，同時也能加快操作反應速度。
而即便許多可用於裝置端的大型語言模型都已經做了參數規模簡化，但仍需要一定運算能力，因此也讓裝置端的處理器必須有足夠算力才能支撐，同時也必須有一定程度連網能意表現，甚至也必須針對大型語言模型運算有最佳化的運算架構設計，如此才能在裝置端實現運行大型語言模型的效益。
目前包含Qualcomm及聯發科都將在今年底前公布其旗艦級處理器產品，而蘋果預期也將在iPhone 15系列機種採用新款A系列處理器，三星與Google同樣也計畫推出新款處理器產品，預期也都會具備運行大型語言模型能力，藉此對應越來越普及的自動生成式人工智慧應用需求。
《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》
