Google新大型自然語言模型PaLM 2以更「輕巧」形式運作 對應更高人工智慧運算效率

針對Google此次在Google I/O 2023揭曉的大型自然語言模型PaLM 2，DeepMind首席軟體工程師戴明博 (Andrew Dai)與DeepMind生成模型產品經理Paige Bailey在會後進一部分享更多細節。

戴明博表示，相比先前提出的PaLM，這次揭曉的PaLM 2其實採用相對較小的模型架構，主要改變資料運算結構，進而讓縮小後的模型可以進一步用在各類終端裝置，例如手機端使用，藉此提升其應用彈性，另外也能對應離線使用需求。

另一方面，由於模型尺寸變小，在裝置端的運算負載相對也會變低，因此能加快人工智慧運算效率，同時也讓裝置端電力等能源損耗減少，因此相較PaLM能增加更多優勢。

至於因為運算架構改變、實際應用效益不同，因此Google接下來的服務都會陸續換上PaLM 2運算模型，不再繼續使用PaLM。

另外，從Google對外公布數據顯示，PaLM 2採用3.6兆組標記 (token)進行訓練，規模為PaLM的5倍以上 (PaLM約以7800億組標記訓練)，除了能對應更多種語意理解，更進一步強化編程、數學運算，以及創意寫作等應用，因此在串接聊天機器人「Bard」時，能以更自然語意與人互動，而在串接Google Cloud的Duet AI工具則能協助開發者快速編寫程式，或是檢查程式碼是否有誤，甚至能在Gmail內協助使用者撰寫文情並茂的信件。

但在實際對應參數部分，PaLM 2僅對應3400億組參數，而PaLM對應參數規模則達5400組，顯示PaLM 2能以更「輕便」形式運作，同時可對應不同大小規模的模型運作，例如Google日前在Google I/O 2023期間公布的最小規模模型「Gecko」 (壁虎)，以及更大模型「Otter」 (水獺)、「Bison」 (野牛)，以及最大模型「Unicorn」 (獨角獸)，藉此對應不同運算情境使用，更強調可在手機等裝置上完成前期運算。

依照Google說明，透過微調型態設計，PaLM 2將能以更有效率形式運作，並且能有更快反應速度，同時也藉由新架構設計，不僅改變傳統資料訓練方式，更可讓不同語言資訊能有更好交換效率，而接下來預期推出的「Gemini」 (雙子座)則預期能對應更大規模模型訓練效益，並且能對應更複雜的多公互動運算需求。

Google在2017年提出大型自然語言Transformers，後續在2018年提出進階版大型自然語言BERT，2019年則提出具備文字轉譯能力的TS，並且在2020年提出具備對話能力的大型語言模型LaMDA，此後則公布PaLM、Diffusion Models，以及ULM、USM語言模型設計，而在今年Google I/O 2023期間宣布推出PaLM 2，更意味Google接下來將以更大規模自然語言模型強化人工智慧市場佈局，並且讓更多服務產品都能藉由人工智慧技術「升級」。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》