18+

Google以第四代TPU加速器驅動旗下超過90%的人工智慧訓練

Google在2021年的Google I/O宣布推出第四代TPU加速器,並且在2022年宣布以第四代TPU加速器建構最大規模機器學習中樞,更強調以90%無碳排放能源運作,稍早更強調第四代TPU加速器將能驅動旗下超過90%的人工智慧訓練,甚至更暗示接下來將推出新一代TPU加速器。

在稍早公布消息,Google表示相比第三代TPU加速器,第四代TPU加速器讓深度學習效能提高達10倍以上,並且在現行深度學習DSA演算過程約可降低2-3倍能耗,更可在傳統內部部署的數據中心運作過程減少高達20倍以上的二氧化碳排放量。

藉由第四代TPU加速器效能表現、可擴展與節能等特性,Google表示將能以此加速推動大型自然語言模型訓練,同時大幅降低數據中心整體能耗問題。

以Google日前對外公布旗下最大規模、參數超作5400億組的大型自然語言模型PaLM,便是透過採用第四代TPU加速器的超級電腦,以50天以上時間訓練而成。此外,新創業者Midjourney提供以文字自動生成圖像的人工智慧服務,其實也是藉由Google以第四代TPU加速器為設計的超級電腦訓練其模型。

而Google更強調,相比NVIDIA以Ampere顯示架構打造的A100加速器,第四代TPU加速器在相同建置規模下的算力表現約提升1.7倍,能耗部分則降低1.9倍。

不過,Google並未進一步與NVIDIA後續推出以Hopper架構打造的H100加速器比較,原因在於兩者並非在同一時期內推出,但也暗示接下來將會推出新一代TPU加速器,藉此與H100加速器對抗,但目前暫時尚未公布具體細節,或許會選在今年度的Google I/O 2023期間說明。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

本日熱門 本周最熱 本月最熱