Google Cloud 稍早宣布推出Cloud Run GPU服務,讓使用者能透過此服務以於雲端形式使用NVIDIA L4 GPU,藉由自動擴展、彈性佈署形式使用,主要針對人工智慧運算、推論訓練等工作負載使用。
同時,由於無須事先申請設定GPU配置規模,可自動依照運算需求彈性配置GPU數量,因此不會造成GPU在未使用時造成資源閒置,進而產生額外成本,藉此增加佈署彈性,更可藉由自動化佈署簡化管理難度。
此服務採以秒計費形式使用,同時在不使用時即可自動歸零,同時在冷啟動狀態下能於5秒左右時間完成GPU與驅動程式啟動,若以Gemma 3 40億組參數規模推論運作為例,自冷啟動狀態到產生第一個詞元 (token)僅需約19秒時間,意味能在短時間內快速啟動。
而Cloud Run GPU服務本身可直接在應用程式加入相關指令,或是在應用服務控制台背後選擇是否開啟GPU加速運算。
既然採彈性配置形式提供使用,Google Cloud也標榜此服務運作可靠性,並且說明使用者或企業能依照營運需求在多個區域佈署使用,另外也能關閉分區備援調整整體可用運算資源配置。
目前Cloud Run GPU服務已經在美國、歐洲及亞洲多個Google Cloud區域服務上線。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 Google Pixel 11 Pro XL開箱!實測7功能變追星機 一鍵抓拍、120倍變焦還能建名片檔
📢買iPhone Ultra有代價!蘋果首款摺疊機少5大功能 定價破6萬
📢北捷「白色機器」藏回饋金!TPASS 2.0、北捷常客優惠不一樣 教你兩邊一次拿
📢 iPhone別急著年年換!通訊行揭最佳時機:殘值高、機況好
📢2號碼開頭電話快掛掉!Whoscall揭詐團新招:接聽秒被當肥羊
📢 LINE推「編輯訊息」新功能!發錯訊息15分鐘內都有救 免費開啟方式看這

討論區