Google Cloud 稍早宣布推出Cloud Run GPU服務,讓使用者能透過此服務以於雲端形式使用NVIDIA L4 GPU,藉由自動擴展、彈性佈署形式使用,主要針對人工智慧運算、推論訓練等工作負載使用。
同時,由於無須事先申請設定GPU配置規模,可自動依照運算需求彈性配置GPU數量,因此不會造成GPU在未使用時造成資源閒置,進而產生額外成本,藉此增加佈署彈性,更可藉由自動化佈署簡化管理難度。
此服務採以秒計費形式使用,同時在不使用時即可自動歸零,同時在冷啟動狀態下能於5秒左右時間完成GPU與驅動程式啟動,若以Gemma 3 40億組參數規模推論運作為例,自冷啟動狀態到產生第一個詞元 (token)僅需約19秒時間,意味能在短時間內快速啟動。
而Cloud Run GPU服務本身可直接在應用程式加入相關指令,或是在應用服務控制台背後選擇是否開啟GPU加速運算。
既然採彈性配置形式提供使用,Google Cloud也標榜此服務運作可靠性,並且說明使用者或企業能依照營運需求在多個區域佈署使用,另外也能關閉分區備援調整整體可用運算資源配置。
目前Cloud Run GPU服務已經在美國、歐洲及亞洲多個Google Cloud區域服務上線。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 便宜資費懶人包/5G 399元搶市!不限速吃到飽方案比4G划算
📢 CMF Headphone Pro耳罩式耳機開箱!實測動感滑桿聽見動ㄘ動、驚豔降噪高CP
📢 坐飛機遇行充自燃怎麼辦?專家曝溫度控制就用它:亂用1物會更慘
📢 iPhone鬧鐘「沒響」錯過航班!網紅抱怨引出一票苦主 2招避免中招
📢 HTC VIVE Eagle智慧眼鏡開箱!日本實測AI翻譯菜單 聽音樂驚豔、拍出日系照片
📢 懶人包/台灣吉伊卡哇常設店12月27日開幕!13樣新品、贈品、地點一次看
