Google長期推動自有晶片,為自身需求打造AI專用硬體Tensor Processing Unit(TPU),以推動AI在規模及效率的極限。Google I/O大會今日發表多項創新由TPU支援的創新AI產品,包括Gemini 1.5 Flash、Imagen 3和 Gemma 2等全新模型,以TPU訓練打造並透過TPU提供服務。Google也宣布第6代TPU晶片Trillium,是迄今為止效能最高以及最節能的TPU,預計年底推出。
與TPU v5e相比,Trillium TPU每一晶片峰值計算效能提升4.7倍,並將高頻寬記憶體(High Bandwidth Memory, HBM)的容量與頻寬提升一倍,晶片間互連網路(Interchip Interconnect, ICI)頻寬也提高了一倍。Trillium配備第三代SparseCore,這是處理超大嵌體的專用加速器,常用於處理進階排名與推薦工作負載。Trillium TPU可以更快速地訓練下一代基礎模型,並以較短的延遲時間與較低成本提供模型服務。另外,與TPU v5e相比, Trillium TPU的能源效率高出67%,每個晶片尖峰效能提升了4.7 倍。Trillium TPU將是下一波AI模型和虛擬專員的推手。