Google宣布第6代 TPU「Trillium」 預計年底推出

Google長期推動自有晶片，為自身需求打造AI專用硬體Tensor Processing Unit（TPU），以推動AI在規模及效率的極限。Google I/O大會今日發表多項創新由TPU支援的創新AI產品，包括Gemini 1.5 Flash、Imagen 3和 Gemma 2等全新模型，以TPU訓練打造並透過TPU提供服務。Google也宣布第6代TPU晶片Trillium，是迄今為止效能最高以及最節能的TPU，預計年底推出。

與TPU v5e相比，Trillium TPU每一晶片峰值計算效能提升4.7倍，並將高頻寬記憶體（High Bandwidth Memory, HBM）的容量與頻寬提升一倍，晶片間互連網路（Interchip Interconnect, ICI）頻寬也提高了一倍。Trillium配備第三代SparseCore，這是處理超大嵌體的專用加速器，常用於處理進階排名與推薦工作負載。Trillium TPU可以更快速地訓練下一代基礎模型，並以較短的延遲時間與較低成本提供模型服務。另外，與TPU v5e相比， Trillium TPU的能源效率高出67%，每個晶片尖峰效能提升了4.7 倍。Trillium TPU將是下一波AI模型和虛擬專員的推手。