為解決高速運算下,記憶體 傳輸速率受限於DDR SDRAM頻寬而無法同步成長的問題,高頻寬記憶體(High Bandwidth Memory,HBM)應運而生,其革命性傳輸效率是讓核心運算元件充分發揮效能的關鍵。
據TrendForce研究顯示,目前高階AI 伺服器GPU搭載HBM已成主流,預估2023年全球HBM需求量將年增近六成,來到2.9億GB ,2024年將再成長三成。
TrendForce預估到2025年,全球若以等同ChatGPT 的超大型AIGC產品五款、Midjourney的中型AIGC產品有25款,以及 80款小型AIGC產品估算,上述所需的運算資源至少為145,600~233,700顆NVIDIA A100 GPU。
若再加上新興應用如超級電腦、8K影音串流、AR/VR等,也將同步提高雲端運算系統的負載,顯示出高速運算需求高漲。
由於HBM擁有比DDR SDRAM更高的頻寬和較低的耗能,無疑是建構高速運算平台的最佳解決方案。
從2014與2020年分別發布的DDR4 SDRAM及DDR5 SDRAM便可究其原因,兩者頻寬僅相差兩倍,且不論是DDR5或未來DDR6,在追求更高傳輸效能的同時,耗電量將同步攀升,勢必拖累運算系統的效能表現。
若進一步以HBM3與DDR5為例,前者的頻寬是後者的15倍,並且可以透過增加堆疊的顆粒數量來提升總頻寬。此外,HBM可以取代一部分的GDDR SDRAM或DDR SDRAM,從而更有效地控制耗能。
TrendForce表示,目前主要由搭載NVIDIA A100、H100、AMD MI300,以及大型CSP業者如Google、AWS等自主研發ASIC的AI伺服器成長需求較為強勁,2023年AI伺服器出貨量(包含搭載GPU、FPGA、ASIC等)出貨量預估近120萬台,年增率近38%,AI晶片 出貨量同步看漲,可望成長突破五成。
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 嚇慘!LINE相簿驚見「陌生人大眼鬼影照」 官方認了曝3步驟解決
📢 LINE免費貼圖7款來了!可愛動物亂鬥 馬來貘、小薩、狗幾、喔熊慶耶誕
📢 LINE內建表情貼不見了?官方大改版網嚇「變好色又變醜」 1方法恢復舊版本
📢 【開箱】ROG Phone 9 Pro Edition!LED炫砲又低調「I人不害羞」
📢 出門玩不怕迷路!教你用Google Maps看「實景」找路 每次用每次成功
📢 CASETiFY胡子碰碰手機殼2款可愛開箱!台式早餐圖案聞香 磁吸卡套支架極速感應