為解決高速運算下，記憶體 傳輸速率受限於DDR SDRAM頻寬而無法同步成長的問題，高頻寬記憶體（High Bandwidth Memory，HBM）應運而生，其革命性傳輸效率是讓核心運算元件充分發揮效能的關鍵。
據TrendForce研究顯示，目前高階AI 伺服器GPU搭載HBM已成主流，預估2023年全球HBM需求量將年增近六成，來到2.9億GB ，2024年將再成長三成。
TrendForce預估到2025年，全球若以等同ChatGPT 的超大型AIGC產品五款、Midjourney的中型AIGC產品有25款，以及 80款小型AIGC產品估算，上述所需的運算資源至少為145,600~233,700顆NVIDIA A100 GPU。
若再加上新興應用如超級電腦、8K影音串流、AR/VR等，也將同步提高雲端運算系統的負載，顯示出高速運算需求高漲。
由於HBM擁有比DDR SDRAM更高的頻寬和較低的耗能，無疑是建構高速運算平台的最佳解決方案。
從2014與2020年分別發布的DDR4 SDRAM及DDR5 SDRAM便可究其原因，兩者頻寬僅相差兩倍，且不論是DDR5或未來DDR6，在追求更高傳輸效能的同時，耗電量將同步攀升，勢必拖累運算系統的效能表現。
若進一步以HBM3與DDR5為例，前者的頻寬是後者的15倍，並且可以透過增加堆疊的顆粒數量來提升總頻寬。此外，HBM可以取代一部分的GDDR SDRAM或DDR SDRAM，從而更有效地控制耗能。
TrendForce表示，目前主要由搭載NVIDIA A100、H100、AMD MI300，以及大型CSP業者如Google、AWS等自主研發ASIC的AI伺服器成長需求較為強勁，2023年AI伺服器出貨量（包含搭載GPU、FPGA、ASIC等）出貨量預估近120萬台，年增率近38%，AI晶片 出貨量同步看漲，可望成長突破五成。
