18+

突破AI記憶體容量限制!Sandisk全新封裝專利將NAND Flash直接堆疊於AI晶片下方作為巨量緩存

AI重點

文章重點整理:

  • 重點一:Sandisk專利將NAND Flash直接堆疊於AI晶片下方作為巨量緩存。
  • 重點二:架構採CBA封裝,HBM負責低延遲熱資料,NAND承擔大容量權重。
  • 重點三:雖可降成本與功耗,但散熱、熱應力與資料留存仍是難題。

隨著AI模型的參數量呈指數級暴增,高階AI加速器對記憶體 的需求也來到前所未有高度。然而,受限於HBM高頻寬記憶體產能吃緊與高昂的單位成本,業界正苦尋突破「記憶體之牆」 (Memory Wall)的替代方案。SanDisk 繼先前與SK海力士 (SK Hynix)合作開發新式高頻寬快閃記憶體HBF後,近日又被發現註冊一項極具顛覆性的新式晶片 封裝專利,將大容量的NAND Flash直接堆疊在GPU 或AI加速器下方,使其成為運算核心與HBM之間的高速巨量緩存區塊。

結合CBA封裝技術:HBM拼速度、NAND Flash扛容量

在這份最新曝光的專利中,Sandisk提出一套極具創意的分工架構。

眾所皆知,NAND Flash在傳輸速度上雖然遠不及DRAM (如HBM),但其最大優勢在於單位面積下的超大儲存容量與極低成本。Sandisk打算透過CBA (CMOS directly Bonded to Array,CMOS直接鍵結至陣列)封裝技術,將NAND Flashj顆粒以3D堆疊的方式,直接整合在AI加速晶片 (或GPU)的封裝基板下方;與此同時,晶片載板上依然保留著傳統的HBM記憶體模組。

而在這個混合記憶體架構中,兩者的角色分工非常明確:

• HBM高頻寬記憶體:負責處理需要「即時運算、極低延遲」的熱資料 (Hot data)。

• 3D堆疊的NAND Flash:作為一個超大型的底層快取 (Cache)或緩存區塊。由於它被直接封裝在晶片內部,其資料讀寫與傳輸路徑遠比透過外部PCIe通道連接的SSD來得更短、更快。這層NAND Flash將負責處理更為龐大的資料集 (如超大型AI模型的權重資料),進而大幅降低對昂貴HBM的容量依賴。

Sandisk強調,透過這項將NAND Flash作為運算晶片與HBM之間緩衝的架構,不僅能有效降低整體系統成本,還能進一步減少資料在外部匯流排傳輸時所產生的巨大功耗。

願景豐滿但挑戰嚴峻:散熱與熱應力成最大難關

儘管Sandisk這項專利在理論上解決AI算力的緩存容量與成本之間拉扯問題,但要將其從紙上概念轉化為實際量產的商業技術,仍有許多物理極限需要克服。

最大的挑戰,無疑是熱管理。當前的高階AI晶片 (如NVIDIA B200或AMD MI300X)本身就是一個功耗動輒數百瓦到上千瓦的「大火爐」。將NAND Flash直接封裝在這種高發熱量晶片的正下方,不僅NAND Flash本身的散熱空間會被阻擋,更必須承受上方AI晶片傳遞下來的極高熱應力 (Thermal stress),極度考驗NAND Flash顆粒在高溫環境下的資料留存率 (Data retention)與物理穩定性。

儲存廠的焦慮與逆襲,AI封裝大戰進入異質整合時代

Sandisk這項專利背後,其實透露出傳統儲存大廠在AI時代下的「焦慮與轉型渴望」。

在當前的AI伺服器架構中,聚光燈與利潤幾乎全被負責運算的GPU,以及負責高速傳輸的HBM給吸走;而傳統的NAND SSD往往只被當作最底層的冷資料倉庫 (Cold storage),獲利空間相對有限。

Sandisk這次提出的3D NAND異質封裝專利,正是試圖打破這層藩籬,讓便宜、大容量的NAND Flash也能「擠進」最高階的AI晶片封裝內,分一杯羹。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

精華 FAQ

  • 它主要想解決高階AI加速器對記憶體容量需求暴增,但HBM產能不足、成本過高的問題。透過把NAND Flash整合進封裝內,擴充可用容量並降低系統成本。

  • HBM負責處理需要極低延遲的熱資料,維持即時運算效率;3D堆疊的NAND Flash則作為大容量底層緩存,承接模型權重等龐大資料,減少對昂貴HBM的依賴。

  • 最大難題是散熱與熱應力。AI晶片功耗極高,若NAND直接位於下方,將承受強烈熱傳導與封裝壓力,可能影響資料留存、物理穩定性與長期可靠度。

延伸閱讀

分析/從HBM走向HBF:SanDisk與SK海力士聯手定義AI推論時代的記憶體新標準

突破「記憶體之牆」!傳Google攜手Marvell打造第8代TPU與全新「MPU」協同處理器

觀點/終結「一招打天下」!從Google第8代TPU雙架構 看AI代理時代的算力佈局與記憶體突圍戰

迎戰代理AI龐大資料傳輸頻寬需求!Rambus推出業界最快DDR5 9600用戶端晶片組

本日熱門 本周最熱 本月最熱