18+

聯發科苗栗銅鑼研發資料中心啟用!導入NVIDIA DGX SuperPOD建構龐大AI算力

AI重點

文章重點整理:

  • 重點一:聯發科在苗栗銅鑼啟用研發資料中心以應對AI需求。
  • 重點二:資料中心使用NVIDIA DGX SuperPOD以提高運算能力。
  • 重點三:採用鑽石級綠建築與單相浸沒式冷卻技術提升效率。

聯發科 稍早宣布,正式啟用座落於苗栗銅鑼科學園區的研發資料中心,主要因應未來AI時代下,邊緣AI與雲端AI解決方案的龐大研發需求。此資料中心不僅導入全台首座以 NVIDIA DGX B200平台驅動的NVIDIA DGX SuperPOD運算叢集,更以符合最高等級的鑽石級綠建築規格 打造,兼顧高效能算力與永續發展。

佈局強大AI算力,每月處理超過1380億個Token量

聯發科總經理暨營運長陳冠州表示,聯發科在AI產業趨勢下正積極投資高效能運算平台、Wi-Fi 7/8、6G及先進製程與封裝等關鍵技術。為了支持旗下龐大的研發訓練與產品測試需求,這座新落成的資料中心建構大規模的算力,每月在AI語言的運算量已經超過1380億個Token (詞元)量。

• 高效率模型訓練:該平台能有效支援大規模的模型算力需求,每月可達成超過2.4萬次的模型訓練迭代。

• 軟硬體深度整合:透過導入NVIDIA NIM推論微服務與TensorRT-LLM等軟體開發架構,可將推論速度提升40%,Token傳輸量更提高60%。

▲NVIDIA DGX SuperPOD
▲NVIDIA DGX SuperPOD

鑽石級綠建築規格,大規模導入單相浸沒式冷卻技術

在追求極致算力的同時,資料中心本身的散熱與能耗管理也成為關鍵。聯發科在銅鑼的這塊基地佔地面積約2.5公頃,整體規劃分為三期建置,目前第一期已正式完工啟用,接下來推進的第二期、第三期將會因應不同運算需求進行差異化建置。

▲聯發科在銅鑼的這塊基地佔地面積約2.5公頃,整體規劃分為三期建置,目前第一期已...
▲聯發科在銅鑼的這塊基地佔地面積約2.5公頃,整體規劃分為三期建置,目前第一期已正式完工啟用,接下來推進的第二期、第三期將會因應不同運算需求進行差異化建置

同時,聯發科更強調本身並非先建置大樓才開始構思要放入什麼規格的運算系統,而是在實際建置前就完成相應大樓結構設計,意味接下來如果推進到NVIDIA的Vera Rubin世代產品,屆時的大樓建築也會預先作相應調整規劃,讓運算系統能以最佳化形式運作。

• 首創大規模浸沒式冷卻:作為全台第一座大規模導入「單相浸沒式冷卻技術」的研發資料中心,聯發科將伺服器完全浸入非導電絕緣液中,不僅隔絕灰塵與風扇震動噪音,更讓冷卻效率大幅提升2.6倍,同時也說明採用絕緣液對人體及環境無害,另外也做好制震等防災措施,避免天然災害發生時出現漏液等意外情形。

▲聯發科將伺服器完全浸入非導電絕緣液中,不僅隔絕灰塵與風扇震動噪音,更讓冷卻效率...
▲聯發科將伺服器完全浸入非導電絕緣液中,不僅隔絕灰塵與風扇震動噪音,更讓冷卻效率大幅提升2.6倍,同時也說明採用絕緣液對人體及環境無害

• 極致電源使用效率:結合冷熱通道的設計與高效冷卻系統,其能源使用效率 (PUE) 成功優化至極具水準的1.1,同時大樓也會有中控監視系統隨時確認資料中心運作情況,讓工作人員能確保資料中心穩定運作。

▲強調資料中心的能源使用效率 (PUE) 會貼近1.1
▲強調資料中心的能源使用效率 (PUE) 會貼近1.1

▲透過中控監視系統隨時確認資料中心運作情況
▲透過中控監視系統隨時確認資料中心運作情況

▲隨時監控資料中心各項運作數據
▲隨時監控資料中心各項運作數據

• 環境永續與再生能源:依循鑽石級綠建築最高規格設計,保留了基地上的原生樹種,並且在屋頂建置容量達235kW發電量的太陽能板,預估年發電量可達28萬度。同時,廠區空調與冷卻系統亦導入銅鑼科學園區的再生水做為主要冷卻介質,降低對自然水資源的依賴。

晶圓廠等級供電防護,架構選擇保持高度彈性

為了確保龐大算力運作不中斷,聯發科說明此資料中心導入等同於晶圓廠等級的高標準供電系統。其基礎設施銜接台電的161kV特高壓環路供電,並且在全區配備2N雙備援電力系統,即使遇到分區輪流停電也能不受影響,甚至備有100%的備用發電機組作為算力後盾,一旦發生突發斷電也能繼續維持運作。

針對目前的硬體架構選擇,聯發科提及現階段主要採用NVIDIA的加速運算架構,並且與技嘉、台達電、Dell等品牌展開合作。不過,聯發科也強調,未來的發展策略將是「由聯發科開出當前AI運算架構的需求規格,再交由符合標準的供應商提供合作」。換言之,雖然NVIDIA運算系統十分契合當前的AI架構需求,但未來隨著不同AI運算場景與需求變化,聯發科也會保持高度彈性,因應需求導入不同的運算架構設計。

▲聯發科強調,未來的發展策略將是「由聯發科開出當前AI運算架構的需求規格,再交由...
▲聯發科強調,未來的發展策略將是「由聯發科開出當前AI運算架構的需求規格,再交由符合標準的供應商提供合作」

現場直擊:氣冷與浸沒式冷卻的直觀差異

在此次採訪的機房參觀環節中,筆者實際走訪不同散熱技術的配置區域,能明顯感受到兩者在運作狀態下的巨大差異。

走進位於1樓的機房,這裡佈署以氣冷方式運作的NVIDIA B200 GPU DGX SuperPOD運算叢集。此區算力架構主要搭配Dell伺服器與台達電的供電方案運作。一踏入機房,迎面而來的是極為明顯的強烈空氣流動,以及伺服器為壓制龐大算力產生熱能,風扇運轉的聲音不僅非常大聲,更伴隨著明顯的高頻噪音,充分展現了傳統氣冷架構在面對高負載AI運算時的極限狀態。

▲搭載B200 GPU的DGX SuperPOD
▲搭載B200 GPU的DGX SuperPOD

▲除了NVIDIA DGX SuperPOD,同時還配置作為運算調控的Dell伺...
▲除了NVIDIA DGX SuperPOD,同時還配置作為運算調控的Dell伺服器叢集,以及由台達電製作的供電及散熱系統

相對地,來到位於3樓的高效能運算伺服器機房,這裡則是採用先進的單相浸沒式冷卻技術。此區佈署由技嘉合作建置的CPU運算叢集伺服器,由於設備直接浸泡在專用的絕緣冷卻液中進行熱交換,大幅減少對傳統機殼風扇的依賴,因此運作時的風扇聲明顯小了非常多,整體機房環境相較之下安靜許多。

至於目前採用CPU規格,除了Intel的Xeon處理器之外,還包含AMD的EPYC處理器。

▲由技嘉合作建置的CPU運算叢集伺服器
▲由技嘉合作建置的CPU運算叢集伺服器

▲冷卻液循環管道從上方走線
▲冷卻液循環管道從上方走線

▲強調冷卻液除了不導電之外,本身也不具備對人體有害,或是對環境造成影響特性
▲強調冷卻液除了不導電之外,本身也不具備對人體有害,或是對環境造成影響特性

▲維修或更換時可將上蓋開啟進行作業,一般情況下是會關閉
▲維修或更換時可將上蓋開啟進行作業,一般情況下是會關閉

▲可透過前方面板顯示當前運作狀況,並且進行設定等操作,另外也有緊急停止按鍵
▲可透過前方面板顯示當前運作狀況,並且進行設定等操作,另外也有緊急停止按鍵

這兩種截然不同的機房體驗,確實讓人深刻體會到浸沒式冷卻技術在降低噪音、減少震動,以及提升未來高密度AI伺服器散熱與能源使用效率上的顯著優勢。

由AMR自主移動機器人協助維護

在資料中心現場,可以發現聯發科的AMR自主移動機器人 (Autonomous Mobile Robot),此機器人主要應用場景包含協助引導外部合作業者 (例如伺服器供應商的工程人員)入內進行維修、料件更換等,或是透過遠端連線互動方式,讓位於新竹等位置的聯發科工程人員能「直接」與資料中心工作人員溝通,藉此減少必須舟車勞頓往返兩地的工作時間。

▲在聯發科資料中心內部運作的AMR自主移動機器人
▲在聯發科資料中心內部運作的AMR自主移動機器人

目前AMR自主移動機器人是以箱式機身,搭配底部滾輪設計進行移動,搭配四組攝影鏡頭進行前方路況影像識別,同時機身也配置一組可拍攝360度環景影像的攝影鏡頭,藉此判斷四周狀況。而透過配置的平板顯示器則可呈現當前運作情況,以及與遠端工作人員連線互動內容,甚至也能透過麥克風、擴音裝置進行溝通。

▲透過配置的平板顯示器則可呈現當前運作情況,以及與遠端工作人員連線互動內容,甚至...
▲透過配置的平板顯示器則可呈現當前運作情況,以及與遠端工作人員連線互動內容,甚至也能透過麥克風、擴音裝置進行溝通

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

精華 FAQ

  • 聯發科新資料中心旨在應對未來AI時代的邊緣AI與雲端AI解決方案的龐大研發需求,確保能夠高效支援AI運算。

  • 資料中心導入NVIDIA DGX SuperPOD運算叢集,以及單相浸沒式冷卻技術,這些技術可顯著提升運算效率並降低能耗。

  • 單相浸沒式冷卻技術能有效隔絕灰塵與噪音,並提升冷卻效率達到2.6倍,對人體及環境無害,還具備防災措施。

延伸閱讀

AI算力不能只靠GPU!Intel攜手Google深化合作、Xeon處理器與客製化IPU成次世代資料中心基石

專為「代理人企業」打造的AI超級電腦!Google解析第8代TPU雙架構與Virgo全新網路技術細節

Intel Xeon 6進駐NVIDIA DGX Rubin NVL8機架系統!成為AI推論時代的「指揮中樞」

NVIDIA Vera Rubin平台正式登場!七款晶片聯手打造「代理式AI超級電腦」

本日熱門 本周最熱 本月最熱