![](https://pgw.udn.com.tw/gw/photo.php?u=https://uc.udn.com.tw/photo/author/photo/966.jpg&x=&y=&sw=&sh=&exp=3600&w=100)
繼先前推出參數規模在120億組的Mistral NeMo 12B小型自然語言模型後,NVIDIA 再次宣布推出參數規模更小、精準度卻更高的小型自然語言模型Mistral-NeMo-Minitron 8B,參數規模控制在80億組,可用於小型工作站,或是快速佈署於各個邊緣運算節點,同時也能用在資料中心及雲端運算叢集。
相比Mistral NeMo 12B,此次推出的Mistral-NeMo-Minitron 8B將能以更小規模用在多元運算節點,讓自動生成式人工智慧技術能在更多運算載具上運作,同時維持相同人工智慧執行效能,甚至更進一步提高其運算精準度。
生成式人工智慧(AI)的開發者通常得面臨要取捨模型大小還是精確度的難題。不過 NVIDIA 發表的全新語言模型倒是兼具兩者之長,這個模型體積小巧,又有著最先進的精確度。
NVIDIA應用深度學習研究部門副總裁Bryan Catanzaro表示:「我們將兩種最佳化人工智慧的方法加在一起。這包括以『剪枝』 (pruning)方式,將原本Mistral NeMo 12B決策分辨能力較弱的運算部分去除,使其參數進一步縮減,另外藉由『蒸餾』 (distillation)方式提升模型運算精準度,讓調整後的Mistral-NeMo-Minitron 8B能以更高效率運作,同時不影響其精準度表現,更可精簡模型運算成本。」
目前開發人員可以透過包裝成有著標準應用程式介面 (API)的NVIDIA NIM 微服務使用Mistral-NeMo-Minitron 8B模型資源,或是透過Hugging Face下載,並且能將其佈署應用在更多以GPU加速運算系統上使用。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》