![](https://pgw.udn.com.tw/gw/photo.php?u=https://uc.udn.com.tw/photo/author/photo/966.jpg&x=&y=&sw=&sh=&exp=3600&w=100)
蘋果 機器學習研究團隊科學家Vaishaal Shankar稍早於「X」表示,分別釋出兩組小規模的開源人工智慧 模型 ,均隸屬於「DCLM」 (DataComp for Language Models)發展項目,分別對應69億組參數及14億組參數,強調能與Mistral AI的70億組參數規模人工智慧模型,以及Meta提出的Llama 3、Google的Gemma、阿里雲的開源模型Qwen2直接抗衡。
同時,Vaishaal Shankar更標榜「DCLM」為真正形式上的開源模型,其中69億組參數版本是基於OpenLM框架,以2.5兆個詞元 (token)進行訓練,前後文長度各可對應2K組詞元,在大規模、多任務的語言理解 (MMLU,Massive Multitask Language Understanding)測試達63.7%,超過Mistral-7B-v0.3的62.7%表現,並且貼近Meta Llama3 8B的66.2%、Google Gemma的64.3%),以及微軟Phi-3的69.9%,另外也以更少算力完成相關測試。
而在14億組版本,蘋果則是與Toyota研究團隊共同訓練,並且以2.6兆組詞元數量進行訓練,在大規模、多任務的語言理解測試達41.9%,超過微軟Phi-1.5B的35.90%。
We have released our DCLM models on huggingface! To our knowledge these are by far the best performing truly open-source models (open data, open weight models, open training code) 1/5
— Vaishaal Shankar (@Vaishaal) July 18, 2024
另外,蘋果方面也在69億組參數規模的人工智慧模型基礎下,將前後文長度支援至8K組詞元,在在大規模、多任務的語言理解的表現基本維持不變,意味相比語言模型框架設計,用於訓練的資料集設計將變得更加重要。
目前「DCLM」計畫以開源形式與業界研究人員合作,目前合作對象包含華盛頓大學、特拉維夫大學與Toyota研究中心,但目前在「DCLM」計畫研究項目並不會用於蘋果市售產品,避免引發不必要的爭議,目前作為研究為主。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 【抽獎】4次中獎機會!粉紅AI主播徵名 看影片取名拚萬元大獎
📢 蘋果發表會9月10日登場!iPhone 16等10新品預測懶人包 改了什麼一次看
📢 開箱/實測Pixel 9、Pixel 9 Pro XL望遠夜拍!AI修圖換物件驚豔 士林夜市秒變白天
📢 獨/快來辦!期間限定5G不限速吃到飽699元 免用4G資費規則一次看
📢 iPhone 16 Pro被洩14秒影片有2大亮點!平價版實機也曝光被讚「這支會大賣」
📢 LINE免費貼圖6款來了!16隻寶可夢作伴到2025過年 還有蠟筆小新和柴犬必載