
今年7月推出參數規模高達4050億組的人工智慧模型Llama 3 .1之後,Meta近期接續公布參數規模達700億組的Llama 3.3,標榜執行效能表現與參數規模達4050億組的人工智慧模型Llama 3.1相當,甚至超越亞馬遜近期公布的Nova模型。
此次推出參數規模達700億組的Llama 3.3,本身是以多語言大型自然語言模型形式打造,以超過15兆以上字詞進行預先訓練,並且藉由公開指令集與超過2500萬筆合成資料進行微調,目前已經以開源形式透過GitHub及Hugging Face託管提供使用。
而Llama 3.3採用Transformer架構自動回推 (auto-regressive)語言模型,並且透過監督式微調 (supervised fine-tuning,SFT),加上人類反饋強化學習 (reinforcement learning with human feedback,RLHF)機制,讓模型產生結果更符合預期需求,同時確保生成結果正確性與安全性,另外也透過群組查詢注意力 (Grouped-Query Attention,GQA)功能,讓模型可透過日後推論擴充可解答內容範圍。
目前Llama 3.3原生可對應英語、德語、西班牙語、葡萄牙語、義大利語、法語、泰語及印度印地語,並且能在微調後對應更多語言運作。
至於運作效能部分,Meta指出Llama 3.3在多任務語言理解,以及包含財務、數學、多任務學習推理等測試項目中,效能超越Llama 3.1 70B、亞馬遜Nova、Google Gemini Pro 1.5、OpenAI GPT-4o,甚至與先前推出的Llama 3.1 405B相當,同時也能對應多語言對話場景,因此相當適合用於多語言商用、研究等情境。
Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 「找車位神器」3秒搜出停車格!5縣市可用 駕駛實測嘆:相見恨晚
📢網紅「小周牙醫」歧視同志言論挨轟!道歉被網抓包IG、YT秒做1事:沒誠意
📢 Switch 2台北體驗會7/5登場!抽選制、超詳細報名規則曝
📢 ASUS VivoWatch 6 AERO智慧手環開箱!指尖量心電圖 睡眠追蹤曝「9成全淺眠」
📢 YouTube會員台灣便宜雙人方案來了!價格比印度貴近4倍 規則一次看
📢 獨/等到iPhone嗶進站!蘋果iOS18.4開放台灣NFC交易 悠遊卡公司回應了