微軟 近期公布新款大型自然語言模型Orca 2,雖然本身採小規模設計,但在推論能力卻能與大規模設計的大型自然語言對比。
Orca 2區分70億與130億兩種參數規模,本身基於前一代Orca模型 設計,並且透過模仿強化自身推論能力,進而能對比大型語言模型推論效果。
目前微軟已經將Orca 2開源提供使用,並且允許使用者進行客製化 ,藉此建立自有人工智慧 系統,讓資源有限的中小型企業也能更快導入人工智慧應用。
而微軟更在訓練過程採用不同方案,讓Orca 2能將單一任務切成數個小型任務進行推論,此對應複雜問題解答,並且能對應語言理解、常識推理、多步驟推論、數學解答、文本理解、內容摘要等任務需求。
目前Orca 2的70億與130億參數版本都已經超過Meta的Llama 2 Chat 70億與130億版本,同時也能用於各類輕量化的人工智慧推論需求。
同時,微軟也強調打造Orca 2方式也能用於其他基礎模型,藉此推動更多小型人工智慧技術應用可能性。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》