微軟 亞洲研究院近期提出名為NUWA-XL的多模自動生成式人工智慧模型,標榜能以16組描述句即可生成長達11分鐘的影片內容。
微軟亞洲研究院在2021年便提出多模自動生成式人工智慧 模型NUWA (女媧),能以自然語言描述生成文字、圖像、影片內容,後續推出的升級版NUWA-Infinity更進一步將生成圖像、影片解析度提高。
而此次提出的NUWA-XL,則是建立在「擴散疊加」 (Diffusion over Diffusion)的運作架構之上,透過全域擴散模型 (Global Diffusion)生成影片所有時間範圍內的關鍵畫面,並且透過局部擴散模型 (Local Diffusion)依據填加關鍵畫面鄰近內容,藉此加快整體內容生成效率,同時也確保生成內容連續性與完整性。
整體流程大約是先依照輸入描述句生成關鍵畫面,再依序針對關鍵畫面生成相應影片,並且透過擴散模型增加影片內容長度,讓影片最初生成的概略章節可以變成完整故事內容。在示範內容中,微軟以《摩登原始人》 (The Flintstones)動畫 為基礎,自動生成全新動畫內容。
在微軟此項技術中,原本生成1024個畫面的平均推論時間需要7.55分鐘,變成僅需花費26秒即可生成,整體速度提升高達94.26%。
不過,微軟說明影片生成背後依然需要仰賴足夠品質的影片內容訓練,此次提出的NUWA-XL主要參考專業動畫內容製作流程,藉由先生成關鍵畫面,並且持續生成關鍵畫面衍生內容,進而構成完整動畫影片,並且確保內容連續性與生成品質,進而能加速內容生成速度。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 爛主機「硬要升級Windows 11」!微軟急貼警告曝後果
📢 LINE免費貼圖8款!「鯊魚先生」自訂訊息爽用半年 這款「小孩愛吃」哏圖多
📢 喜傑獅「網站被駭」後真的抽免費雙人機票!網酸「會跳票嗎」官方回應了
📢 跳槽蘋果理由+1!庫克掛保證 蘋果Apple Intelligence「沒考慮收費」
📢 果粉超愛「關iPhone APP保持順暢省電」!專家搖頭:手機電池壽命更慘
📢 跳槽蘋果理由+1!庫克掛保證 蘋果Apple Intelligence「沒考慮收費」