
微軟 亞洲研究院近期提出名為NUWA-XL的多模自動生成式人工智慧模型,標榜能以16組描述句即可生成長達11分鐘的影片內容。
微軟亞洲研究院在2021年便提出多模自動生成式人工智慧 模型NUWA (女媧),能以自然語言描述生成文字、圖像、影片內容,後續推出的升級版NUWA-Infinity更進一步將生成圖像、影片解析度提高。
而此次提出的NUWA-XL,則是建立在「擴散疊加」 (Diffusion over Diffusion)的運作架構之上,透過全域擴散模型 (Global Diffusion)生成影片所有時間範圍內的關鍵畫面,並且透過局部擴散模型 (Local Diffusion)依據填加關鍵畫面鄰近內容,藉此加快整體內容生成效率,同時也確保生成內容連續性與完整性。
整體流程大約是先依照輸入描述句生成關鍵畫面,再依序針對關鍵畫面生成相應影片,並且透過擴散模型增加影片內容長度,讓影片最初生成的概略章節可以變成完整故事內容。在示範內容中,微軟以《摩登原始人》 (The Flintstones)動畫 為基礎,自動生成全新動畫內容。

在微軟此項技術中,原本生成1024個畫面的平均推論時間需要7.55分鐘,變成僅需花費26秒即可生成,整體速度提升高達94.26%。
不過,微軟說明影片生成背後依然需要仰賴足夠品質的影片內容訓練,此次提出的NUWA-XL主要參考專業動畫內容製作流程,藉由先生成關鍵畫面,並且持續生成關鍵畫面衍生內容,進而構成完整動畫影片,並且確保內容連續性與生成品質,進而能加速內容生成速度。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 「找車位神器」3秒搜出停車格!5縣市可用 駕駛實測嘆:相見恨晚
📢網紅「小周牙醫」歧視同志言論挨轟!道歉被網抓包IG、YT秒做1事:沒誠意
📢 Switch 2台北體驗會7/5登場!抽選制、超詳細報名規則曝
📢 ASUS VivoWatch 6 AERO智慧手環開箱!指尖量心電圖 睡眠追蹤曝「9成全淺眠」
📢 YouTube會員台灣便宜雙人方案來了!價格比印度貴近4倍 規則一次看
📢 獨/等到iPhone嗶進站!蘋果iOS18.4開放台灣NFC交易 悠遊卡公司回應了