深色模式 明亮模式

隨時了解最有趣的新聞

按下「訂閱」按鈕,即表示您確認已閱讀並同意我們的隱私權政策使用條款
Follow Us

隨時了解最有趣的新聞

按下「訂閱」按鈕,即表示您確認已閱讀並同意我們的隱私權政策使用條款

解鎖影片創作未來:萬象AI模型碾壓競爭對手!

在人工智慧領域,許多企業仍在猶豫是否選擇開源路線。但阿里巴巴技術團隊正大膽邁進,近期發布了其尖端影片生成模型「萬象」。這款開源模型不僅包含完整推理程式碼與權重參數,更採用目前最靈活的開源授權協議。

影片生成技術的挑戰

熟悉影片生成模型的人都知道,這類技術面臨多重挑戰。例如多數模型難以精準呈現複雜人體動作(如體操空翻或舞蹈動作),物體間真實互動效果(如碰撞反彈)也常參差不齊。即便使用較長文字提示,模型往往出現「選擇性遵循」現象,僅執行部分指令。能同時攻克這三大難關的模型,鮮少會選擇開源。

阿里巴巴的萬象解決方案

阿里巴巴的萬象模型採取了不同技術路徑。該模型不僅能捕捉旋轉、翻騰、跳躍等複雜動作,更能重現碰撞、反彈、切割等真實物理現象。其獨特之處在於可同時處理中英文長文本提示,精準解讀文字指令並生成相應場景轉換與角色互動。

Advertisement

讓我們透過官方示範案例具體了解:

示範一:跳水動作
提示詞:專業跳水選手從跳台躍下,身穿紅色泳褲,空中倒立伸展,雙腿併攏。鏡頭隨入水角度變化,藍色背景中水花飛濺。

示範二:馬術障礙賽
提示詞:騎手專業駕馭賽馬跨越障礙,騎手專注著專業裝備,賽馬流暢躍過每道障礙,展現精準控制力。動態場景張力十足,背景為自然戶外環境。

示範三:貓咪拳擊賽
提示詞:兩隻擬人化貓咪穿戴拳擊裝備,在明亮擂台上激烈對戰。畫面捕捉快速移動、強力出拳等生動細節。

萬象的實際應用價值

或許有人質疑:無法在常規硬體運行的開源影片模型有何意義?阿里巴巴貼心推出14B與1.3B兩種參數版本。14B版本專注高效能運算,1.3B版本則針對消費級GPU(如4090)優化,僅需8.2GB視訊記憶體即可流暢運行,且能輸出480P高品質影片,特別適合學術研究與二次模型開發。

即便縮減規模,萬象模型在VBench等主流評測平台仍展現驚人實力。其綜合評分達86.22%,超越包括Sora、混元影片、Gen3在內的國際同類產品。

萬象核心功能解析

一、文字生成影片

「文生影片」是萬象的招牌能力。簡單來說,透過文字描述即可產出電影級特效、特殊字體甚至動態標誌。這種靈活性使其在同類產品中獨樹一幟。

  • 案例霓虹都市景觀中,「歡迎」字樣以賽博龐克風格呈現於發光看板。

二、複雜動作生成

複雜動作向來是影片生成最大難點。無論旋轉、跳躍或奔跑,些微誤差都會破壞真實感。萬象在此領域表現卓越,動作捕捉精準度驚人。

  • 案例一籃球員跳投動作,從起跳到球體軌跡均精準呈現。
  • 案例二小丑走過燃燒貨車,誇張肢體語言與表情以電影質感呈現。

三、長文本指令遵循

萬象不僅處理簡短指令,更能根據長文本生成高細節場景,在多主體、多動作情境下保持一致性。

  • 案例廣角鏡頭捕捉熱鬧派對場景,包含多元舞者、鮮豔裝飾與節慶氛圍。

四、物理現象建模

該模型在物理模擬方面同樣出色。例如傾倒裝有牛奶的透明玻璃杯時,能精準模擬液體流動與表面張力。

  • 案例草莓落入水杯,模型捕捉水果與液體互動,生動展現水花飛濺與果體下沉物理過程。

核心技術創新

萬象的強大性能源於兩大創新:高效因果3D VAE(變分自編碼器)與影片擴散轉換器(DiT)。

一、高效因果3D VAE

阿里團隊針對影片生成特點設計全新3D VAE架構,實現時空維度更高效的壓縮處理,既降低記憶體消耗,又確保時間因果性,這對維持影片事件流至關重要。

二、影片擴散轉換器

萬象採用最先進的擴散轉換器(DiT)架構,透過全域注意力機制建模長程時空依賴關係。基於線性雜訊軌跡的架構設計,確保生成影片具備時空一致性。

開源模型的未來展望

萬象的發布為影片生成領域樹立新標竿,證明開源模型可超越閉源產品。結合阿里先前開源的Qwen語言模型等舉措,這標誌著AI發展的重要里程碑。

透過開源這些強大模型,阿里巴巴已站穩AI創新前沿。萬象等模型現已登陸GitHub、HuggingFace、摩達等平台,支援從學術研究到商業影片製作的多元應用場景。

結語

萬象的問世改寫了AI影片生成格局。憑藉其從文字生成高細節影片、模擬複雜動作、建構真實物理現象的能力,勢將重塑廣告、影視乃至遊戲產業。阿里巴巴對開源AI的堅持,正不斷突破技術邊界,為影片創作領域樹立新典範。

隨時了解最有趣的新聞

按下「訂閱」按鈕,即表示您確認已閱讀並同意我們的隱私權政策使用條款
Previous Post

秋葵:西方人為何厭惡這種黏滑卻營養豐富的蔬菜

Next Post

根汁啤酒:這款經典美式軟性飲料為何令全球意見分歧

Advertisement