深色模式 明亮模式

及时了解最有趣的新闻

按下“订阅”按钮,即表示您确认已阅读并同意我们的隐私政策使用条款
Follow Us

及时了解最有趣的新闻

按下“订阅”按钮,即表示您确认已阅读并同意我们的隐私政策使用条款

解锁视频创作未来:万相AI模型碾压竞品!

在人工智能领域,许多公司仍在纠结是否要走开源路线。但阿里巴巴的技术团队正迈出大胆步伐,近期发布了其尖端视频生成模型”万相”。这个开源模型不仅包含完整的推理代码和权重,还配备了最灵活的开源协议。

视频生成的挑战

熟悉视频生成模型的人都知道它们面临多重挑战。例如,大多数模型难以准确呈现复杂人体动作,如体操空翻或舞蹈动作。此外,生成物体间逼真的互动效果(如碰撞反弹反应)往往时灵时不灵。即使是长篇文字提示,也常出现”选择性遵循”现象——模型只执行部分指令。能同时攻克这三个难题的模型,极少会选择开源。

阿里巴巴的万相方案

阿里巴巴的万相模型却另辟蹊径。它不仅能捕捉旋转、空翻、跳跃等复杂动作,还能复现碰撞、反弹、切割等真实物理现象。更支持中英文长文本提示,能准确解析并生成相应的场景转换与角色互动。

Advertisement

我们来看几个官方演示案例:

案例一:跳水动作
提示词:男子从跳台完成专业跳水动作,身着红色泳裤,空中倒立伸展双臂双腿并拢。镜头随入水动作移动,在蓝色背景中溅起水花。

案例二:马术比赛
提示词:骑手娴熟引导赛马完成障碍赛,骑手专注专业装束,赛马流畅跨越障碍,动作精准令人惊叹。场景充满动感张力,背景为自然户外环境。

案例三:猫咪拳击赛
提示词:两只拟人化猫咪穿戴拳击装备,在明亮擂台激烈对决。场景捕捉快速移动、强力出拳等生动细节。

万相的实际应用

或许你会疑惑:无法在普通硬件运行的开源视频生成模型有何意义?阿里巴巴的方案给出了答案:模型提供14B和1.3B两个参数版本。14B版本主打高性能,而1.3B版本专为消费级GPU优化,在4090显卡上仅需8.2G显存即可运行,且能输出480P高质量视频,非常适合学术研究和二次模型开发。

即使在精简版形态下,万相模型在VBench等主流评测平台也展现出亮眼成绩。其86.22%的综合得分已超越Sora、HunyuanVideo、Gen3等国际视频生成模型。

万象的核心功能

1. 文生视频

“文生视频”是万象最突出的能力。简而言之,它可以将文字描述转化为高质量视频。仅需一个提示词,就能生成电影级特效、特殊字体甚至动态标志,这种灵活性使其在同类模型中独树一帜。

  • 示例: 在霓虹灯点缀的城市景观中,”欢迎”字样以赛博朋克风格背景呈现于广告牌上。

2. 复杂动作生成

复杂运动是视频生成模型面临的最大挑战。无论是旋转、跳跃还是奔跑,细微的失误都会破坏真实感。但万象在此领域表现卓越,动作捕捉精度令人惊叹。

  • 示例1: 篮球运动员起跳投篮。模型精准捕捉从起跳到篮球轨迹的完整运动过程。
  • 示例2: 小丑走过燃烧的厢式货车,其夸张的肢体动作与面部表情以电影级质感呈现。

3. 长文本指令遵循

万象不仅能处理简短指令,更能根据长篇文字描述生成高度细节化的场景,在多个主体和动作之间保持一致性。

  • 示例: 广角镜头下的热闹派对场景:多元化的舞者群体、鲜艳的装饰元素与节日氛围完美融合。

4. 物理建模

该模型在模拟真实物理交互方面同样出色。例如当透明玻璃杯倾倒牛奶时,万象能精准模拟液体流动与表面张力效应。

  • 示例: 草莓落入水杯的瞬间,模型生动呈现水果与水体的交互过程,水珠飞溅与果实下落的物理特性纤毫毕现。

核心技术突破

万相模型的强大性能源于两项关键创新:高效的因果3D VAE(变分自编码器)和视频扩散变换器(DiT)。

1. 高效因果3D VAE

阿里巴巴团队专门为视频生成设计了新型3D VAE架构。这项创新实现了更高效的时空压缩,降低内存使用量的同时确保了时间因果性——这对保持视频事件连贯性至关重要。

2. 视频扩散变换器

万相模型还采用了最先进的扩散变换器(DiT)架构。该方案通过全注意力机制建模长程时空依赖关系,基于线性噪声轨迹的架构设计使其能够生成时空对齐一致的视频内容。

开源模型的未来图景

通过此次发布,阿里巴巴万相模型为视频生成树立了新标杆,证明开源模型可以超越闭源方案。结合通义千问语言模型等其他开源成果,这一举措标志着人工智能发展的重大转折。

通过开源这些强大模型,阿里巴巴已站上AI创新的最前沿。包括万相在内的系列模型现已在GitHub、HuggingFace和MoDa等平台开放,支持从学术研究到商业视频制作的广泛场景。

开创性意义

万相模型的发布正在重塑AI视频生成格局。其通过文本提示生成高清细节视频、模拟复杂运动轨迹、建模真实物理规律的能力,势将革新广告、影视乃至游戏产业。阿里巴巴对开源AI的承诺正在打破技术壁垒,为视频创作领域树立全新标准。

及时了解最有趣的新闻

按下“订阅”按钮,即表示您确认已阅读并同意我们的隐私政策使用条款
Previous Post

秋葵:西方人为何厌恶这种黏糊糊却营养丰富的蔬菜

Next Post

印度街头美食:20天风味之旅 & 肠胃无忧

Advertisement