网站标志
导航菜单
当前日期时间
当前时间:
购物车
购物车中有 0 件商品 去结算 我的订单
商品搜索
商品搜索:
文章正文
一出道即碾压主流AI视频模型:Open AI发布首个文生视频模型
作者: 来源:羊城晚报·羊城派    发布于:2024-02-19 10:56:41    文字:【】【】【

2月16日,OpenAI在官网正式发布了文生视频大模型Sora,一经发布,不少网友惊呼:不少人要丢工作了!

OpenAI发布的新视频模型究竟是什么?据介绍,Sora是可以根据用户提示生成长达一分钟的视频,同时保持视频中出现的人物、景色的连贯性,甚至即便切换镜头,人物依然能够保持一致。

“给一段文本提示词,可以直接生成长达一分钟的视频。”Sora的工作原理是一个扩散模型,与ChatGPT一样,它使用了谷歌研究人员在2017年的一篇论文中介绍的Transformer架构。

在Sora推出之前,已经出现了一些用户认可度较高的AI生成视频模型。为什么Sora能引发如此大的轰动?多家外媒对三款热门文生视频模型Runway、Pika Labs和Stable Video进行了分析,并比较了Sora和它们之间的技术差别。

时长:60秒 vs 16秒

在Sora横空出世之前,Runway一直被视为AI生成视频的默认选择,尤其是自去年11月推出第二代模型以来,Runway还被称为“AI视频界的MidJourney”。第二代模型Gen-2不仅解决了第一代AI生成视频中每帧之间连贯性过低的问题,在从图像生成视频的过程中也能给出很好的结果。

而在Sora发布后,Runway的CEO克里斯托瓦尔·巴伦苏埃拉(Cristóbal Valenzuela)便在X平台上发布了两个字:“Game On(比赛开始了)。”

Sora最震撼的技术突破之一在于其输出的视频时长。Runway能够生成4秒长的视频,用户可以将其最多延长至16秒,是AI生成视频在2023年所能达到的最长时长纪录。Stable Video也提供4秒的视频,Pika则提供3秒的视频。在这一方面,Sora以1分钟的时长向竞争对手们提出了挑战。

ad104f237af2af6f3635d672efc5ea0.jpgSora传播度最高的时长60秒的视频之一,女子行走在东京街头。来源:Sora

Sora模型能够实现视频时长突破,主要功臣是其所采用的扩散Transformer架构,而Sora的创始者之一、现任OpenAI工程师的William Peebles刚在去年和别人一同发布了针对该架构的研究论文。

本质上,Sora和Pika、Runway采用了相似的底层模型,即Diffusion扩散模型。不同之处在于,Sora把其中的实现逻辑进行了变化,将U-Net架构替换成了Transformer架构。

不过目前,外界尚不清楚Sora提供了哪些功能以供用户定制输出视频,因此Runway仍可能是Sora的替代方案之一。今年1月,Runway刚宣布,用户将能够通过多头运动笔刷(Multi Motion Brush)功能实现对AI生成视频中多个元素的运动控制。此外,Runway也因其提供了集合多种AI工具的视频制作解决方案而备受推崇。

镜头语言:运动镜头 vs 静止视角 

值得注意的是,X平台上的一些用户表示,在OpenAI推出Sora的2月15日晚上,AI视频生成初创公司Stability AI也在官网和X平台上发布了新动态,宣布了Stable Video Diffusion更新1.1版本。但是,几分钟后,这两条消息都迅速消失了。

1f4b9e973b38eef91f3ffd1606ff1b8.jpg被Stability删掉的文章截屏。来源:X平台

外界无从得知这究竟是由于操作失误,还是Stability观察到了两种AI生成视频之间的巨大质量差异,选择重新制作广告。Stable Video和前两款产品一样,都没能脱离现有文生视频的一般模式,即输出单一的、通常是静止视角的短视频片段。相比之下,Sora的宣传视频包括变换摄像机角度、电影式剪辑和场景变换,也就是人们常说的镜头语言的使用。

此外,许多分析都指出,Sora带有世界模型的特质。所谓世界模型便是对真实的物理世界进行建模,让机器能够像人类一样,对世界产生一个全面而准确的认知。这一特性使得AI视频生成更流畅、更符合逻辑,降低了视频模型的训练成本,提升了训练效率。

和Runway一样,Stability AI的CEO埃马德·莫斯塔克(Emad Mostaque)也在X平台上感慨“奥特曼(OpenAI的创始人兼CEO)真是一个魔术师”,并称Sora可以被视为AI视频的GPT3,将在未来几年内得到扩展、细化、调整和优化。

劣势:有无免费选项,能否开源

和前辈们相比,Sora也存在两个可能令其不会被用户青睐的问题:有无免费选项,以及能否开源。

作为AI视频领域的新晋竞争者,Pika Labs于去年11月推出了生成式AI视频工具Pika 1.0,也在推出时凭借精美的演示视频引起了轰动。Pika已于去年12月公开,与Runway具备相似的质量,并在短时间内建立了一个非常活跃的用户社区。

065df9c8e5c30c929d29d2ed571fc9f.jpgPika生成的视频截图。来源:Pika

最重要的是,和其他竞争对手相比,Pika提供了更具吸引力的免费使用选项。Runway只会给用户125个不可续的免费积分,而Pika每天都会给用户发放30个积分,这使得它在短时间内拥有了一个庞大且活跃的用户社群。

Stability AI旗下的Stable Video Diffusion则是一款开源的视频生成模型。类似于图像版的Stable Diffusion,该模型可以根据用户自己的需求进行定制,并且可以在个人设备上进行本地安装,而Sora大概率永远不会提供这种功能。

目前,Stable Video Diffusion也仅供部分用户试用,在Stability的官网上可以加入等待列表。

(羊城晚报综合潮新闻、澎湃新闻等)

浏览 (16) | 评论 (0) | 评分(0) | 支持(0) | 反对(0) | 发布人: 来源:羊城晚报·羊城派
将本文加入收藏夹
新闻详情
脚注栏目
|
脚注信息
机电工程网(C) 2015-2020 All Rights Reserved.    联系我们