人工智能

Sora新视频只发TikTok:OpenAI 4天涨粉10万

字号+作者: 来源:量子位公众号 2024-02-21 13:54 评论(创建话题) 收藏成功收藏本文

声明:本文来自于微信公众号量子位(ID:QbitAI),作者:梦晨 克雷西,授权站长之家转载发布Sora新视频,变成“抖音独占”了。悄无声息,OpenAI正式杀入TikTok,加上洗'...

声明:本文来自于微信公众号量子位(ID:QbitAI),作者:梦晨 克雷西,授权站长之家转载发布1CV品论天涯网

Sora新视频,变成“抖音独占”了。1CV品论天涯网

悄无声息,OpenAI正式杀入TikTok,加上洗脑配乐直接让人刷到停不下来,疯狂引流吸粉中:1CV品论天涯网

短短4天,涨粉10万,50万赞——这还是不打枪不宣传的情况下。1CV品论天涯网

这以后,人类创作者还怎么玩?1CV品论天涯网

图片1CV品论天涯网

Sora新视频,只发TikTok

在OpenAI刚开的TikTok认证帐号上,悄然更新了不少全新生成视频。1CV品论天涯网

每一个都很有特点,同样引发各路热议。1CV品论天涯网

来感受一下:1CV品论天涯网

a16z合伙人惊呼,如果这是在信息流里刷出来的,绝对分不出真假。1CV品论天涯网

我看过很多AI视频了,但这一条感觉到了转折点。1CV品论天涯网

图片1CV品论天涯网

来到真实的短视频消费场景中,就更显Sora与竞品代差明显:太逼真,以至于要特别声明不是真的。1CV品论天涯网

OpenAI可太担心AI视频被当真引起不好影响了,不遗余力的以各种方式提醒“这是假的!这是假的!”。1CV品论天涯网

图片1CV品论天涯网

网友开始发出这样的预警:1CV品论天涯网

从现在开始,你在网上看到的一切都是值得怀疑的,不要相信你的眼睛。1CV品论天涯网

图片1CV品论天涯网

有句老话叫“互联网时代,没有人知道你是一条狗”。1CV品论天涯网

现在正式升级成“Sora时代,没有人知道你是一条不存在的狗”。1CV品论天涯网

下面再来欣赏几个“抖音独占”版Sora视频:1CV品论天涯网

超微距追踪蚁群,效果堪比纪录片。1CV品论天涯网

以前DALL·E3画的静态图也可以拿出来重复利用,Sora加工一下再配上电音,就成了爆款舞蹈视频。1CV品论天涯网

还特意用一条长达1分24秒的视频,展示了类似抖音特效的AI视频编辑能力。1CV品论天涯网

直接搞得不少短视频创作者心态爆炸,要退坑了。1CV品论天涯网

图片1CV品论天涯网

甚至连平台本身都被降维打击。1CV品论天涯网

图片1CV品论天涯网

全球估值第一的独角兽字节跳动,与刚刚跃升第三位的OpenAI之间,似乎正酝酿着一场对决。1CV品论天涯网

UGC王者和AIGC新贵之间,终有一战。1CV品论天涯网

“字节版Sora”也在备战

实际上,在Sora一夜爆火之前,字节内部并不缺乏AI视频技术。1CV品论天涯网

甚至其中一款Boximator还被传成是“中国版Sora”。1CV品论天涯网

图片1CV品论天涯网

在Sora发布之前Boximator的论文就已经公布,由字节AI实验室总监李航领衔。1CV品论天涯网

图片1CV品论天涯网

其实Boximator的功能并非根据纯文字生成视频,而是按照文字提示将静态图片动态化。1CV品论天涯网

它以字节去年11月推出的PixelDance为基础模型,加入了新的动作设定方式——1CV品论天涯网

从图像中框选物体,然后设置运动终点或直接绘制轨迹,就能对动态效果进行精细控制。1CV品论天涯网

形式上,Boximator作为一个插件,与现有的视频扩散模型结合使用,通过冻结基础模型的权重,仅训练控制模块来实现这一功能。1CV品论天涯网

比如,通过框框画画,让小哈基米按照一定的轨迹追着球跑。1CV品论天涯网

图片1CV品论天涯网

效果上,虽然也有bug(飘走的雨伞没有伞柄),但与Pika1.0(中)和Gen-2(右)相比,Boximator的动画明显更加完整,也更接近文字提示。1CV品论天涯网

图片1CV品论天涯网

从材质和物理效果上看,也是Boximator更胜一筹。1CV品论天涯网

图片1CV品论天涯网

技术层面,从架构上看,Boximator在视频扩散模型的每个空间注意力块中增加了一个新的自注意力层,用于处理由对象ID、硬/软标志和边界框坐标编码的控制token。1CV品论天涯网

为了简化学习“框-对象”关联的挑战,Boximator在训练过程中还采用了一种称为自跟踪(self-tracking)的技术。1CV品论天涯网

图片1CV品论天涯网

那么Boximator到底算不算“字节版Sora”?1CV品论天涯网

字节对此传闻,以辟谣的姿态来回应:1CV品论天涯网

Boximator是视频生成领域控制对象运动的技术方法研究项目,目前还无法作为完善的产品落地,距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。1CV品论天涯网

Boximator建立在之前PixelDance(基础研究)、MagicAnimate(专注于人体动作)等更多字节团队研究基础之上的最新成果。1CV品论天涯网

图片1CV品论天涯网

总的来说,这些技术并非针对Sora特意开发,但在AIGC大战如火如荼的背景之下,仍不失为一种“战备”1CV品论天涯网

再加上年前原抖音CEO张楠卸任,专注于剪映,奔赴AIGC风口。1CV品论天涯网

可以说虽然Sora的发布很突然,但字节并不是毫无准备,或者说早就在业务推进中感知到了技术趋势。1CV品论天涯网

而相比OpenAI与字节这样早晚要有的对决,视频行业上下游其他选手,更像是遭遇了一场飞来横祸。1CV品论天涯网

视频编辑、素材站遭殃

Sora的第一刀,其实砍向了Adobe。1CV品论天涯网

5天过去了,股价跌跌不休,市值蒸发过百亿美元。1CV品论天涯网

图片1CV品论天涯网

危机时刻,Adobe刚刚紧急宣布,组建了一个50人的AI研究团队。1CV品论天涯网

图片1CV品论天涯网

但是这投入的力度,没让大家看出诚意。1CV品论天涯网

29945员工中的50人,只占0.16%。1CV品论天涯网

图片1CV品论天涯网

Adobe代表的是沿用近30年的视频生产、编辑工具,服务于内容创作者。1CV品论天涯网

不转型就会变成下一个柯达、诺基亚,但转型也被认为面临很大挑战。1CV品论天涯网

比如有人指出,Adobe坐拥大量数据,但要用过去创作者的成果去训练AI,就会与这些用户关系紧张。1CV品论天涯网

也正是因此,Adobe的AI生图工具Firefly并没有在自家创意作品社区Behance的数据上训练,有些束手束脚。1CV品论天涯网

图片1CV品论天涯网

又比如从过去Adobe在AI生图的表现来看,效果比Midjourney尚且很大差距,如今在AI视频上又该如何面对OpenAI的技术代差。1CV品论天涯网

图片1CV品论天涯网

Adobe之外,受冲击第二大的就是素材供应商了,代表公司Shutterstock的日子也不好过。1CV品论天涯网

连马斯克都认同“这个行业可能消亡”的观点。1CV品论天涯网

图片1CV品论天涯网

不过Shutterstock也给自己找好了退路,早早与OpenAI签订了合作协议,从素材供应商开始转型训练数据供应商。1CV品论天涯网

这几天不断刷屏的Sora视频中,就有不少Shutterstock图片的影子。1CV品论天涯网

图片1CV品论天涯网

图片1CV品论天涯网

还有人开玩笑说,Sora名字四个字母不会就是代表“Shutterstock原创,AI搅拌”吧。1CV品论天涯网

图片1CV品论天涯网

参考链接:1CV品论天涯网

[1]https://www.tiktok.com/@openai1CV品论天涯网

[2]https://boximator.github.io/1CV品论天涯网

[3]https://twitter.com/bilawalsidhu/status/17600767426795522731CV品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]