2月18日，昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。据悉，SkyReels-V1是一款专注于AI短剧创作的开源视频生成模型，能够实现影视级人物微表情和动作的生成。
SkyReels-V1不仅是全球极少数开源的视频生成模型，还是围绕人物表演、开源视频生成模型中性能最强的，其支持33种细腻人物表情和400多种自然动作组合，高度还原真人情感表达，并具备电影级光影美学。其基于高质量影视数据训练，支持文生视频和图生视频功能，参数规模在开源模型中领先。
SkyReels-V1文生视频指标对比（来源：昆仑万维SkyReels）
在自研推理优化框架“SkyReels-Infer”的加持下，大幅提升推理效率，实现544p分辨率，推理基于单台4090只需80s，还支持分布式多卡并行，支持ContextParallel，CFGParallel，和VAEParallel。此外，采取fp8quantization以及parameter-leveloffload，满足低显存用户级显卡运行需求；支持flashattention、SageAttention，模型编译优化等，进一步优化延迟；基于开源diffuser库，提升易用性。
在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3svs464.3s)；SkyReels-Infer版本具备更鲁棒的部署策略，支持用户级别显卡1卡-8卡的推理部署。
图2丨推理生成544p视频，使用相同卡数的RTX4090，SkyReels-Infer版本端到端延迟优于HunyuanVideo官方(xdit)58.3%
在同等A800资源情况下对比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%～28.2%，SkyReels-Infer版本具备更鲁棒的多卡部署策略。
图3丨推理生成544p视频，SkyReels-Infer版本具备更鲁棒的多卡部署策略，支持8卡部署
据悉，SkyReels-A1是中国首个SOTA级别表情动作可控算法，支持视频驱动的电影级表情捕捉和高保真微表情还原。该算法能够基于任意人体比例生成逼真的人物动态视频，支持侧脸表情控制和眉眼微表情生成，并可实现更大幅度的人物动作驱动。相比同类算法，SkyReels-A1在表情动作的复杂性和自然度上更具优势。
开源地址：
SkyReels-V1：https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1：https://github.com/SkyworkAI/SkyReels-A1
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】