划重点:
⭐️ 提出了一种零样本人类视频生成方法，可根据单个参考面部图像进行个性化视频生成
⭐️ 引入面向身份的数据集构建流水线，提高身份信息在视频生成中的提取效率
⭐️ 结合控制网络，实现单帧或多帧控制图像与面部参考图像的融合生成视频
站长之家（ChinaZ.com）4月25日 消息:近年来，生成具有指定身份的高保真人类视频引起了广泛关注。然而，现有技术在训练效率和身份保持之间往往难以取得平衡，要么需要繁琐的逐案微调，要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法，可以在无需进一步训练的情况下执行个性化视频生成，只需单个参考面部图像即可。
ID-Animator是一种零样本个性化视频生成方法，可以根据单个参考面部图像生成个性化视频，无需额外训练。ID-Animator 继承了现有基于扩散的视频生成框架，并引入了一个面部适配器，用于从可学习的面部潜在查询中编码与身份相关的嵌入。
为了促进视频生成中身份信息的提取，研究引入了一个面向身份的数据集构建流水线，该流水线结合了从构建的面部图像池中生成分离的人类属性和动作标题的技术。基于这一流水线，进一步设计了一种随机面部参考训练方法，以精确捕获参考图像中的与身份相关的嵌入，从而提高了模型对于特定身份视频生成的保真度和泛化能力。
大量实验证明了 ID-Animator 在生成个性化人类视频方面优于先前的模型。此外，该方法与流行的预训练 T2V 模型（如 animatediff）和各种社区骨干模型高度兼容，在需要高度保持身份的视频生成的真实应用中表现出高度可扩展性。
ID-Animator特色功能亮点:
随机参考训练:在训练过程中，随机从之前提取的面部池中选择一个参考图像，通过这种蒙特卡洛技术，平均化来自不同参考图像的特征，减少身份不变特征的影响。
生成能力 :ID-Animator 在基本提示下展示了生成能力，可以通过文本定制人物的上下文信息，包括头发和服装等特征，创造新颖的角色背景，并使他们执行特定的动作，同时包括性别和年龄。
身份混合 :通过将来自两个不同 ID 的嵌入以不同比例混合，我们有效地在生成的视频中结合了两个 ID 的特征。
与 ControlNet 结合 :ID-Animator 能够提供单帧控制图像或多帧控制图像。当提供单帧控制图像时，生成的结果巧妙地将控制图像与面部参考图像融合。当提供多个控制图像时，生成的视频序列紧密遵循多个图像提供的序列。
产品入口:https://top.aibase.com/tool/id-animator
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】