X-Dyna

1年前发布 56 0 0

X-Dyna是一种创新的零样本人类图像动画生成技术,通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上,生成逼真且富有表现力的动态效果。该技术基于扩散模型,通过Dynamics-Adapter模块,将参考外观上下文有效整合到扩散模型的空间注意力中,同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制,还能通过本地控...

收录时间:
2025-05-29

X-Dyna是一种创新的零样本人类图像动画生成技术,通过将驱动视频中的面部表情身体动作迁移到单张人类图像上,生成逼真且富有表现力的动态效果。该技术基于扩散模型,通过Dynamics-Adapter模块,将参考外观上下文有效整合到扩散模型的空间注意力中,同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制,还能通过本地控制模块捕捉与身份无关的面部表情,实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练,能够学习物理人体运动和自然场景动态,生成高度逼真和富有表现力的动画。

数据统计

相关导航

Diffusion Self-Distillatio

Diffusion Self-Distillatio

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术,用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下,通过预训练的文本到图像的模型生成自己的数据集,进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法,并能与每个实例的调优技术相媲美,无需测试时优化。
FantasyPortrait

FantasyPortrait

FantasyPortrait 是一种高保真、多情感的肖像动画生成框架,使用表达增强学习策略来捕捉细腻的面部动态,适合单角色和多角色场景。该技术的优势在于其独特的掩蔽交叉注意机制,有效防止了特征干扰,提升了动画的质量与表现力。该产品背景源于对现有面部动画方法的不足的反思,尤其是在处理多角色互动时的挑战。未来将以开源形式提供代码与模型,鼓励研究与开发。
InstantIR

InstantIR

InstantIR是一种基于扩散模型的盲图像恢复方法,能够在测试时处理未知退化问题,提高模型的泛化能力。该技术通过动态调整生成条件,在推理过程中生成参考图像,从而提供稳健的生成条件。InstantIR的主要优点包括:能够恢复极端退化的图像细节,提供逼真的纹理,并且通过文本描述调节生成参考,实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发,得到了HuggingFace和fal.ai的赞助支持。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...