GAIA

12个月前发布 33 00

GAIA旨在从语音和单个肖像图像合成自然的对话视频。我们引入了GAIA(Avatar的生成AI),它消除了对话头像生成中的领域先验。GAIA分为两个阶段:1)将每帧分解为运动和外观表示;2)在语音和参考肖像图像的条件下生成运动序列。我们收集了大规模高质量的对话头像数据集,并在不同规模上对模型进行了训练。实验结果验证了GAIA的优越性、可扩...

收录时间:
2025-05-30

GAIA旨在从语音和单个肖像图像合成自然的对话视频。我们引入了GAIA(Avatar的生成AI),它消除了对话头像生成中的领域先验。GAIA分为两个阶段:1)将每帧分解为运动和外观表示;2)在语音和参考肖像图像的条件下生成运动序列。我们收集了大规模高质量的对话头像数据集,并在不同规模上对模型进行了训练。实验结果验证了GAIA的优越性、可扩展性和灵活性。方法包括变分自动编码器(VAE)和扩散模型。扩散模型被优化为在语音序列和视频片段中的随机帧的条件下生成运动序列。GAIA可用于不同的应用,如可控对话头像生成和文本指导的头像生成。

数据统计

相关导航

VividTalk

VividTalk

VividTalk是一种一次性音频驱动的头像生成技术,基于3D混合先验。它能够生成具有表情丰富、自然头部姿态和唇同步的逼真说唱视频。该技术采用了两阶段通用框架,支持生成具有上述所有特性的高视觉质量的说唱视频。具体来说,在第一阶段,通过学习两种运动(非刚性表情运动和刚性头部运动),将音频映射到网格。对于表情运动,采用混合形状和顶点作为中间表示,以最大化模型的表征能力。对于自然头部运动,提出了一种新颖的可学习头部姿势码本,并采用两阶段训练机制。在第二阶段,提出了一个双分支运动VAE和一个生成器,将网格转换为密集运动,并逐帧合成高质量视频。大量实验证明,VividTalk能够生成具有唇同步和逼真增强的高视觉质量说唱视频,且在客观和主观比较中优于以往的最先进作品。该技术的代码将在发表后公开发布。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...