GAGAvatarGAGAvatar是一种基于高斯模型的3D头像重建与动画生成技术,它能够在单张图片的基础上快速生成3D头像,并实现实时的面部表情动画。这项技术的主要优点包括高保真度的3D模型生成、快速的渲染速度以及对未见身份的泛化能力。GAGAvatar通过创新的双提升方法捕捉身份和面部细节,利用全局图像特征和3D可变形模型来控制表情,为数字头像的研究和应用提供了新的基准。
UltrAvatarUltrAvatar是一款逼真可动的3D头像生成模型,旨在缩小虚拟与现实世界体验之间的差距。它采用Score Distillation Sampling (SDS) loss和可微分渲染器以及文本条件来引导扩散模型生成3D头像。与现有作品相比,UltrAvatar通过增强几何保真度和优越的物理渲染纹理质量,提出了一种新颖的3D头像生成方法。它通过扩散色彩提取模型和真实性引导纹理扩散模型,去除不需要的光照效果,呈现真实的扩散颜色,使生成的头像能够在各种光照条件下呈现。我们在实验证明了该方法的有效性和鲁棒性,在实验中大幅优于现有最先进的方法。
RodinHDRodinHD是一个基于扩散模型的高保真3D头像生成技术,由Bowen Zhang、Yiji Cheng等研究者开发,旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足,通过新颖的数据调度策略和权重整合正则化项,提高了解码器渲染锐利细节的能力。此外,通过多尺度特征表示和交叉注意力机制,优化了肖像图像的引导效果,生成的3D头像在细节上显著优于以往方法,并且能够泛化到野外肖像输入。
XHandXHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建,并利用MANO姿势参数生成高细节的网格和渲染图,实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势,特别是在扩展现实和游戏领域,能够即时渲染出逼真的手部图像。
DreamWaltz-GDreamWaltz-G是一个创新的框架,用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中,提高了视角和人体姿势的一致性,从而生成高质量的头像,解决了多重面孔、额外肢体和模糊等问题。此外,混合3D高斯头像表示通过结合神经隐式场和参数化3D网格,实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效,无论是视觉质量还是动画表现力都超越了现有方法。此外,该框架还支持多种应用,包括人类视频重演和多主题场景组合。
BakedAvatarBakedAvatar是一种用于实时神经头像合成的全新表示,可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格,并计算可烘焙到静态纹理中的表情、姿势和视角相关外观,从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线,包括学习连续变形、流形和辐射场,提取分层网格和纹理,以及通过微分光栅化来微调纹理细节。实验结果表明,我们的表示产生了与其他最先进方法相当的综合结果,并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果,包括视图合成、面部重现、表情编辑和姿势编辑,所有这些都以交互式帧率进行。
URAvatarURAvatar是一种新型的头像生成技术,它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同,URAvatar直接模拟学习辐射传递,将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型,并且能够实时驱动和重新照明。