TANGO Model

TANGO Model

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法,将语音信号转换成相应的手势动作,实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景,能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发,代表了当前人工智能在手势识别和动作生成领域的前沿水平。
020
CAT4D

CAT4D

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频,并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息,为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示,CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发,是一个前沿的科研成果转化为实际应用的案例。
020
Lixel CyberColor

Lixel CyberColor

Lixel CyberColor(LCC),由XGRIDS公司研发的先进技术产品,为3D场景的创建带来革命性变化。LCC能自动生成电影级效果的无限大3D场景,使用Multi-SLAM和高斯溅射技术。其核心优势在于精确捕捉并复现真实细节,为虚拟现实、游戏开发、电影制作等领域带来真实性体验。nnXGRIDS作为一套集成软硬件解决方案,展现出在微米到千米级别的高精度3D重建和智能空间计算方面的强大能力。采用Multi-SLAM算法和优化的3DGS技术,自动创建超逼真大型3D模型,沉浸式体验。优化算法实现逼真渲染效果,通过数据压缩技术将模型大小减小90%,LiDAR集成技术实现厘米级模型精度,提供AI驱动的动态物体去除算法。推出LCC插件和SDK,在Unity、UE、Web、移动平台使用,为3D内容提供强大支持。
010
GameFactory

GameFactory

GameFactory 是一个创新的通用世界模型,专注于从少量的《我的世界》游戏视频数据中学习,并利用预训练视频扩散模型的先验知识来生成新的游戏内容。该技术的核心优势在于其开放领域的生成能力,能够根据用户输入的文本提示和操作指令生成多样化的游戏场景和互动体验。它不仅展示了强大的场景生成能力,还通过多阶段训练策略和可插拔的动作控制模块,实现了高质量的交互式视频生成。该技术在游戏开发、虚拟现实和创意内容生成等领域具有广阔的应用前景,目前尚未明确其价格和商业化定位。
020
UltrAvatar

UltrAvatar

UltrAvatar是一款逼真可动的3D头像生成模型,旨在缩小虚拟与现实世界体验之间的差距。它采用Score Distillation Sampling (SDS) loss和可微分渲染器以及文本条件来引导扩散模型生成3D头像。与现有作品相比,UltrAvatar通过增强几何保真度和优越的物理渲染纹理质量,提出了一种新颖的3D头像生成方法。它通过扩散色彩提取模型和真实性引导纹理扩散模型,去除不需要的光照效果,呈现真实的扩散颜色,使生成的头像能够在各种光照条件下呈现。我们在实验证明了该方法的有效性和鲁棒性,在实验中大幅优于现有最先进的方法。
020
SOLAMI

SOLAMI

SOLAMI是一个端到端的社交视觉-语言-动作(VLA)建模框架,用于与3D自主角色进行沉浸式交互。该框架通过综合三个主要方面构建3D自主角色:社交VLA架构、交互式多模态数据和沉浸式VR界面。SOLAMI的主要优点包括更精确和自然的字符响应(包括语音和动作),与用户期望一致,并且延迟更低。该技术的重要性在于它为3D自主角色提供了类似人类的社交智能,使其能够感知、理解和与人类进行交互,这是人工智能领域中的一个开放且基础的问题。
020
avp_teleoperate

avp_teleoperate

这是一个开源项目,用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术,允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试,并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验,并且支持在模拟环境中进行测试,为机器人遥控领域提供了新的解决方案。
030