Video Prediction Policy

Video Prediction Policy

Video Prediction Policy(VPP)是一种基于视频扩散模型(VDMs)的机器人策略,能够准确预测未来的图像序列,展现出对物理动力学的良好理解。VPP利用VDMs中的视觉表示来反映物理世界的演变,这种表示被称为预测性视觉表示。通过结合多样化的人类或机器人操控数据集,并采用统一的视频生成训练目标,VPP在两个模拟环境和两个真实世界基准测试中均优于现有方法。特别是在Calvin ABC-D基准测试中,相较于先前的最佳技术,VPP实现了28.1%的相对改进,并在复杂的真实世界灵巧手操控任务中提高了28.8%的成功率。
010
Genie Studio

Genie Studio

Genie Studio 是智元机器人专为具身智能场景打造的一站式开发平台,具备数据采集、模型训练、仿真评测、模型推理的全链路产品能力。它为开发者提供从‘采’到‘训’到‘测’再到‘推’的标准化解决方案,极大地降低了开发门槛,提升了开发效率。该平台通过高效的数据采集、灵活的模型训练、精准的仿真评测和无缝的模型推理,推动了具身智能技术的快速发展和应用。Genie Studio 不仅提供了强大的工具,还为具身智能的规模化落地提供了支持,加速了行业向标准化、平台化、量产化的新阶段跃进。
000
GR-2

GR-2

GR-2是一个先进的通用机器人代理,专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练,以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记,使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后,GR-2针对视频生成和动作预测进行了微调,使用机器人轨迹。它展示了令人印象深刻的多任务学习能力,在100多个任务中平均成功率达到97.7%。此外,GR-2在新的、以前未见过的场景中表现出色,包括新的背景、环境、对象和任务。值得注意的是,GR-2随着模型大小的增加而高效扩展,突显了其持续增长和应用的潜力。
030