CMU/MIT/清华/Umass提出生成式机器人智能体RoboGen

导读

CMU/MIT/清华/Umass提出的全球首个生成式机器人智能体RoboGen，可以无限生成数据，让机器人7*24小时永不停歇地训练。AIGC for Robotics。

1. Introduction

全球首个生成式机器人Agent发布了！

长久以来，相比于语言或者视觉模型可以在大规模的互联网数据上训练，训练机器人的策略模型需要带有动态物理交互信息的数据，而这些数据的匮乏一直是具身智能发展的最大瓶颈。

最近，来自CMU、清华、MIT，UMass等机构的研究人员提出了一种全新的RoboGen智能体。

利用涵盖在大语言模型和生成式模型中蕴含的大规模知识，配以逼真模拟世界提供的物理信息，可以「无限」生成各种任务、场景以及教学数据，实现机器人7x24小时全自动训练。

2. 论文地址

https://arxiv.org/abs/2311.01455

3. 项目主页

https://robogen-ai.github.io/

4. 开源地址

https://github.com/Genesis-Embodied-AI

5. RoboGen Pipeline

RoboGen is a fully automated pipeline for endless and diverse skill acquisition （获取）. RoboGen pipeline consists of 4 stages: A) task proposal, B) scene generation, C) training supervision generation, and D) skill learning with generated information.

RoboGen是一种全自动流程，可以7x24h地让机器人学习各种技能，其中包括4个阶段：

1. 任务建议；
2. 场景生成；
3. 训练监督生成；
4. 利用生成的信息进行技能学习。

6. Experimental Results

作者介绍

Reference

https://mp.weixin.qq.com/s/2bQTuwE-k6ukp–XHXIzMg