RPent 简介#

RPent(Recursive Physical Agent)是一个具身智能体框架。它让语言模型根据任务和视觉观测选择工具,再通过动作模型或程序化动作控制机器人。每次执行的结果会返回给规划器,用于判断下一步操作。

RPent 规划、感知、记忆和执行架构

如何完成任务#

  1. 规划器读取任务描述、当前观测和可用的任务经验。

  2. 通过视觉工具定位目标,选择 VLA 或程序化动作工具。

  3. 环境执行动作,返回状态和相机画面。

  4. 规划器根据结果继续、调整策略或结束任务。

探索模式允许多次尝试并整理本地记忆。评测模式读取已有记忆,按环境规定判断任务结果。实现细节见 系统架构与执行流程。

排行榜#

对比 LIBERO、LIBERO-PRO、RoboCasa365 Target50 和 RoboTwin C2R 上的成功率。 排名仅限图中方法及评测范围;完整结果、模型配置和来源见 RPent 排行榜。

RPent 排行榜 RPent 排行榜

选择平台#

平台

文档内容

LIBERO

Pi0.5、SAM3、LIBERO / LIBERO-PRO 运行与复现。

RoboCasa365

RLDX-1、厨房任务和 Target50 复现。

RoboTwin

LingBot-VLA、双臂仿真任务和 C2R 复现。

单臂 Franka

硬件准备、标定、自检和运行。

双臂 Franka

双节点部署、操作与人工参与的探索。

YAM

已有任务演示;安装使用文档即将推出。

SO-101

内容即将推出。

规划器可选择 api、claude_code 或 codex;LIBERO 还提供用于执行已有计划的 Flash Mode。模型服务配置见 配置规划器与模型服务。

从 快速开始 开始运行第一个任务。评测成绩和资源开销见 RPent 排行榜,研究背景见 Harness VLA。

DreamZero、Cosmos Policy 和 RoboDojo 也列在项目的规划中,相关使用文档待补充。