资讯

破壳机器人发布RoboAPI,要让机器人模型“开箱即用”

10月30日凌晨,今年4月成立的破壳机器人(PokeBot),发布了第一款模型产品 RoboAPI ,他们的世界模型 Poke Aurora 也首次亮相。不同于其他具身模型发布Demo,破壳发布的RoboAPI 是一个面向真实物理世界、可公开访问、开箱即用的具身 API,亮相的同时便向行业发出邀请:欢迎试用。

只要在适配的机械臂上接入RoboAPI,开发者无须采集数据、训练模型,用一句 prompt 下达指令,机械臂就能在陌生环境中完成没有专门训练过的任务,验证破壳模型的“零样本泛化”。

目前,RoboAPI 为非商业化应用,不向盈利性第三方提供产品或服务。开发者可以通过RoboAPI的快速开始文档和开发者平台免费接入。

一、RoboAPI:让机器人模型“开箱即用”

RoboAPI的开发,首先是基于一个普遍的行业痛点——机器人模型的 demo 视频常常令人惊艳,可真要用起来,却是另一回事。一个高校实验室想用上开放的具身模型,要经历采数据、微调模型,再验证效果、补采数据,几轮折腾下来,很可能要花上一个月。

其中的难点有两层。一层是构型差异:机器人不像文字和图片那样有统一的格式,不同机器人的结构、传感器和控制方式千差万别,改动任何一处,模型就可能“水土不服”。另一层则是泛化本身:即便在同一台机器上,模型往往只在训练过的物体和场景里表现稳定,换做没见过的环境和物体,模型就可能失手。

类比语言模型的发展历程,GPT-3 API曾让开发者不必自己训练和部署语言模型,就能用上前沿的基础模型,RoboAPI 想在物理世界做同样的事。具体来说,RoboAPI 接收机器人的观测与状态,结合用户指令,近乎实时地预测并输出机器人接下来的动作。

二、Poke-Aurora:轻松调用的零样本泛化能力

支撑RoboAPI的,是破壳的首个世界-动作模型Poke-Aurora,它具有零样本泛化能力。世界-动作模型通过预测未来画面,学习物体运动与交互的规律,为操作经验跨物体、跨场景迁移打下基础。不过,世界建模的能力并不会自动变成可靠的动作能力,如何让视频与动作的学习相互促进,仍是关键挑战。

为此,破壳在Poke-Aurora中提出“调制残差耦合”(Modulated Residual Coupling,MRC)机制。在保留视频与动作各自原有计算路径的基础上,让两者建立起可学习的交互。破壳观察到,MRC让视频预测与动作预测的学习方向更加一致,模型对物体如何运动、如何交互的理解,因此能更好地服务于动作生成。

破壳机器人发布RoboAPI,要让机器人模型“开箱即用”

在破壳今早发布的文章中显示,他们自建了一套规模化评测体系,覆盖近1000个常见物体、近1万条不同指令,任务分为物品转移与整理、姿态与形状对齐、环境交互与工具使用三类常见动作。

在这套评测中,Poke-Aurora在三类任务上的成功率分别为86.0%、54.1%和87.7%,均高于参与对比的一款前沿大模型和两款开源具身模型;两款开源具身模型在三类任务上的成功率都不到35%。更多技术细节,预计在Poke-Aurora的技术报告中公布。

破壳机器人发布RoboAPI,要让机器人模型“开箱即用”

为了让这套流程在不同机器人上跑起来,破壳在实现 RoboAPI 时对「构型」进行了优化。受UMI启发,破壳定义了“腕部鱼眼相机+末端位姿控制”的构型:在机械臂手腕上装一个消费级鱼眼运动相机,观测和控制都以夹爪所在的末端为中心,大幅降低了搭建这套配置的门槛和成本。

三、具身智能的“API 时刻”:让模型接受所有人检验

真实世界远比评测复杂。在破壳看来,这恰恰是RoboAPI最大的意义:一个前沿具身模型的泛化能力,不应由它的创造者自己决定,而应随时接受任何外部用户的真实检验。

这也回应了具身行业长期存在的一种错位。在具身行业,有人提供机器人和模型,有人负责使用它们。前者长期以演示视频示人,可视频里的表现与模型的实际能力常常对不上,使用者只能自己花大量功夫去调教。RoboAPI希望把模型的能力直接交到使用者手里,让它在不同的硬件、任务和环境中接受检验。

到目前为止,RoboAPI 已在美国、新加坡等多个高校实验室进行了内测,反馈良好,伴随着正式推出,也将迎来更多开发者来测试。

对开发者来说,RoboAPI 把机器人底层的控制封装了起来,就像今天很少有人关心电机内部的控制算法。“机器人大脑”变成了可以直接调用的能力,开发者不必重复研发,可以专注于真实任务和应用。随着越来越多人用智能体把各种工具串成工作流,未来,软件工程师也可以借助RoboAPI控制机器人、搭建自己的工作流。

把模型做成API,正在成为具身智能公司的新趋势。10月中旬,一家美国机器人模型公司推出API测试版,开发者上传自己的数据,在其托管的算力上微调模型后调用;几天后,另一家美国初创公司发布的API主打零样本,面向带夹爪的双臂机器人。不同公司的路线各有取舍,方向却几乎一致:让用户亲手检验模型,而不只是观看演示。与此同时,通用大模型也开始尝试直接控制机械臂,但在本月发布的AA-Robotics评测中,它们的速度比人类慢约100倍。

对于致力于打造家庭机器人场景的破壳机器人来说,RoboAPI 也是未来走进家庭前的重要一步。破壳机器人创始人许华哲认为,「真正的泛化能力,需要在不同的机器人构型、任务和环境中,经受更加广泛的验证。机器人只有在足够多的真实环境中经受过检验,未来才可能真正走进家庭,面对更多样的环境。」



【广告】(免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。)

文章信息
信息说明

本文仅用于传递商业资讯,不构成投资、消费或其他专业建议。