将家务全部交给机器人的那一天,或许会比想象中更快到来。 还记得会炒菜的斯坦福 ALOHA 机器人吗?现在,中国的初创公司自变量机器人(X Square)展示了同样令人惊艳的能力,甚至更进一步。 在该公司最新展示的 Demo 中,完全基于大模型自主推理的双臂机器人,利用低成本硬件即实现对不规则物体的精细操作(如抓握、拾取、切割等),以及折叠衣服、冲泡饮料等复杂任务,展现出相当程度的泛化性能。 折叠衣物(3 倍速播放):对柔性物体的操作长久以来都是困扰整个 manipulation 领域的难题,需要高度灵活的操作和精细的动作协调。 切火腿(2 倍速播放):复杂的摩擦和阻力,难以用传统方法快速建模,需要精确的力度控制与物体定位。 切黄瓜,2 倍速播放:在一种物体上习得的能力直接泛化到不同物体的操作上。 用海绵擦掉案板上的污渍(2 倍速播放):自修正的 close loop 控制能力,在不同压力和表面条件下的精细力度控制,实时检测并调整擦拭动作,确保彻底清洁污渍。 用勺子从罐子里取出适量的果汁粉(3 倍速播放):使用工具的过程中,处理复杂的摩擦一直以来都是极大难点。 冲果汁,举起水壶往杯中倒入适量的水(3 倍速播放):流体引入大量的随机性,准确操作非常困难。 这家去年底成立的公司,汇聚了来自世界著名人工智能 / 机器人学实验室以及国内外顶尖高校的优秀人才,拥有雄厚的科研背景。公司的目标是「将人类从无意义的体力劳动中解放出来」,专注于机器人领域的基础模型(foundation model)研发。 目前,团队正在构建一个具备从感知到行动的端到端能力的通用机器人大模型(“中枢神经”),目标是能够控制低成本硬件(如数千元的机械臂),完成包括烹饪、打扫卫生在内的日常家务,并在未来扩展到照顾老人和小孩等更复杂的家庭护理工作,以及完成其他达到人类水平的通用操作任务。 基于具身智能大模型,开发通用机器人平台 尽管机器人管家是人类对智能未来最具代表性的畅想,但在现实生活中,能够胜任家务劳动的通用服务机器人几十年来的发展一直困难重重。家庭环境的多样性和不可预测性要求机器人具备高度复杂的感知能力、灵活精确的机械操作、智能的决策和规划,以及有效的人机交互能力。此外,技术的集成、机器人的安全性、续航能力、成本等,也是必须克服的重要障碍。 传统的机器人通常采用基于规则和单一任务环境的方式,很难根据环境变化自主调整策略,从长远看也几乎不可能规模化。大语言模型(LLM)等人工智能技术的突破,为机器人领域带来了新的曙光。谷歌的 RT-2 系统将视觉-语言-动作模型与机器人技术相结合,使机器人能够处理复杂场景,并响应人类的指令。DeepMind 的 AutoRT 系统则使用视觉-语言模型(VLM),帮助机器人适应未知环境,并利用 LLM 来为机器人提供指令。大模型在知识迁移和泛化方面的这些优势,有望帮助机器人逼近甚至超越人类的水平。 X Square 认为,目前机器人领域正处于技术的代际更迭之际。斯坦福 ALOHA 等项目表明,通用机器人发展的瓶颈在于智能而非硬件。事实上,机器人领域长期以来面临的两大困难,一是如何在复杂环境中精确感知并做出精细的操作(low level 智能),二是缺乏类似人类的推理、规划、交互等高级认知能力(high level 智能)。从感知到行动,机器人的智能可以被视为一个从 high level 逐步到 low level 的决策过程。 大模型的出现为解决上述难题带来了新思路。运用 LLM 或 VLM 来进行高阶推理与规划、与人交互,已经成为业界公认的发展方向。 但是,直接用单一的大模型来驱动端到端的机器人 manipulation,目前尝试的团队还不多。 X Square 的独特之处便在于此,团队基于过往在模型、算法、系统、硬件等方面的科研成果积累,集合所有技能训练「机器人 Large Manipulation Model」,从手部操作切入,基于具身大模型来构建可以精细操作的通用机器人。 团队希望结合 high-level 的推理规划模型与 low-level 的操作控制模型,打造一个类似「机器人大脑-小脑」的通用操作系统。