Gemini 4 Argon：机器人推理与操作工作流

一句话结论

Google 展示 Argon 的机器人控制、Real2Sim、物理理解及自我改进工作流；逐轮观察、执行、验证和修正，不构成真实硬件的通用安全协议。

适用场景

• 适合的任务：移动操作、零样本机械臂控制、视频世界模型引导、机器人或人类视频到 MuJoCo 仿真、草图到仿真、视频回溯标注、价值函数估计、仿真数据生成和硬件自我改进。

• 不适合的任务：把示例直接当作任意机器人或任意硬件的安全控制程序；文章没有提供统一的硬件适配、权限、急停或部署验收协议。

• 适用的模型版本：Gemini 4 Argon；Gemini API 的模型 ID 为 gemini-4-argon。

• 适用的客户端、Agent 或 API：Gemini API 的 Interactions API（Google 表示 Google GenAI SDK 从首日支持）；Google AI Studio（Google AI Ultra 订阅者）；Google Antigravity（Google AI Ultra 订阅者，可用于复杂规划、/goal 运行和多 Agent 编排）。

• 推荐的推理档位和参数：未注明。文章未公开 temperature、推理档位、上下文上限、工具 schema 或统一采样配置。

可直接使用的内容

文章公开了多段任务提示，但它们依赖具体图片、视频、观测接口、仿真器和机器人工具；下方保留一个可复制的零样本控制提示原文，输入文件和本地服务必须由使用者自行提供。

[Attached: wrist_cam.png, obs.json]

Task: Get the robot arm to reorient the mug upright and put the napkin inside the mug.

## Execution Discipline
- Simply output 1 sentence observation followed immediately by your `curl` command (with `# Plan:` on Turn 1 and `# Thought:` on every turn). Everything needed is in `obs.json` and the calibrated reticle/grid drawn on `wrist_cam.png`.

## Visual Coordinate Reference (Annotated on wrist_cam.png)
- `+X` (UP in image): Away from robot base | `-X` (DOWN): Towards robot base
- `+Y` (LEFT in image): World left         | `-Y` (RIGHT): World right
- `+Z`: Height above table                | `Yellow numbers`: World (X, Y) in centimetres (2 cm grid at `grid_z`)
- `Cyan + crosshair`: Current 3D pinch center
- `Cyan [ + ] brackets`: Current jaw opening and closing line
- `Green line`: Current object long-axis orientation (`yaw_deg`: 0° = vertical along +X, 90° = horizontal along +Y)
- `pitch_deg = 90°`: Straight down (-Z) top-down grasp/place; `pitch_deg < 60°`: Tilted coaxial approach along finger axis

## Closed-Loop Turn Workflow
1. Inspect current state & view `wrist_cam.png`:
   `curl -s http://127.0.0.1:8081/obs` (returns `ee_pos`, `holding`, `status`, `workspace`, `wrist_cam_path`).
2. Select VLM call granularity upfront on Turn 1:
   - Coarse (2–4 calls): `look_at` -> `grasp` -> `place` -> `done`
   - Pre-Grasp Hover Verify (4–7 calls): `look_at` -> `goto(z=0.04)` (verify cyan `[ + ]` brackets straddle target) -> `grasp` -> `place_until_contact` -> `done`
   - Fine Visual Servoing (8–20 calls): `look_at` -> `grasp` -> pre-pose `goto` -> closed-loop `move_by` / `move_until_contact` -> `done`
3. Send motion primitives (`POST /plan`) and verify visually after every turn in the updated `wrist_cam.png`. If `status == "grasp_failed"`, call `robot.look_at(...)` to re-observe and recover closed-loop.

## Code-as-Policies Primitives (`POST http://127.0.0.1:8081/plan`)
robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)
robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)
robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)
robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)
robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)
robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done()

这不是通用机器人 SDK 文档：wrist_cam.png、obs.json、/obs、/plan 和 robot.* 均是文章示例中的环境约定。

测试或工作流步骤

1. 机器人控制

2. Real2Sim

• 机器人视角到仿真：输入 [Attached: robot_rollout_episode]。按记录的 observation.state 用关节空间 PD 回放；迭代优化三路相机（head_left、left_wrist、right_wrist）的视觉匹配，以及每个 Sharpa 指尖传感器坐标系中的接触力/力矩与 tactile_force 的时间、大小和方向匹配。输出是 MuJoCo 场景、rollout 结果和交互式 HTML session viewer：底部同步时间线，左侧 Blender 3D 场景，右侧三路真实/仿真相机和手指力可视化。

• 人类视角到仿真：输入 egocentric_human_video.mp4、candidate_sim_views.png、hand_3d_keypoints.json。识别相关物体并用复合凸分解网格替换粗框；将人体腕部和手指关键点重定向到 7-DoF 手臂与 22-DoF 手部；在 MuJoCo 以 500 Hz（dt = 0.002s）运行，并核验对向拇指/手指力闭合、超过 2 cm 的抬升和稳定放置。输出为 scene.xml 和 Blender studio render。

• 草图到仿真：输入 hand_drawn_throw_sketch.jpg。文章示例要求在 mujoco_warp 构造 Apollo 2 人形机器人投掷场景，合成 76-DoF 全身轨迹，按 50 Hz、140 步、2.80 s 的四阶段投掷，并在物理闭环中核验 6/6 目标箱倒下、骨盆漂移小于 3 cm，最后导出 Blender 4.5 Cycles render。

3. 物理理解

• 回溯标注：输入 136 秒的 ALOHA 2 折纸狐狸视频 Aloha2_Origami_20250309.mp4；输出四层时间对齐 JSON：G1 episode goal、6 个连续 G2 semantic subtasks、17 个 G3 contact-level atomic primitives，以及 QC 重加权。滑移、停顿和重试等不产生进展的区段，task_progress 保持不变并按 0.15x–0.25x 降权。

• 异常球解题：输入双臂 Franka FR3 的立体 RGB 视图和本体感知（add_privileged_task_observations=False）。只依赖相机分割、三角测量和秤盘视觉倾斜（左重 +1、右重 -1、平衡 0），在不超过 3 次称量内将异常球放入 Heavy（红）或 Light（蓝）盘。

• 价值函数：输入 umi_head.mp4、umi_left_gripper.mp4、umi_right_gripper.mp4 三路视频；围绕接触转换生成正、平、负进展斜率，识别重要片段，并将轨迹分成 28 个片段。

4. 研究与自我改进

• 仿真数据改进动作：输入单张 real_tabletop_photo.jpg。重建 9 个派对道具的程序化网格和 MuJoCo 碰撞体；定义 77 项单臂/双臂课程；在 ±10 cm 位姿随机化下合成闭环 IK 轨迹，验证 reward == 1.0，导出 4,500+ 个仿真 episode。文章报告真实机器人 Success Rate 从 56% 提升到 75%，完成时间从 35 s 降到 24 s；这是页面给出的案例结果，不是独立复测。

• 硬件自我改进：文章给出三个阶段。Stage 1 只测量物体、生成干运行计划、标注俯视图并明确“不移动硬件”；Stage 2 把夹爪移到砖块上方但不接触，用腕部相机核验并记录双相机执行；Stage 3 执行抓取放置，失败时查看日志和视频、诊断根因、先干运行验证修复，再在安全限制内优化速度。成功后目标是至少加速 2 倍，除非用户授权更多或给出反馈。

• 论文复现：输入 paper.pdf，可选 author_checkpoints/ 或 urdf_assets/。在 MuJoCo WebAssembly 中按论文的物理步长、执行器增益、力矩限制和运动学约束复现控制器，生成 index.html 模拟器与 scrollytelling.html 视觉文章，并用无头 Chromium 断言 0 个 console error 和 300+ 帧中的非零任务进展。文章称该方法已覆盖 68 个交互式浏览器沙盒，但没有提供逐项复现数据。

原始证据与数据

• 文章称 Argon 在 Embodied Reasoning（ERQA）基准上得分 87%；该页面没有公开完整题集、运行配置、评审器或独立复现实验。

• 文章把 Argon 描述为可贯穿机器人生命周期的通用物理推理模型，并按 Robot control、Real2Sim、Physical understanding、Research and self-improvement 四个区域组织示例。

• 页面给出的模型与入口配置是：Gemini API Interactions API 使用 gemini-4-argon；Google AI Studio 和 Google Antigravity 面向 Google AI Ultra 订阅者；没有给出统一的 API 请求体。

• 页面中的可观察输出包括 MuJoCo 场景、scene.xml、Blender/Cycles 渲染、交互式 HTML viewer、时间对齐 JSON、视频世界模型动作提示、闭环动作原语和仿真 episode；具体输出依任务而定。

适用边界

• 文章是 Google 的能力展示和代表性提示集合，不是独立机器人安全认证；87%、56%→75%、35 s→24 s 等数字均应保留为页面口径。

• 真实机器人控制依赖具体硬件、相机标定、技能、动作服务和本地接口。文章没有给出通用的权限模型、急停流程、碰撞安全阈值或部署检查表。

• Real2Sim 示例明确禁止“作弊”：t = 0 后不得改 MjModel 参数、对物体施加外力/力矩、使用 weld 或 equality constraint、使用超出关节空间 PD 的前馈力矩、设置或回滚物体 qpos/qvel、禁用或排除碰撞，也不得伪造非 MuJoCo solver 产生的接触力（例如复制日志中的触觉读数）。任务物体只能通过机器人手和环境的真实 MuJoCo 接触（mj_step）移动。

• 机器人操作示例要求在关键动作后观察和验证，但不等于现实硬件可直接执行；发布前仍需在目标硬件、仿真和受控环境中单独验证。

• 文章中的“subject to safety rules from AGENTS.md”只出现在自我改进示例中；该文没有提供这些规则的具体内容，不能据此补写安全策略。

复现说明

1. 先确认入口和权限：Gemini API 付费层、Google AI Ultra 对应的 AI Studio 或 Antigravity；固定模型 ID gemini-4-argon，记录未公开的实际推理和采样设置。

2. 为目标任务准备文章要求的输入文件、相机标定、观测接口、仿真器和动作服务；不要把示例中的 /obs、/plan 或 robot.* 当成通用 API。

3. 优先在仿真或无硬件运动的阶段复现：先检查观测、目标、坐标系和动作计划，再逐轮执行并在更新后的图像或关键帧中验证。

4. 对 Real2Sim 同时记录视觉匹配、接触力/力矩匹配和所有禁止的作弊路径；对自我改进记录日志、双相机视频、失败原因、干运行和人工授权。

5. 单独报告输入、动作、输出、失败、人工接管、延迟和成本。不要把页面中的 benchmark 或案例数字当作自己的复现结果。

原始来源

• Google Developers Blog：https://developers.googleblog.com/gemini-4-argon-for-robotics/