GPT-5.5 Vellum 跨模型基准与厂商数据边界

一句话结论

Vellum 汇总的同一批公开基准显示 GPT-5.5 在 Terminal、GDPval、OSWorld、长上下文和 CyberGym 等项目很强，但 Opus 4.7 在 SWE Pro、MCP Atlas 与部分 HLE 项目领先，不能用单一榜单替代任务匹配。

适用场景

• 适合的任务：需要把 GPT-5.5 与 Claude、Gemini 放在同一张候选表中进行初筛的团队。

• 不适合的任务：将 Vellum 汇总表当作独立重复实验或直接用于安全关键上线决策。

• 适用的模型版本：文章讨论的 GPT-5.5 及其当时对照版本；具体快照需按原文和官方模型页复核。

• 适用的客户端、Agent 或 API：文章覆盖 API/Agent 基准的公开结果；未提供一个统一可直接运行的 Vellum harness。

• 推荐的推理档位和参数：文章未统一公开参数；复现时按同一模型快照和同一 harness 固定。

测试环境

• 数据来源：Vellum 对 GPT-5.5 发布数据与其他模型公开基准的汇总。

• 模型/工具：不同基准使用不同工具和 Agent harness；文章明确提醒 vendor-reported results、harness 差异和模型版本会影响比较。

• 评分方式：引用各基准公布的分数；未提供每项任务的原始输入、随机种子和完整轨迹。

输入/配置

未公开统一输入、系统提示、工具版本、温度、推理档位和运行次数。因此，这份内容只能作为来源可追溯的二手对照表，不能标记为独立受控测试。

结果数据

结论

Vellum 的对照有两个可操作价值：一是提醒 GPT-5.5 在终端/计算机使用/知识工作方向的优势，二是显示它并非所有编码或工具基准都第一。选型应把真实任务拆成终端编码、代码修复、MCP 工具、浏览/电脑操作、长文检索等桶，分别比较成功率、人工返工和成本。

局限与复现步骤

• 局限：结果主要是厂商或基准方公开分数的汇总，不是 Vellum 重新运行的统一实验；文章未给出完整 prompt、工具轨迹和每题数据。

• 复现步骤：先按文章的任务桶选择公开基准；固定模型快照、工具版本、系统指令、reasoning effort、时间上限和评分规则；至少运行三轮并保存原始轨迹；将结果与文章数字分开标注。

• 安全边界：CyberGym 等安全项目只记录合规统计，不把评测题目或利用步骤作为提示词复用。

原始证据与数据

文章的表格同时列出 GPT-5.5、GPT-5.4、Claude Opus 4.7、Gemini 3.1 等；正文明确提示 GPT-5.5 在 Terminal、GDPval、OSWorld、ARC-AGI-2 等表现突出，也列出 Opus 4.7 在 SWE Pro、MCP Atlas、HLE 无工具等项目的优势。本文按原文对照表抄录关键数值，并保留“厂商报告/不同 harness”的限定。

适用边界

• 不可把文章的“领先”解释为统计显著性；没有公开的重复次数和置信区间。

• 不同项目的分数不可相加，也不能据此推断特定代码库的完成率。

• 价格、模型版本、上下文和安全策略可能更新；部署前回到 OpenAI 官方页面核对。

来源摘录或观察（仅做合规短引）

文章提醒读者 “vendor-reported” 的结果与 harness 选择会改变比较；这正是复现时必须固定配置并单独报告的边界。