GPT-5.6 Luna Semgrep IDOR 安全基准与每真阳性成本

一句话结论

Semgrep 的安全测评认为 Luna 在每个真阳性成本上约比更重模型低 6 倍、F1 仅有边际牺牲，但 precision/recall 与 harness 强相关，不能把裸模型分数直接当生产防护能力。

测试环境

• 模型：GPT-5.6 Luna、Terra、Sol，以及 GPT-5.5 对照。

• 任务：以 IDOR detection 为主，也提到 SSRF 等漏洞类别；测试使用代表性生产应用。

• 重复：文章称每个 benchmark 经安全研究员严格审查真阳性，并运行十次。

• 两种条件：模型单独配合 guided prompt，以及带 Semgrep 工具、脚手架和完整安全工作流的 harness。

• 指标：recall（找出真阳性）、precision（报告中有多少是真漏洞）和 F1 harmonic mean；另计每真阳性成本。

输入/配置

文章没有公开完整 IDOR 样本、prompt、模型快照、每次输出、价格账单或图表底层 CSV；页面正文给出方法、方向性结果和成本倍数。生产应用、研究员复核和十次运行是可复刻方法的线索，但不足以逐项复算。

结果数据

• GPT-5.6 的所有 reasoning levels 在该 IDOR benchmark 上都优于 GPT-5.5。

• 相比 GPT-5.5，GPT-5.6 的真阳性 recall 提升超过 2 倍，但 precision 回归，意味着误报增多。

• Luna 的每真阳性成本是突出结果：文章称相较更重模型约便宜 6 倍，同时 F1 只付出边际牺牲。

• 文章将 OpenAI CTF 的 96.7% 作为“带 harness 的结果”而非裸模型能力；去掉预配置 prompt 和工具环境后，不能假定仍保持该数值。

• 文章的 IDOR 图表以图片呈现；页面可读正文未提供 Luna、Terra、Sol 各自的 recall、precision、F1 精确数值，故此处不补写图中未核实的数字。

结论

• 对高体量、窄范围、可由安全研究员复核的漏洞分流，Luna 可能是成本有效的首轮筛选器。

• 高 recall 的代价是 precision 下降；生产系统应让静态分析、可达性检查、人工复核或第二模型承担误报过滤。

• 工具和 harness 不是附属物：Semgrep 的结果明确支持“模型 + 工具 + 脚手架”共同决定安全工作流效果。

局限

• Semgrep 是安全产品方，测试任务、工具链和商业目标可能影响结果；应视为独立工程测评而非盲测。

• 文章只公开方向性倍数，未公开逐样本数据、完整 prompt 和图表原始数值，无法独立复算 6 倍或 F1 差异。

• IDOR/生产应用安全测试不代表恶意软件、供应链、合规审计或其他漏洞类别。

• CTF 和其他公开 benchmark 可能有训练数据污染或 harness 偏差；文章自身也提醒模型与 harness 必须一起评估。

复现步骤

1. 准备脱敏的代表性应用和 IDOR/SSRF 任务，先冻结漏洞标签与安全研究员复核规则。

2. 固定 Luna 的模型别名、reasoning effort、guided prompt、工具权限和超时，运行至少十次并保存完整输出。

3. 在同样条件下运行 GPT-5.5、Terra 或 Sol 对照；再分别打开/关闭安全工具 harness。

4. 对每次结果计算 recall、precision、F1、误报数、人工复核时长、输入/输出 tokens 和美元成本。

5. 报告每真阳性成本，并把“裸模型”和“完整安全工作流”分成两张表，避免把 harness 增益归因给 Luna。

来源摘录或观察（仅做合规短引）

Semgrep 的核心判断是 “Luna as a cost per true positive was a standout result”，但同文强调 harness 会显著改变结果。