GPT-5.6 Luna · 媒体来源 · 编辑分析
这条证据围绕“GPT-5.6 Luna Semgrep IDOR 安全基准与每真阳性成本”记录特定条件下的观察；版本、样本与运行环境不能外推为统一排名或当前生产保证。
待验证：本次未能重新核实原文。下方历史数字不代表已核实的当前结果。
Semgrep 的安全测评认为 Luna 在每个真阳性成本上约比更重模型低 6 倍、F1 仅有边际牺牲，但 precision/recall 与 harness 强相关，不能把裸模型分数直接当生产防护能力。
模型：GPT-5.6 Luna、Terra、Sol，以及 GPT-5.5 对照。
任务：以 IDOR detection 为主，也提到 SSRF 等漏洞类别；测试使用代表性生产应用。
重复：文章称每个 benchmark 经安全研究员严格审查真阳性，并运行十次。
两种条件：模型单独配合 guided prompt，以及带 Semgrep 工具、脚手架和完整安全工作流的 harness。
指标：recall（找出真阳性）、precision（报告中有多少是真漏洞）和 F1 harmonic mean；另计每真阳性成本。
文章没有公开完整 IDOR 样本、prompt、模型快照、每次输出、价格账单或图表底层 CSV；页面正文给出方法、方向性结果和成本倍数。生产应用、研究员复核和十次运行是可复刻方法的线索，但不足以逐项复算。
GPT-5.6 的所有 reasoning levels 在该 IDOR benchmark 上都优于 GPT-5.5。
相比 GPT-5.5，GPT-5.6 的真阳性 recall 提升超过 2 倍，但 precision 回归，意味着误报增多。
Luna 的每真阳性成本是突出结果：文章称相较更重模型约便宜 6 倍，同时 F1 只付出边际牺牲。
文章将 OpenAI CTF 的 96.7% 作为“带 harness 的结果”而非裸模型能力；去掉预配置 prompt 和工具环境后，不能假定仍保持该数值。
文章的 IDOR 图表以图片呈现；页面可读正文未提供 Luna、Terra、Sol 各自的 recall、precision、F1 精确数值，故此处不补写图中未核实的数字。
对高体量、窄范围、可由安全研究员复核的漏洞分流，Luna 可能是成本有效的首轮筛选器。
高 recall 的代价是 precision 下降；生产系统应让静态分析、可达性检查、人工复核或第二模型承担误报过滤。
工具和 harness 不是附属物：Semgrep 的结果明确支持“模型 + 工具 + 脚手架”共同决定安全工作流效果。
Semgrep 是安全产品方，测试任务、工具链和商业目标可能影响结果；应视为独立工程测评而非盲测。
文章只公开方向性倍数，未公开逐样本数据、完整 prompt 和图表原始数值，无法独立复算 6 倍或 F1 差异。
IDOR/生产应用安全测试不代表恶意软件、供应链、合规审计或其他漏洞类别。
CTF 和其他公开 benchmark 可能有训练数据污染或 harness 偏差；文章自身也提醒模型与 harness 必须一起评估。
准备脱敏的代表性应用和 IDOR/SSRF 任务，先冻结漏洞标签与安全研究员复核规则。
固定 Luna 的模型别名、reasoning effort、guided prompt、工具权限和超时，运行至少十次并保存完整输出。
在同样条件下运行 GPT-5.5、Terra 或 Sol 对照；再分别打开/关闭安全工具 harness。
对每次结果计算 recall、precision、F1、误报数、人工复核时长、输入/输出 tokens 和美元成本。
报告每真阳性成本，并把“裸模型”和“完整安全工作流”分成两张表，避免把 harness 增益归因给 Luna。
Semgrep 的核心判断是 “Luna as a cost per true positive was a standout result”，但同文强调 harness 会显著改变结果。
本文中的数字、任务集、推理档位和客户端条件只在所列来源及采集时点内成立。不同版本、不同 harness 或不同提供商的数据不能直接并排比较；未公开的参数保持未知。
需要复测时，请固定模型版本、提供商或客户端、推理档位、工具、任务集版本、样本数和采集日期，并记录失败、重试与人工修正。完整方法和复现步骤见下方来源笔记。
Semgrep Security Research · Brenden Noblitt、Erik Buchanan、Jayson DeLancey · 原文发布日期 2026-07-13 · 本站编辑日期 2026-09-20
打开原始来源GPT-5.6 Luna
下载 Tabbit 客户端后检查模型可用性
