作者报告 Gemini 4 Argon 能把 Go 源码与 RISC-V 汇编中的剩余边界检查转成 Z3 约束,并在一组人工植入和真实代码案例中找到可由 go test 验证的崩溃;这是方法细节较完整的厂商一手案例,不是独立 benchmark,也不能证明对其他 Go 程序或模型任务的普遍可靠性。
适合判断的任务:在编译器已移除可证明安全的检查后,对纯函数及解析器中的剩余 slice/index 边界路径做定向崩溃查找;评估“模型生成约束、求解器给输入、真实测试复核”的工作流。
不适合外推的任务:不能据此估计通用代码正确率、完整程序无崩溃率、形式化证明能力、并发安全性,或与其他模型/基准的优劣。
适用的模型版本:Gemini 4 Argon;文章未提供 API model ID、模型快照或推理档位。
测试环境或客户端:Go 1.27.3;Linux/RISC-V 64 位交叉编译;Z3 约束求解;go test 对候选输入进行真实复核;skill-lint 的纯函数/切片辅助函数。作者没有披露调用客户端、完整 harness、硬件或模型接口参数。
推理档位和参数:未注明。
Go 编译器的 SSA prove pass 会先删除它能证明安全的边界检查。作者使用 GOOS=linux GOARCH=riscv64 和 -gcflags="-S -d=ssa/check_bce/debug=1" 编译目标函数,向 Argon 提供 Go 源码与反汇编。模型为每个保留的运行时边界陷阱生成 Z3 约束;Z3 检查约束是否可满足,若给出候选输入,再由 go test 在真实函数上运行。作者强调,sat 候选只有在真实测试触发崩溃后才算复现;unsat 不是正确性证明。
实验分两部分:
小型解析器:先检查 3 个安全解析器,再检查 3 个故意植入崩溃的解析器。求解器目标限定为长度不超过 64 字节、且 cap(buf) == len(buf) 的新切片。
skill-lint:从命令行工具中选取 5 个纯函数或切片辅助函数,避免把文件 I/O、命令行处理和网络操作交给求解器。2 个扫描器得到 unsat,其余 3 个函数发现缺陷。作者还移除注释重跑这些目标,以检查模型是否依赖测试文件注释。
模糊测试对照使用未播种的 go test -fuzz,版本为 Go 1.27.3。对每个植入缺陷分别运行一次 3 秒和三次 60 秒,每次使用新的 fuzz cache。作者另做了 10 秒输入分布探测。测试目标均为局部函数,不代表完整 CLI 或全二进制覆盖。
在小型案例中,Argon 与 Z3 找到全部 3 个植入崩溃;对 3 个安全解析器,编译器已移除 TOML 键解析器的所有边界检查,另两个目标的剩余陷阱得到 unsat。
前两个植入问题与 slice 长度和容量差异有关:默认 fuzz 输入常有多余容量,越过 len 的切片操作可能仍未越过 cap,因此不触发 panic。原始 fuzz 设置下,这两处问题在一次 3 秒和三次 60 秒运行中都未被发现。
10 秒探测记录 386,741 次 fuzz 调用:作者报告其中 89% 的输入是共享约 100 MB 缓冲区的视图,只有 0.07% 满足 cap == len。将 fuzz 输入容量裁到长度后,两个边界问题分别在三次运行中以 0.28 秒和 0.17 秒中位数触发;第三个与负索引有关的控制案例在裁剪前后每次运行都能找到。
在 skill-lint 案例中,5 个目标函数里 3 个发现缺陷、2 个扫描器得到 unsat。作者称,去除注释后 Argon 与 Z3 仍发现这 3 个缺陷,并对 3 个修补版本返回 unsat。将辅助函数抽出后,3 秒 fuzz 也找到了这 3 个缺陷。
计时方面,作者报告 Argon 对每个函数的汇编到约束翻译约需 1 分钟,Z3 本身约为 毫秒级。没有公开各目标的完整逐次时延、模型调用成本或失败重试记录。
| 项目 | 原文报告 | 解释边界 |
|---|---|---|
| Go 版本 | 1.27.3 | 用于 fuzz 对照;目标交叉编译为 Linux/RISC-V 64 位 |
| 小型安全解析器 | 3 个 | 1 个由编译器移除全部边界检查;2 个剩余陷阱由 Z3 返回 unsat |
| 小型植入缺陷解析器 | 3 个 | Argon/Z3 找到 3 个;没有给出独立复现实验者或重复求解次数 |
| skill-lint 目标函数 | 5 个 | 2 个扫描器 unsat,3 个发现缺陷;作者另称 3 个已修复版本均 unsat |
| 人工 fuzz 分布探测 | 386,741 次调用 / 10 秒 | 89% 为共享缓冲区视图;0.07% 的输入 cap == len |
| 默认 fuzz 对照 | 每个植入问题一次 3 秒、三次 60 秒;每次新 cache | 前两个容量相关问题均漏检;负索引控制问题每次都检出 |
| 容量裁剪后的 fuzz | 0.28 秒、0.17 秒中位数 | 分别对应两个此前漏检的边界问题;原文称每个都在三次运行中复现 |
| 求解流程耗时 | Argon 约 1 分钟/函数;Z3 毫秒级 | 原文是概略报告,不是系统化性能测量 |
作者将 cap(buf) == len(buf) 用作边界检查测试条件。它能让越过 len 的切片操作触发 panic,但这是特定测试设置;生产代码中 slice 的容量可能大于长度。文章也说明求解器只针对挑出的函数,不覆盖数据竞争、死锁或其他并发问题。约束模型由 LLM 编写,缺少完整机器语义模型,因此 unsat 结果不能充当证明。
这篇文章展示的是有真实 Go 测试复核的一组定向案例。源码、反汇编、Z3 和 go test 各自承担不同环节,结果不是“模型单独证明代码正确”。
对照结果说明 fuzz 输入的容量分布可能掩盖特定越界 panic;把容量裁到长度后,本文的两个相关问题很快复现。该结论针对文章中的 Go fuzz harness 与目标函数。
样本规模有限:小型解析器 3 个安全目标、3 个植入缺陷目标;skill-lint 只选了 5 个函数。文章没有预注册题集、盲测、独立复现、对照模型或完整的逐目标数据,不能据此声称 Argon 优于其他模型或一般 fuzzing。
作者称检查了 3 个修补版本,但 unsat 只表示当前约束模型未找到输入,不等于漏洞不存在。辅助函数边界条件若与调用方不一致,还可能产生不符合真实调用的候选输入。
这是一篇 Google 开发者关系负责人的一手使用报告。具体流程有助于复刻和评估,但样本选择、测量与报告均由作者完成,不属于广泛独立验证。
公开文章给出 Go 版本、交叉编译目标、编译参数、容量条件、求解与真实测试复核步骤,以及部分运行时间和 fuzz 统计;但没有提供完整仓库版本、全部源码/汇编/约束脚本、模型接口与快照、提示词、硬件和所有逐次记录。因此可以据此实现同类方法,不能仅凭文章精确重放相同结果。复测时应固定 Go 版本与 commit、目标函数及入口前置条件、编译器输出、模型快照/推理参数、Z3 版本、随机种子和 fuzz harness,并分别记录模型生成时间、求解时间及真实复现结果。
Gemini 4 Argon