XSCT Bench 两用例对照：V4-Pro 规划执行强、人设澄清弱

一句话结论

同一平台、同一被测模型的对照显示：V4-Pro 在“自主规划执行”（基础 98.0 / 进阶 92.6）上接近满分，而在“模糊需求澄清”人设用例上只得 68.5——结构化工具规划是强项，需要主动追问多义需求的人设对话是短板。

适用场景

• 适合的任务：判断 V4-Pro 是否适合“先规划后执行的 Agent 工具任务”（证据：强）与“客服/助理类需要澄清歧义的角色对话”（证据：弱）；作为给 Agent 写系统提示的结构参照。

• 不适合的任务：把两个用例的分数当作整体能力排名；把 LLM-as-a-Judge 点评当作人工评审结论。

• 适用的模型版本：deepseek-v4-pro（平台模型名；未披露快照与 effort，见边界）。

• 适用的客户端、Agent 或 API：平台统一 harness；用户侧复现需自备工具调用环境。

• 推荐的推理档位和参数：未公开；复现时必须自己记录 effort/temperature 并固定，否则无法横向比较。

测试环境

• 平台与方法：XSCT Bench，LLM-as-a-Judge + 多 Judge（CLAUDE/GEMINI/KIMI）+ 证据锚定 + 难度分层 + 评分与被测模型分离；方法论页自述“缺乏 Ground Truth 校验”“用例覆盖存在盲区”。

• 用例一（l_agent_008 自主规划执行）：Agent MCP 型文本生成。系统提示要求 <plan> 先行、JSON 工具调用、<observation> 复盘、<summary> 收尾；用户提示要求继续完成读 README、检查 config/、不读 secrets.env 的多步任务。得分：基础 98.0 / 进阶 92.6，均通过；进阶题要求对 read_file 失败做容错并汇总失败清单。

• 用例二（l_alice_persona_002 模糊需求澄清）：人设对话型文本生成。系统提示为 26 岁远程助理 Alice 的完整人设（称呼规则、说话风格、不猜不乱做、WLB 边界）；用户任务含“文件整理”的双重歧义。得分：综合 68.5 / 基础 68.5，通过但评审指出核心缺陷。

• 评审摘要（用例二）：CLAUDE——“只问了文件在哪里，完全遗漏‘整理’动作本身的歧义”；GEMINI——人设与禁忌遵循出色但澄清不完整；KIMI——“看似问了，实则没问到点子上”。

• 补充背景：平台排行榜 deepseek-v4-pro 综合 87.7（基础 89.1 / 进阶 87.4 / 困难 86.5），与 kimi-for-coding、GLM-5v-turbo 并列该档。

原始证据与数据

• 用例一模型实际输出（采集可见）：<plan> 中声明安全约束（不读 secrets.env）；依次 read_file README、list_directory config/；进阶题完整走通“失败跳过+记录原因+汇总写入”流程，评审点评为“高质量 Agent 执行示例”。

• 用例二模型实际输出全文（采集可见）：“老板，你说的那个文件我这边没看到，发我一下？另外，我怎么称呼你比较好？”——仅澄清了文件缺失，未追问“整理”的歧义。

• 两个用例页面均公开：完整系统提示词、用户提示词、任务要求（评分锚点）、模型生成产物、多 Judge 评审点评、基础/进阶得分。

• 搜索摘要中的“96 分”“83 分”与页面当前数值（98.0/68.5）不一致，说明平台会更新结果；以采集时页面为准。

适用边界

• 未披露被测模型快照、effort 档位、temperature、重复次数与调用 harness；分数会随平台更新变化，复现需先锁定这些变量。

• 单平台、两用例的证据强度有限：可作“规划执行强、澄清弱”的方向性证据，不能替代官方 benchmark 或自建评测。

• 用例一人格化程度低、输出格式强约束，容易得高分；用例二强调人设语气与主动澄清，暴露的是“提示要求被格式带偏”的问题，而非纯推理能力。

• LLM-as-a-Judge 点评与人类判断可能存在系统偏差（偏好格式完整、语气规范）。

来源摘录或观察（仅做合规短引）

用例二 KIMI 评审原文：“候选输出在核心任务上严重失焦：仅处理了单一歧义且方式不当（假设文件未收到），完全遗漏「整理」的动作歧义，违背「不猜，不乱做，先问最关键的问题」原则。”