Artificial Analysis 报告称,相比此前版本,GPT-6.2 Astra 的回答更短、更少结构化、更常先给答案、听起来更自然,但承认不确定性的指标由 96 降到 24;高推理努力档的证据性指标则高于低档。该基准测的是表达特征,不代表答案正确性。
适合判断的任务:比较模型默认回答的表达风格、承认不确定性倾向及推理努力档之间的风格差异。
不适合外推的任务:事实准确率、特定领域的校准能力、用户满意度或实际业务表现;指标分数不能直接解释为正确率或概率。
适用的模型版本:原帖列出 GPT-6.2 Astra,并与此前版本作对照;原帖未明确写出基线版本的完整模型 ID。
测试环境或客户端:Artificial Analysis 的 AA-PersonalityBench。每题以单条用户消息提交,未设 system prompt;评审由其 LLM judge panel 完成。
推理档位和参数:风格对照的具体推理档位及采样参数未注明。高低努力对照明确覆盖 low 与 max;其他参数未注明。
AA-PersonalityBench 对表达方式而非能力正确性进行评估。方法页说明,基准包括 30 项人格特征、汇总为 8 个指数,以及另行程序化统计的 21 项沟通特征。
每项特征有 30 个问题,共 900 题。每个模型对每题只回答一次,输入为单条用户消息且无 system prompt;各模型回答相同题目。题集完整内容不公开,仅公开少量示例。人格特征以成对比较评审:评审模型看到特征、定义、问题及匿名化的两份回答,选择更体现该特征的一份或判平。评审分配给 Gemini 3.8 Flash(high)、Claude Sonnet 5.5(medium)和 GLM 5.3 Flash(max),并随机化回答顺序。AA 将评审结果拟合为 Bradley–Terry Elo 分,再转换为跨当前已评测模型的百分位;指数由成员特征的 z 分数均值转换为 1–100 百分位。
回答长度、标题、破折号等沟通特征则对 900 道题的回答直接程序化统计和求平均。方法页称评审样本按每个特征的固定目标抽样,但没有给出该目标的数量。页面也未提供本次 GPT-6.2 Astra 对照的完整档位、逐题结果或置信区间。
以下为原帖报告的数值;方向按原帖对比顺序记录,基线的确切模型 ID 未注明。
| 指标 | 此前版本 → GPT-6.2 Astra | 解读边界 |
|---|---|---|
| 每条回答词数 | 352 → 210 | 原帖称缩短约 40%;按展示数计算约 40.3% |
| Organization Index | 70 → 11 | 结构化表达指标下降 |
| Answer First | 49 → 89 | 更倾向先给答案 |
| Admits Uncertainty | 96 → 24 | 承认不确定性指标明显下降 |
| Natural Sounding | 58 → 100 | 自然表达指标上升 |
| Evidence-Based(low → max effort) | 12 → 54 | 高努力档指标高于低努力档 |
| Disclaims Assumptions(low → max effort) | 20 → 52 | 高努力档指标高于低努力档 |
| 每条回答标题数 | 1.99 → 0.11 | 使用标题减少 |
| 每条回答 em dash 数 | 3.19 → 0.70 | 使用 em dash 减少 |
原帖还报告 GPT-6.2 Sol 的对应数字,但此处只记录 Astra。AA 方法页说明人格指标是相对当前评测模型集合的百分位排名;它们不是正确率,也不表示模型在单题上出现某行为的概率。高努力结果只明确给出 Evidence-Based 和 Disclaims Assumptions 两项 low 到 max 的差异。
上表的九组数值均来自 X 原帖。AA 未公布本次比较的逐题回答和评审记录。
这组结果呈现出明确的表达取舍:Astra 更简洁、更偏向先答,且自然表达指标上升;与此同时,AA 的“承认不确定性”指标大幅下降。高努力档在证据性和声明假设两项指标上高于低努力档,但这不证明高努力答案更准确,也不能说明所有回答都会更谨慎。
原帖没有披露先前版本的完整模型 ID、同一对照的具体推理档位、参数、逐题回答、基线和新版本各自的样本量、区间或差异显著性。方法页公开了评测设计,但完整 900 题不公开,因此无法原样重跑整套基准。结果应视为 Artificial Analysis 发布时的风格测量,不宜外推为所有提示、客户端或任务下的固定行为。
可按原帖逐项核对表中报告值;评测框架层面可依据方法页复核题目构成、无 system prompt 的单轮回答、成对 LLM 评审、Elo/百分位处理和沟通特征统计。完整题集与本次 Astra 对照的逐题材料未公开,故无法独立复现本次差值。原帖只说明证据性与声明假设在 low 到 max effort 的变化,没有公开各努力档的完整结果及其他生成参数。
GPT-6.2 Astra