Artificial Analysis 的 AA-PersonalityBench 显示,GPT-6.2 Sol 的回答长度、格式、先答程度、自然听感和承认不确定性指标相较前代发生变化。这些是沟通风格指标,不代表事实正确率或综合能力。
适合判断的任务:评估回答长度、结构、直接程度、自然感及不确定性表达等沟通风格。
不适合外推的任务:事实准确性、编码能力、总体质量,或未测试的提示、语言和推理档位。
适用的模型版本:GPT-6.2 Sol。AA 页面列出的模型变体为 GPT-6.2 Sol (Max)。对比基线在原帖中只写“前代版本”,未明确标出具体版本号。
测试环境或客户端:Artificial Analysis 的 AA-PersonalityBench。具体调用接口、推理参数和运行日期未注明。
推理档位和参数:部分比较明确为 low 至 max effort。其他风格数值对应的档位未注明。温度等生成参数未注明。
Artificial Analysis 将风格测试与能力测试区分。方法页称,每个模型对 900 个问题各回答一次,每次为单条用户消息且不含 system prompt。问题集由 30 个性格特质各 30 题组成,完整题集不公开。每项特质由盲测的模型评审进行成对比较,单次比较分配给一名评审。评审面板为 Gemini 3.8 Flash (high)、Claude Sonnet 5.5 (medium) 和 GLM 5.3 Flash (max)。
评审结果使用 Bradley–Terry 模型估算各特质 Elo,再换算为 1–100 的跨模型百分位。另有 21 项沟通特征直接从 900 条回答中计算。AA 方法页还说明以 GPT-6.1 Sol (max) 作为特质 Elo 锚点(1000)。但原帖未明确所有“前代版本”对照的具体版本和档位。
方法说明:AA-PersonalityBench。方法页。两页由原帖链接,仅用于解释测评口径。本篇唯一主来源为出处所列 X 原帖及其同线程更新。
以下为原帖对 Sol 的报告。除回答词数、标题和破折号数量外,特质数字按 AA 方法页口径理解为跨模型百分位。具体前代版本及部分档位没有在原帖中标明。
| 指标 | GPT-6.2 Sol 数值变化 | 口径 |
|---|---|---|
| 每条回答词数 | 337 → 223(约少 34%) | 每条回答平均词数 |
| 每条回答标题数 | 1.85 → 0.25 | 平均数量 |
| 每条回答 em dash 数 | 3.01 → 0.51 | 平均数量 |
| Organization Index | 86 → 27 | 百分位 |
| Answer First | 64 → 87 | 百分位 |
| Admits Uncertainty | 98 → 51 | 百分位 |
| Natural Sounding | 54 → 79 | 百分位 |
| Evidence-Based,low → max effort | 16 → 68 | 百分位 |
| Disclaims Assumptions,low → max effort | 26 → 77 | 百分位 |
原帖主帖及同线程更新明确报告了上表数值。“组织度下降但更先给答案”指向两个不同指标:Organization Index 下降、Answer First 上升。
900 题、单条用户消息、无 system prompt、评审方式、评审模型、评分与百分位口径来自 AA 方法页。方法页说明完整问题集为私有数据。
AA 页面把回答风格指标与正确性区分开。这里的分数不表示回答更正确或更差。
这组结果支持一个有限结论:在 AA 的问题集和测试流程中,GPT-6.2 Sol 的回答更短、显式格式更少、先答倾向和自然听感百分位更高,同时承认不确定性的百分位更低。low 到 max effort 的证据性与假设声明分数上升,是跨档位比较,不能据此推断其他指标也随推理档位同步变化。
原帖未明确前代型号、样本比较次数、各结果置信区间及回答数值对应的具体档位。方法页也未公开题目和生成参数。不能据此判断不确定性降低是否导致错误增加,也不能直接外推到其他客户端、参数或任务。
可按方法页复现评审框架,但无法完整复验原结果:900 道题为私有数据,逐题回答和比较记录未公开。原帖未给出所有对照版本、推理参数和样本比较数量。若自行测试,应记录确切模型 ID 与档位、接口及生成参数、题目数、评分规则和逐项结果,并将结果标为自测,勿与 AA 分数直接并列。
GPT-6.2 Sol