这是一份覆盖编码、视觉推理、策划和设计的 WorkBuddy 实测记录,给出了若干任务输入、耗时和具体失误;但缺少模型与客户端配置、完整运行轨迹和统一评分口径,足以了解作者体验,不足以复现测试或证明 Hy4 对其他模型普遍占优。
适合判断的任务:参考如何设计多轮开发任务、视觉空间推理题、单据交叉核验、商业策划和海报生成的体验测试;了解报告中记录的特定任务表现与失误。
不适合外推的任务:据此推断 Hy4 在所有编码、办公、视觉或长程 Agent 任务上的成功率、稳定性、成本优势,或把作者主观审美判断当成盲测结果。
适用的模型版本:作者称 Hy4 正式版;没有提供 API 模型 ID、快照或版本号。
测试环境或客户端:WorkBuddy;部分步骤提到真实 Chrome、自动化模拟及线上部署。未注明 WorkBuddy 版本、操作系统、模型入口、工具权限和部署平台。
推理档位和参数:未注明。
作者称没有跑标准榜单,而是将实际工作任务作为测试用例,并观察任务拆解、工具调用、问题发现和迭代。正文包含以下案例:
网页塔防游戏:从宽泛的“做一款游戏,从零做到能上架”开始,分三轮开发,累计约 55 分钟。记录了模拟对局、浏览器检查、数值调整、架构重构、地图扩展和部署;后两轮需求细节没有完整列出。
双机器人路径规划:提供地图图像及明确规则,要求给出路线、逐时间步调度、检查顶点与边交换冲突,并证明会车位必要性和最早完成时间。
订单与收货记录核对:要求对照编码、名称、数量,区分记录差异与实物事实,并判断标签卷能否确认及质检状态。完整原答链接到腾讯文档,未在本文采集中打开。
商业计划 PPT:要求评估 2027 年技术媒体/整合营销工作室创业机会,分析供需、差异化、战略、资源和商业化,交付 12 页 PPT,并与 Hy3 对照。
两道海报题:分别要求为“当机器开始思考”设计概念海报,以及为“BUILD DIFFERENT 2027”设计开发者大会主视觉;与 Hy3 进行主观比较。
塔防:作者报告三轮耗时为 14 分 10 秒、18 分钟、23 分 18 秒。模拟发现“少量塔即可轻松通关”、科技与升级叠加后 38 座塔可在硬核模式满血通关,以及一张地图过难;模型据此改动难度、布防上限和地图参数。浏览器回归还发现手机弹窗裁切、地图卡片挤压开始按钮等问题。作者称修复后通过回归并上线。朋友试玩约 5 分钟,评价“还不错”;作者也指出后期玩法退化为挂机,自动化模拟不能证明游戏好玩。
机器人调度:文章列出一组无冲突路线,并称在 t=8 到达目标,达到其推导的理论下界。该结论基于文中给定的格点规则;作者明确未纳入真实机器人速度、尺寸、转弯半径和安全间隔。
单据核对:作者报告 2 项完全一致、3 项需复核,且模型没有把记录差异直接断言为实物错发,也没有把 pending 判成已通过质检。与此同时,原答将三项差异误写成“其余两项”,并依据 “Counted by: J. Lee” 推断记录由人工填写;作者认为后者缺少图像证据。腾讯文档整理后计数被改正,但此处没有给出可核对的版本记录。
商业策划 PPT:按正文顺序,Hy3 用时 18 分 57 秒,Hy4 用时 20 分 31 秒。作者认为 Hy4 在竞争、利润、资源约束和“不做什么”的取舍上更具体,但信息密度更高、字号偏小;两版财务假设和行业数据都需人工核实。
海报:首题中,作者认为 Hy4 的“物体与影子错位”概念有想法,但不看释义时不易读懂。第二题中作者称 Hy4 快近两分钟且细节较好,同时指出两款输出相似度高、设计语言仍较常见,日期附近的分割线显得拥挤。两题评价均为作者的主观视觉判断,未报告盲评人数或评分量表。
以下是文章直接报告的数值;没有原始日志或独立复测支撑,不能视为第三方验证结果。
| 项目 | 文中报告 | 证据性质 |
|---|---|---|
| 塔防三轮迭代 | 14:10、18:00、23:18,合计约 55 分钟 | 作者叙述的任务耗时;未附运行日志 |
| 商业 PPT | Hy3 18:57,Hy4 20:31 | 作者叙述的单次生成耗时 |
| 双机器人调度 | 两机在 t=8 到达目标;作者称达到理论下界 | 文中路线与推理摘要;地图图像和完整证明未纳入本次核验 |
| 单据核验 | 2 项一致、3 项需复核;原答存在计数与无依据推断问题 | 作者摘要并披露模型错误;完整原答位于外链文档 |
文章还转述腾讯自建或合作评测中的分数与比例。这些是文章背景中的机构数据,不属于本文作者这组独立任务的实测原始数据,不能混作同一测试结果。
这篇文章最有价值的是保留了任务过程和失败案例,而不只给出总分:模拟暴露了数值失衡,浏览器检查发现交互布局问题,单据题则显示模型会在计数和证据归因上出错。它也明确承认,自动化通关不代表可玩,商业假设需要核实,视觉创意需要人工判断。
证据仍有明显边界:没有 Hy4 精确版本、WorkBuddy 版本、模型参数、设备环境、完整轮次提示词、人工介入次数或可复核的逐步日志;塔防后两轮需求不完整;Hy3 对照没有说明是否在相同条件下运行;PPT 与海报的主观评价没有盲评或预先量表。正文中地图与设计稿以图片呈现,完整推导及单据原答则链接到腾讯文档,本次没有核验这些附件。因此,文中“Hy4 更会判断”应理解为作者对这些样例的体验结论,不能据此作总体模型排名。
作者主页可以确认发布账号是霍格沃兹-测试开发学社,简介归属测吧(北京)科技有限公司;原文声明获作者授权发布。页面没有标出自然人测试者,也没有找到可确认的外站原始稿,故以腾讯云页面作为唯一主来源。
本文为对原文证据的整理,不是独立复测。复现同类结论至少需要取得完整图像和任务输入、Hy4 与 Hy3 的精确模型及客户端配置、同条件运行日志、人工介入记录、可查看的输出产物,以及预先定义的通过标准。仅复用正文所列提示词不能复现塔防三轮、图片题或 PPT 对照的完整结果。
Hy4