harness 被单独测量、单独出租的一天:同权重换 runtime 差 14 分,Codex 的 loop 开始按 API 计价

热度盘面 Top 5

1. #1 arXiv:2609.01437 研究

   HarnessDev(arXiv:2609.01437,9/11 预印本;ByteDance Seed/SUTD/Georgia Tech/M-A-P/TokenWave.AI):不再只给答案打分,而是给『模型写出来的那套可运行 harness』打分(执行 loop/工具编排/上下文/状态/恢复/验证)。两阶段——Creation 发一个没有 loop、没有 planner/verifier/retry/停机规则的弱种子(不改则 0 分),Evolution 让创建者改自己冻结的代码、仅 10 对评测预算后封版。4 域 5 基准 2207 实例(SWE-bench Pro 公开 731、Terminal-Bench 2.1 89、MLE-bench 75、EQ-Bench3 46、BrowseComp 1266),6 个创建模型。开篇证据:同一份 GPT-5 权重,Terminus 2 里解 35.2%、Codex CLI 里解 49.6%(约 14 分差);Self-Eval 下 Opus 4.8 均值 67.8,人类工程参考 86.2;Evolution 的相邻改动只有 34/64 泛化到留出任务;18 套生成代码净增 17111 行,其中 11 套定义了 State 类,但 26679 条轨迹里没有一次 checkpoint 事件——大量生成物是永不触发的死代码。

   编辑注 这条给『模型榜单』祛魅:分数是 model@harness@dataset 的三元组,同权重差 14 分,意味着先测你那条 runtime、再换模型。更该带走的是惰性结果——让被评测的模型自己写 loop/预算/恢复/验证,它会长出永不触发的机器;这些模块别外包给被评测者。

2. #2 openai/codex 发布

   OpenAI 9/10 公测 Agents API:把 Codex 背后的 harness 连同云基础设施做成托管服务——一次 POST /v1/agents/sessions(需头 OpenAI-Beta: agents=v1)即可起一个 agent。四个概念 agent/environment/session/events+items;托管项含会话状态、自动上下文压缩、任务恢复、子 agent 委派(multi_agent、max_concurrent_subagents)、按需加载工具定义(tool search)、程序化工具调用,以及 MCP 与 skills。执行环境可选 OpenAI 托管沙箱、自托管(codex exec-server 经 WebSocket 外连)或合作沙箱(Blaxel/Cloudflare/Daytona/DigitalOcean/E2B/Modal/Oracle/Runloop/Vercel);平台本身不另收费,按 token/工具/容器计。两个硬约束:数据驻留仅限美国;即便沙箱自托管也不支持零数据保留(ZDR)。

   编辑注 可以租 loop 了,但 loop 的策略归 host:自托管沙箱也拿不到 ZDR,意味着模型侧那条循环仍看得到它处理的内容。要上生产,先划清托管 loop 被允许看见什么——这不是换个部署位置就能绕开的条款。

3. #3 microsoft/agent-framework 架构

   上期那条公开 hook 规格落地后方向是收缩:agent-framework 1.14.0(8/14)以 opt-in extra 形式引入实验性 AGENT-HOOKS-0.1 强制中间件(#7515),1.17.0(9/3)却把该 extra 移出核心包(#7918,破坏性);.NET 侧 1.19.0(8/22)另把 agent-hooks 拦截契约定为一等实验特性(#7564)。同期契约在收紧:python-1.18.0(9/10)把 SecretString 从 str 子类改成掩码包装、默认限制 checkpoint 反序列化(beta)、把 GitHub Copilot 工作区文件 hook 改为 opt-in;dotnet-1.21.0(9/11)迁移文件访问与行号契约、把 MCP skill 归档限定为 ZIP。

   编辑注 『公开规格』上线三周就从核心包撤出,方向是收缩不是扩张:秘密要掩码、反序列化默认受限、文件 hook 默认关。别把实验性当稳定依赖——升级前 grep 一遍 agent-hooks、锁死版本;它在 Microsoft 的语境里是可以再撤回去的。

4. #4 vercel/ai 架构

   Vercel AI SDK 的 harness 层 9/10 接入 GitHub Copilot(@ai-sdk/harness-github-copilot),经 @ai-sdk/harness-acp 走 Agent Client Protocol,与应用里同一个 HarnessAgent 接口对接;同层已支持 Claude Code、Cline、Codex、Cursor、Deep Agents、fx、Grok Build、OpenCode、Pi。包被标注为实验性、版本间可能有破坏性变更;Vercel 同期为 OpenAI Agents API 补了 Vercel Sandbox 集成。

   编辑注 一个接口收编九种 runtime 是『可移植』的赌注,但 adapter 成了你新的执法面:各家的 hook、权限模式、沙箱语义并不同构。标准化之前先验一件事——你依赖的 guardrail 在过完这层抽象后还剩几条。

5. #5 spotify/portal 工具

   Spotify 工程博客(2026-09,经 HN/dev.to 9/5 传播)介绍 Portal:一个带 bulk-reader / code-writer 两模式的路由 harness——主 agent 要读超大文件或目录时,钩子拦下这次 Read,把批量读取重定向给更便宜的 worker(示例用 Gemini 2.5 Flash),主 agent 继续推理与编辑。Java 单仓实验中报告批量读取输入平均省约 90%;Spotify 自述这只省 bulk-read 输入,不等于总 token/总成本下降,并给出正确性代价:被委派的 worker 漏掉了一个微妙的线程安全 bug,结论是『委托不能安全地拥有编辑与推理』。

   编辑注 可抄的是这个钩子形状:拦下最贵的调用、重定向到便宜档。但别把省下的 token 当收益——90% 的 bulk-read 省量旁边就躺着一个漏掉的竞态。给重定向加一道任务成功率闸门,再谈省钱。

雷达上值得盯的 3 件事