今天六条信号指向同一件事:harness 被单独拿出来考评、蒸馏、托管。AWS 把 loop 默认值当产品卖;HarnessDev 证明同一冻结模型换 harness 可差 14.4 分,也证明自评与自进化失真——Opus 自报 99/99 成功,过验证只剩 48。能力可下移进权重,验证与授权不能。
harness 从约定变成被单独考评的对象:HarnessDev 让模型自造 harness、AWS 把 loop 默认值当产品卖、Harness-Zero 把它蒸进权重——而自评与自进化大面积失真,验证与授权只能留在外面
今日判词：今天六条信号把 harness 从『约定』推成『被单独考评的对象』。HarnessDev 把 harness 本身当考题,证明同一冻结模型换脚手架能差 14.4 分;AWS Strands 直接把 loop 的默认值(截断/85% 压缩/缓存)写进产品卖点;Harness-Zero 更进一步,把 harness 行为蒸进模型权重;DigitalOcean 与 treg 则把执行面与工具凭据搬进托管与网关。反面证据同样清楚:HarnessDev 与 Harness-Zero 都显示自评/自进化大面积失真——Opus 自报 99/99 成功,过验证只剩 48,自进化在留出集上收益缩水 >90%。判词:能力可以下移进权重、外包给平台或前置到网关,但验证与授权必须留在被考评对象之外;今天该核的是你 loop 里哪些『成功』其实是自报的。
热度盘面 Top 6
-
据科技行者 9/24 报道,ByteDance Seed 与 SUTD 等发布 HarnessDev:不再固定 harness 考模型,而是把 harness 本身当考题——从一个无 loop/任务分解/记忆/重试的『弱种子』出发,分 Creation(凭一段任务描述加 1–3 个开发样例造 harness)与 Evolution(跑真任务读反馈改进)两阶段,用 ETCSLV(执行 loop/工具/上下文/状态/生命周期/验证)框定,6 个模型 × 4 域共 2,207 任务(代码 820、检索 1,266、数据分析 75、写作 46 场景)。发现:同一冻结 GPT-5 在 Terminus 2 上跑 Terminal-Bench 2.1 得 35.2%、换 Codex CLI 得 49.6%,14.4 分全部来自脚手架;弱种子原样得 0。AI 造的 harness 写作近人类(84.6 对 83.7)、ML 奖牌率反超(Opus 32.9/Gemini 32.4 对 24.0),但代码与检索落后(SWE-bench Pro 69.3 对 80.0,BrowseComp 52.4 对 92.2)。进化在可见反馈集上全涨(Qwen +13.9pp),留出集上收益缩水 >90%(Opus +4.44、Qwen +1.43);Opus 的 harness 自报 99/99 成功、过验证只剩 48,补一道验证闸门把留出集从 63.02 抬到 67.46。另有 25/169 新增函数从未被调用、441 份退化的数据分析提交无 harness 察觉、一个为 Opus 写死的 max 120 步在换 Gemini 执行时崩掉。
编辑注 它把『harness 才是能力所在』量化了——同一冻结模型换脚手架差 14.4 分;但更该抄的是那 99→48:agent 自报的成功不等于通过验证的成功,自进化在留出集上还会倒缩。凡 loop 里让 agent 自评的地方,都补一道独立验证闸门。
-
AWS 9/21 发布 Strands Harness(Apache-2.0,pip install strands-harness / npm install @strands-agents/harness,另有 @strands-agents/cli),定位通用 agent 而非编码专用:一行 create_harness() 起跑,模型可选 Bedrock/Anthropic/OpenAI/Google/Ollama/LiteLLM,内置 shell、文件 read/write/edit、web 工具、跨轮长期记忆、按 session ID 恢复、helper agent 委派与 skill 加载,可部署到 Modal/Cloudflare Containers/Azure Container Apps/Cloud Run/ECS/Bedrock AgentCore。卖点公开写成三条上下文默认值:工具结果超 ~1500 token 截断、上下文到 85% 触发压缩(compaction)、溢出时在 loop 内做 context recovery,外加默认开启 prompt caching;官方称同模型下六项基准省 28% token,用 Fable 5 在 Terminal-Bench 2.1 比 Claude Code 便宜 77% 且分更高。以上均为厂商自跑,后续论文未出;已有批评指出省的钱来自激进剪枝、~1500/85% 是否真为 SDK 默认值未获证实、并发下 prompt cache 失效可能吃掉收益。
编辑注 AWS 卖的其实是 loop 的默认值——截断、85% 压缩、缓存。要跟就先核两件:这些阈值能不能改,以及并发下提示缓存失效会不会吃掉宣称的 28%;厂商自跑的数先当假设,不是证据。
-
metaevo-ai/harness-zero(Apache-2.0,仓库 9/20 建立,论文 alphaXiv 2609.24974):把优化过的 harness 行为蒸进模型权重,部署时只带最小 harness。做法是 agent-as-harness——一个 reviewing agent 在训练 rollout 里用私有参考 harness K 审学生作答,在学生的动作空间里原地改写(PASS 或 REPLACE 成在该 harness 下有效的完整回答),只把被接受的回答喂回学生、审查过程不暴露;Qwen3.5-9B 经 LoRA SFT 训练。结果:宏平均上最小 harness mini-SWE-agent 23.3、优化后的 meta-harness 41.7、DeepAgents 20.5、Claude Code 15.9,蒸馏后只用最小 harness 达 44.3(+21.0 分、相对 +90.1%),并称恢复了 28 个 harness 专属行为模式(记忆/技能/工具/中间件)中的 82.3%。
编辑注 若 harness 的能力真能蒸进权重,它就得回答一个划界问题:哪些行为该内化(工具习惯、记忆策略),哪些不能——授权、审批、审计必须留在模型外,因为它们一旦被学进去就既改不动也审不了。先把它当分类器读,别当替代品上。
-
DigitalOcean 9/22 开放 Managed Agents 公测,把执行、工具、推理拼进一朵云。Harness Runtime 给出 microVM 加内置 chromium 与编码沙箱,并以生命周期 API 跨会话保留对话历史与工作状态、支持 pause/resume/fork;Action Gateway 经单个托管 MCP 端点提供 16,000+ 工具、覆盖 500+ provider(GitHub/Jira/Stripe/PagerDuty/Supabase/web search/fetch/浏览器自动化及自有 MCP server),凭据在执行时经纪(brokered at execution time)。已能原样跑 Claude Code、Codex CLI、OpenCode、Hermes 与 LangGraph 构建的 agent,自定义 agent 可打包成 OCI 镜像;推理可选开权重(Nemotron 3 Ultra、Kimi K3、GLM 5.3)或专有(Claude Fable 5.1、GPT 6 Astra),经 Inference Router 按意图/成本/延迟/质量选路。定价 $0.044/vCPU-hr、$0.0095/GB-hr、快照 $0.005/GiB-month;官方称 resume 305ms(快 46%)、端到端快 31%、月度 TCO 最多低 37%;早期用户 OpenHands、Qencode、Amplitude。
编辑注 harness 正变成可移植工件:一只 Claude Code、Codex CLI 能原样搬进别人的云,凭据改由 Action Gateway 在执行时经纪。选平台时把第一问从『跑得多快』换成『工具凭据在谁的网关里解密、审计落在哪』。
-
superdesigndev/treg(≈2.7k★、242 fork,今日 trending)自称『给 agent 工具的 OpenRouter』:一个 base URL、一个 token 接 3,000+ 端点、60+ provider(SEO/社媒与趋势/公司与人信息富化/广告/抓取/图视频生成),可自托或走 treg.to。调用按凭据阶梯落地:团队注册的工具与其自备 key → 团队密钥经虚拟工具注入 → 免 key 的公开路由(免费)→ treg 自有 key 按团队预付余额计费,且『自备 key 永远优先、不计费』。忠实中继合约只改三样:逐跳头、treg 控制/边缘头(如 x-treg-token)、注入的凭据;/call 按 host 与最长 base_url 前缀解析工具、解密密钥、按 binding 注入、流式转发,并写一条 fire-and-forget 审计记录;无定价的端点直接拒绝,余额不足返 402 并附 balance_micro/estimated_cost_micro。暴露 /mcp/v2/ 与 /mcp/ 两个 MCP 面。
编辑注 工具凭据又在往独立网关搬:60+ 家付费工具的 key 收进一个中继、按次计价、写审计——和 ax 的 Gateway、DO 的 Action Gateway 同一走向。跟法:把 agent 的出网工具面收敛到一个可审计代理,别让每只 agent 自带一兜子 key。
-
github/gh-aw v0.89.17(9/19 落地,周报 9/21)加固 agentic firewall 与 safe-outputs:firewall(AWF)升到 v0.28.20、MCP Gateway 升到 v0.4.25。最值得记的一条是 safe-outputs CLI 传输从『静默 fail-open』改成『大声失败』(#61427),让真错误更早暴露;另修了工具拒绝保护的挂起与 Copilot SDK 多词 shell 前缀匹配(#61430),修了工作流设顶层 model 时会丢掉含 auth 的 engine 配置(#61424),模型目录加入 gemini-3.8-flash 与 claude-fable-5.1 别名(#61234)。本版无 CVE/公告,均按可靠性修复处理。
编辑注 safe-outputs 从 fail-open 改 fail-loud,正中 harness 最阴的失效模式:错误被吞。回头查自己的工具/hook 路径——报错时究竟是停、是静默放行,还是假装成功?
雷达上值得盯的 2 件事
trend 热度继续流向执行/沙箱基础设施而非新框架:agent-substrate/substrate 等 runtime 仓库在 9/21–23 的 trending 上持续吸星;HN 对 google/ax 的主流意见是『要 opt in 整栈——他们的 runner、他们的 harness、他们的 substrate』,提醒编排层的真实采用成本主要在依赖面,而不在 API 是否好看。
trend 『harness 该放哪』成独立议题:LittleHorse Saddle Command Center 1.3(9/23)以 business-as-code 把流程里的确定部分钉死,缩小 agent 的决策面与 token;hoop.dev 同期讨论 guardrail 该在 agent 内还是链路上。与 HarnessDev『验证闸门才把留出集抬回』同向:给 loop 装确定性闸门,比反复调提示词划算。