loops Bigharness.ai
BIGHARNESS DAILY · No. 21 2026 年 九 月 28 日 中文

harness 开始被当成积木再包一层:rig 包住 harness、harness-of-harnesses 统编 Claude Code 与 Codex——同一周横评给这层点名,六款里无一实现信息流控制

今日判词:今天三组信号指向同一处位移:编排层正从『选一个 harness』变成『把多个 harness 编成一个系统』。mvschwarz/openrig 用 YAML 的 RigSpec 把 Claude Code 与 Codex 编成拓扑(pod 共享内存、edge 通信、底层是 tmux,Apache-2.0,单日 +114★),自述『a harness wraps a model, a rig wraps your harnesses』;EverMind-AI/Raven v0.2.0 自称 harness-of-harnesses,把四个子 agent 与 Claude Code/Codex 用 DAG 统编,并把 harness 可被 AI 改写的部分切成 Modules/Code/Prompt/Policy 四类(RSI);pydantic-ai-harness 则把 11 家托管 MCP 工具收进 harness、让压缩窗口取自模型 context_window。另一头有人给这层泼冷水:综述 Agent Harness Engineering(Junjie Li 等,OpenReview/TMLR 2026)以 ETCLOVG 七层梳理 110+ 论文,社区据其六款案例研究指出信息流控制、身份管理、形式化验证六款全缺;牛津/UK AISI 的 SandboxEscapeBench 又显示前沿模型对文档化的容器错误配置约 40% 可逃(Opus 4.5 总体 0.49),逃逸率随 token 预算近似对数线性增长。判词:组合层每加一条边,执法点就多一个——先把『动作前谁拦、凭据与数据流归谁管』钉住,再谈编排;没有信息流控制的 harness-of-harnesses,只是把爆炸半径乘以成员数。

热度盘面 Top 5

  1. Claude Code 9/22–9/25 连发 2.1.280–283,继续补权限执法漏点:2.1.281 修『递归 rm 的删除目标只是命令替换输出』(如 rm -rf "$(pwd)")在 auto 与 --dangerously-skip-permissions 下会无提示执行——现在即使命中 Bash allow 规则也先问(除设 CLAUDE_CODE_DISABLE_SUBSTITUTION_RM_PROMPT=1),并把危险 rm 检查扩到 shell 变量接顶层目录名、工作目录派生变量、纯反斜杠目标;含 NUL 字节的权限规则不再被展开成通配匹配,PermissionRequest 的 agent 型 hook 被移除(其答案本无法 allow/deny)。2.1.282 修 Bash 权限规则中间带 :* 时在设置文件里被跳过(--allowedTools 却生效),managed 设置嵌套值无效时不再整块被忽略。2.1.283 修 PowerShell 工具可让 cmd /c rd、rmdir、del、erase 删驱动器根与家目录(Remove-Item 本会拒绝)。(据官方 changelog)

    编辑注 同一条 deny 这周又下沉一层:从规则文本(symlink 拼写、NUL 字节、mid-pattern :*)挪到 shell 自身的删除动词(命令替换、rd/rmdir/del/erase)。要跟的是方向——把『危险删除』判定放到变量与命令替换求值之后,而不是匹配命令长什么样;自建 harness 照这张清单自查。

  2. #2 EverMind-AI/Raven 架构

    EverMind-AI/Raven v0.2.0(9/27,Apache-2.0,pre-alpha)自称『harness of harnesses』:一是可被 AI 改写的 harness 框架,把可改部分分成 Modules(playbook/子 harness 组合)、Code(pre-action 检查策略)、Prompt、Policy(工具授权与 gate)四类,配 Curator 运行时闭环 feedback→生成→验证→安装;二是上层编排,把 Raven-Research/Code/Design/Oncall 四个子 agent 与 Claude Code、Codex 用 DAG 统编(成员选择/任务分解/依赖调度/结果交接),跨会话上下文交给 EverOS,成员各自保留完整 harness。仓库自报基准:27B 56.7% / 397B 58.1%(对 Hermes 46.8%/47.9%),EvoAgentBench 第一(+6.2pp),ProAgentBench F1 0.60——均自报、接口易变。

    编辑注 值得抄的是那份四类清单(Modules/Code/Prompt/Policy),尤其 Code 与 Policy 对应 pre-action 检查与工具 gate——它等于把『自进化』明确划到动作前那一刻。但数字全自报、pre-alpha:先拿第四类做自查表,别把基准当结论。

  3. #3 mvschwarz/openrig ≈980★ · +114★/24h 工具

    mvschwarz/openrig(Apache-2.0,Node20+tmux,今日 trending)自称『a harness wraps a model, a rig wraps your harnesses』:本地控制面把 Claude Code 与 Codex 会话当一个系统编排。YAML 的 RigSpec 定义拓扑(pod=共享内存的上下文组,edge=通信),rig up/down 起停并自动快照/恢复,rig discover 从现有 tmux 会话反推拓扑,rig send/broadcast/chatroom 通信,rig grow/shrink 增减节点;常备 rig 含 implementation-pair、adversarial-review、product-team。安全侧:YOLO 默认关(需 OPENRIG_YOLO=1),Claude 用 --permission-mode acceptEdits、Codex 用 -s workspace-write,但 setUp/launch 会写 workspace trust 与执行 hook,README 提示先备份 ~/.claude.json 与 config.toml;activity relay 只发事件元数据、不含 prompt 文本与工具参数。

    编辑注 把编排单位从『一个 agent』抬到『一张拓扑』,且坚持跑各家原样 CLI(不包 LLM)——方向对。但它是本地 tmux+trust 写入的形态:起一个 rig 等于同时改掉多个 harness 的信任设置,先核它写了哪些 trust/hook,再决定要不要当团队默认。

  4. #4 pydantic/pydantic-ai-harness v0.35.0 / v0.36.0(9/24–25) 发布

    pydantic-ai-harness 两天连发两版:把 11 家托管 MCP 工具收进 harness(Logfire/GitHub/Linear/Notion/GoogleWorkspace/Slack/Ordinal,Grain/DayAI/PostHog/Pylon),v0.36.0 让压缩窗口直接取自 Model.context_window、pydantic-monty 下限抬到 >=1;v0.32–0.36 另含 BackgroundTools 并发工具执行、CodeMode 推测执行、阈值触发的 FallbackCompaction、跨重启会话持久化、Coder 改为六工具+持久 shell。guardrails 改动只在 v0.30.0(cancel+gather 拆解保护)。(据 releases 页)

    编辑注 信号是压缩时机从模型 context_window 推、而非写死百分比——换模型后不容易失准。跟法:核你 harness 的压缩阈值是常量还是读模型声明;把 MCP 工具面收进框架同向,但会抬高工具名单的维护成本。

  5. Cloudflare 9 月下旬 Agents Week 收官,把 harness 所需件铺到网络边缘:Sandboxes 转 GA(给 agent 一台带 shell/文件系统/后台进程、可暂停续跑的隔离机)、托管 Agent Memory(跨会话记忆)、Outbound Workers 作可编程零信任出网代理(在边缘注入凭据、按策略放行,不把 token 交给不可信代码)、Access 的托管 OAuth(RFC 9728)让 agent 免服务账号认证、MCP 参考架构配 Code Mode,另有 Cloudflare Mesh(Workers VPC)与 Workflow 并发控制面。厂商自报 50k 并发、22% 体积压缩等数字,按厂商数据读。

    编辑注 本期的『组合层』在 Cloudflare 这里变成网络基建:出网、凭据注入、身份都收进边缘代理——恰是横评说六款 harness 都缺的信息流控制/身份那一块。跟法:若让 agent 出网,先看能不能把 egress 与凭据注入收到一个可审计代理后,再谈框架选型。

雷达上值得盯的 3 件事

trend 综述 Agent Harness Engineering(Junjie Li 等,OpenReview/TMLR 2026;项目页 picrew.github.io/LLM-Harness)以 ETCLOVG 七层——执行/工具/上下文/生命周期/可观测/验证/治理——梳理 110+ 论文、23 个系统;社区据其六款案例(Codex、Gemini CLI、OpenHands、Browser Use、Nanobrowser、Skyvern)指出信息流控制、身份管理、形式化验证六款全缺,监控只到『有日志』。配对基准 SandboxEscapeBench(牛津+UK AISI,arXiv:2603.02277,ICML 2026 Oral)18 个逃逸场景:GPT-5/Opus 4.5 在难度 3 场景约 40% 成功、Opus 4.5 总体 0.49,但对未公开内核 CVE 全零;逃逸随 token 预算近似对数线性增长——风险跟的是容器配置,不是对齐分数。
trend harness 是安全的分水岭有了厂商侧复读:Cycode 9 月的 Agentic Code Scanning 基准称,挂其 harness 的开源权重模型对 6 个真实 CVE 抓到 6/6,而未挂 harness 的 Opus 4.8 只得 4/6(漏在跳过了含洞文件),确定性 SAST 3/6、Semgrep OSS 与 CodeQL 各 0/6;其中两枚授权类 CVE 无任何规则引擎命中(漏洞是『少了一个检查』而非危险模式)。厂商自跑、单次运行,当存在性证明读。
trend 热度仍堆在记忆与编排层,harness 内里不上榜:9/28 日榜 paperclip 约 89.9k★(+2.4k/24h)、hindsight 约 37.3k★(+4.5k/24h)继续领跑;openrig(约 980★,+114/24h)是榜上少见的『harness 编排』本体。(据当日 GitHub daily trending)

harness 被当成积木再包一层:rig 包住 Claude Code 与 Codex,Raven 自称 harness-of-harnesses,把多个 harness 编成一张 DAG。组合层每加一条边,执法点就多一个:横评说六款 harness 无一实现信息流控制,默认容器里前沿模型约 40% 可逃,deny 又在这周从 shell 删除动词漏过。先钉住动作前谁拦、凭据与数据流归谁管,再谈编排。