今天四条动作指向一处:控制面正从『模型拒答』下沉到 harness 的拦截点——hook 有了公开规格,压缩开始算经济账。但 HarnessRisk 泼冷水:有配置看见 >90% 的风险仍照做,检测不等于拒绝。先查你的 hook 是 enforce 还是 evaluate。
控制面下沉到拦截点:agent hook 有了公开规格,但『看得见风险』离『拦得住』还差一整层 enforcement
热度盘面 Top 5
-
Microsoft 把 agent hook 从框架私约抽成公开规格 AGENT-HOOKS-0.1(Responsible AI 项目维护、v0.1.0-alpha Draft、单维护者):定义 8 个拦截点 agent_startup/input/pre_model_call/post_model_call/pre_tool_call/post_tool_call/output/agent_shutdown,三种裁决 allow/deny/transform,非法上下文/非法裁决/拦截器失败/超时一律 fail-closed。工具缝上的 deny 会在工具执行前拦下、或丢弃其结果再回一个只含策略理由(不含被封内容)的控制错误给模型,loop 继续;post_tool_call 的 deny 在被拒结果进入 agent 状态前丢弃;流式响应全程缓冲,output deny 释放 0 个分片。Python 侧以实验性 opt-in extra 进 agent-framework-core(未纳入 all 集合),另有 evaluate_only 模式只记账不阻断;.NET 明确延后(issue #7563,决策 0035 拟以单点装配 AsAIAgentWithAgentHooks)。(PR #7515)
编辑注 把 hook 当可移植的强制层,这是第一次有公开规格;但它是 draft、单维护者、仅 Python,且分 enforce 与 evaluate 两档——装了 hook 不等于有治理,先确认你跑的是哪一档,再谈它拦得住什么。
-
HarnessRisk(arXiv 2608.17597,8/18,UNC/UCF/MSU):把 agent harness 安全拆成 6 个生命周期阶段(配置/能力扩展/运行时/状态持久化/动作控制/事故恢复),128 个沙盒用例,3 款 harness × 6 模型 × 14 种配置。攻击成功率 12.6%–80.9%,而任务效用仍保持 75.0%–97.6%——干成活的与干坏事的可以同时发生;换 harness 最高让同一模型的攻击成功率差 4.3×;『Harness 配置』阶段最脆,攻击靠改安全敏感参数(如关审批、暴露内部网关)达成而不打断用户任务;更刺眼的是:某些配置检测到 >90% 的风险仍保有可观攻击成功率——检测不等于拒绝。
编辑注 这条戳破今天的乐观:有拦截点、有检测器,不等于会拒绝。建议型 guardrail 拦不住有意绕过;把安全敏感参数的变更做成 fail-closed、把权限按动作重验,才是这份基准给出的可落地项。
-
NVIDIA NVlabs 开源 SoL-Pi(9/11):不是 Pi 的发行版,而是靠 Pi 公开扩展 API 装上的独立扩展、不改 Pi 源码,四个机制全部 opt-in、默认关。Action Fusion(编辑/写入与其后续校验命令合并进同一次工具调用,省掉中间那次模型决策);ObservationPack(重复的大文本结果收成稳定句柄、按页精确召回);Evidence-Preserving Reducer(长诊断日志压成收据,且只有每处保留引用都能对上归档源才生效,否则原样返回);Online Context Compact(已完成的计划步骤成为压缩候选,先过经济与窗口压力检查——只有预计省下的量能覆盖重写对 KV-cache 复用的破坏才执行)。项目自报:相对 base Pi token 少 45%–49%、成本约降三分之一、保留约 94% 得分;相对 Codex/Claude Code 原生 harness token 少 35%–64%、标价成本低 50%–54%。(源自 152 个候选方向的自动研究漏斗)
编辑注 要抄的是那条经济判据:压缩不再『窗口满就压』,而是算 projected savings 能否盖过重写代价。把 compaction 从时间触发改成成本触发,省下的 KV-cache 比省下的 token 更值钱。
-
DeepSeek Harness v0.1.5(9/10)深度适配同日发布的 DeepSeek V4.1 Flash(V4.1 Flash 按 Standard/PTC/Minimalist 三模式专门为 harness 训练):模型可在保留既有 KV Cache 的前提下更新系统提示,长任务中途改规则不再重算大段前缀;Web 端支持上传图片/PDF 供模型按需经文件工具读取、右侧栏直接预览 Markdown/HTML/PDF/代码/图;插件在左右侧栏有标准扩展位;长会话加载/恢复/存储优化、父子 agent 双向通信,主 agent 可给子 agent 指定模型与推理档;实验性 Agent Teams 插件(共享任务列表、成员互发消息,默认关、额外耗 token)。
编辑注 『改系统提示不丢 KV-cache』是长任务里最实在的一处省——过去这是隐性的重算税。Agent Teams 默认关是对的:多 agent 的 token 账,该让用户自己签再开。
-
Forge(antoinezambelli/forge,PyPI forge-guardrails,MIT,Python 3.12+):自托管工具调用的可靠性层,把与上文同名的 pre/post tool-call 缝用在『修数据』而非『拦策略』上——rescue parsing 把畸形输出(代码块里的 JSON、Mistral [TOOL_CALLS]、Qwen <tool_call> XML)还原成标准 OpenAI tool_calls;响应校验查未知名与坏形状;失败走 retry nudges(默认 max_retries 3)并累计错误;step enforcement 管前置与终止工具;proxy 注入合成 respond 工具、并在客户端可见前剥离;tiered compaction(NoCompact/TieredCompact/SlidingWindowCompact)保留最近 N 轮保护区。OpenAI 兼容代理可挡在 opencode/Continue/aider/Cline/Claude Code 与 Ollama/llama-server/vLLM/Anthropic 之间。项目自报价:Ministral-3 8B Instruct Q8 在 llama-server 上,26 场景评测 86.5%、最难档 76%。
编辑注 同一批 hook 点,两家各取一半:Microsoft 用它拦策略,Forge 用它修格式。若你在自托管小模型,瓶颈多半不是权重,是这层把畸形 tool call 拉回 schema 的确定性回退——先补它,再谈换模型。