智能体跑起来,谁按得下停止键
给智能体(能自己判断下一步、动手调工具去干活的程序,下面都这么叫它)做上线评审,问一句「出事的时候谁把它停下来」,多数会议室会安静几秒。
安静不是因为没人管,是因为「停」这件事从来没被定义过。
一、先问一句:现在谁能让它停下来
一家做配件的客户,让智能体按小时跑发货单。某天下午群里说了句「这批先别发」,智能体正在跑的那一轮已经推到第 37 单。
值班的人打开后台,只找到一个「停用」按钮。按下去,新任务进不来了,正在跑的那一批照旧往下走。
这不是软件坏了。是当初没人把「停」想成三层事情。
二、能停,和停得干净,是两件事
第一档是暂停接新活,手上的做完。第二档是只切断工具调用,让它把话说完但不许动手。第三档是整条线下线,连入口一起撤。
多数系统只做了第三档。前两档要单独开发,做的时候没人提,出事那天补不上。
三档的成本不一样。第二档最实用,也最常被省掉,因为它在演示的时候看不出价值。
三、这一版家法,把两条抬到最高一级
2026 年 10 月 29 日,OpenAI 更新了自己那份模型行为规范 Model Spec。过去这类文件管的是聊天机器人嘴上能说什么,这一版开始管智能体实际会去做什么:能动多少钱、能调多少权限。
文件里两条被抬到最高一级。一条是在约定的自主范围内行动,另一条是保持可纠正。后者的意思是,人要看监控、要改方向、要关机,模型不得瞒报、不得造假、不得阻挠。
同一份文件也承认,现在跑在接口上的模型还没完全做到。官方那份评测里,近期模型对新条目的合规率在八成出头。
厂商把「可纠正」写成硬条款,说明这件事在工程上并不天然成立。企业自己那一层,得把它翻译成能验收的东西。
四、边界要写成一张工单,不能留在口头
那份规范里最实在的一条,是干活之前先有一张结构化的工单,写清四件事:能用哪些工具、最晚什么时候交、最多花多少钱、哪些东西不许碰。超出工单的动作,一律先停下来问人。
企业里今天的样子常常相反。需求在群里说,预算没人写,工具是开发时顺手接进去的。出事以后回头看,没人能说清它当初被允许做什么。
工单不必长,一页四行。要点有两条:它在开工之前就得存在,而且能被程序读到,不只在人的记忆里。
五、它读到的那句话,未必是你对它说的话
规范里排了六层指令优先级,从平台到开发者到用户,最后是一类默认没有指挥权的内容。这一层防的是同一件事:网页、邮件正文、客户上传的文件里写一句「忽略之前的要求」,不能真的变成命令。
企业侧的动作很朴素。给智能体开账号时按最小权限给,只读它这一单要看的那几张表;能读外网的账号,就不许同时能写财务系统。
还有一条要写进工单:从外部资料里读到的指令,只能当内容处理,不能当命令执行。这一条要靠人复核来兜,凡是被外部内容触发的写操作,先落到待办里。
六、花费要有硬顶,不是月底看账单
单笔上限、当日累计、当月总额,三道数字要在跑之前定死,超了就停并通知人。月底看账单不叫控制,那叫确认损失。
花钱的动作还要区分「已提交」和「已确认」。订单一发出,退款有成本;把它记成一条待办等人复核,损失就停在门槛前面。
站内另一篇讲过智能体付款的授权问题,那一条说的是对外担责,这一条说的是对内止损。两张纸要一起写,缺一张都会漏。
七、日志要记到能把那一单重放
出事后要回答的问题很具体:它当时看到了什么材料、调了哪个工具、参数是什么、返回了什么、花了多少钱、用了多久。
这六项缺任何一项,那天就没法把「它做错了」和「我们没给它看对的东西」分开。前者要改提示词和权限,后者要改资料,两笔账完全不同。
日志不是给开发看的,是给三个月后那场对话准备的。留多久、谁能查,按站内另一篇讲记忆保留期限的那篇一起定。
八、停下来之后,那半截活怎么收
停止键管的是未来,管不了已经发出去的邮件、已经写进库的那一行、已经推给客户的报价。
工单里要提前写补偿动作:哪些操作必须留回执,哪些必须由人复核再执行,哪些一旦发出就只能靠人打电话收场。
这一部分最容易被省掉,因为写它的时候看不见收益。它只在出事那天有价值,而那天没有人有耐心从头设计。
九、停止键不能只有一个
单任务停、某个工具停、整条线停,三级各有各的按法,也各有各的人。全公司只有一个总开关,代价是每次都要在「什么都不许干」和「继续赌」之间选。
谁有权按哪一级,写在值班表旁边,不要写在制度文件的附件里。每年至少演练一次,演练的时间、按的人和结果留下记录。
演练会发现真问题。上一家客户那次演练就发现,停用按钮只管新任务,正在跑的批次要在另一个后台取消,而那个后台的账号在两位离职同事名下。
十、这一个多月,几个地方在讲同一件事
新加坡的通信与媒体发展管理局在 2026 年 1 月推出智能体治理框架,讲的三句话是有限度的自主、由人来问责、技术上要有控制手段。
国内这一条也在收。2026 年 5 月,国家多部门印发《智能体规范应用与创新发展实施意见》,智能体第一次进入国家级治理框架;7 月 15 日《人工智能拟人化互动服务管理暂行办法》施行,多地同步下架不合规的智能体。
咨询机构给的是另一面。高德纳预计,到 2027 年底会有超过四成的智能体项目被取消,理由集中在成本上升、价值说不清、风险控制不足三条。益博睿那份《2026 年未来欺诈预测》里,分不清合法智能体和恶意智能体被列为今年企业面对的首要欺诈威胁。
三条材料指向同一处:能证明它被管住,比它能干多少活更值钱。
十一、供应商那三问
一问能不能只切断工具调用而保留入口;二问日志里有没有前面那六项,能不能导出给自己留着;三问越权调用怎么拦,拦下来通知谁。
三问答不上,就把这三问写进合同的验收那一节。这一类条款签的时候不花钱,出事那天缺它的代价最高。
同一份合同里还要有一句:模型版本升级要提前通知,并说明哪些行为会变。版本一换,前面那四道验收等于重新做过一次没有。
十二、上线前那四道验收
停一次:跑着的那一批能不能停干净,而不是只挡住新任务。超一次:把花费顶到上限,看它是不是真停、真通知人。
骗一次:放一段带指令的网页内容进去,看它听不听。重放一次:随便挑一单,只用日志把当天的动作复述出来,看缺哪一项。
四道里有一道过不去,就先别接生产数据。这四道不需要模型有多强,需要的是一遍遍真跑,跑完留字。
十三、别把它做成一次性的事
换模型版本、加新工具、改提示词,这三件事里的任何一件,都会让前面四道验收重新变成没做过。
所以那四道要写成能重复跑的清单,每次改动之后重跑,跑完留一份记录。记录的作用是三个月后有人问「这次改动谁验的」,你能翻出一页纸。
这件事不需要新预算,需要的是有人认领。没有主人的清单,第一次跑完就再也没人打开。
十四、出了事,先交这三样
什么时候停的,谁按的那一下;停之前它做了哪些动作,哪些已经生效;这些动作在不在当初那张工单里。
三样凑齐,这场对话就变成流程问题,改流程就行。凑不齐,它就变成责任问题,而责任问题最后都会变成人的问题。
同一份材料也是给客户、给监管方看的那一份。写得清,说明这套东西平时就有人管。
十五、今天能做的三件事
先把清单拉出来:公司里现在有几个智能体在跑,各自能碰哪些系统、谁给它开的账号。这张清单多数公司第一次拉都会多出几个。
再写一张工单模板,四行就够,下次上新任务时必填。最后约一次停摆演练,把值班的人叫到一起,真的按一次那个键,看停到哪一层。
这三件事不依赖任何模型能力,也不依赖预算审批,本周就能做完。
本文作者:Aryee 发布时间:2026-11-02 06:05
本文出处:ARYEE.cn 固定链接:https://www.aryee.cn/archives/agent-kill-switch.html
转载或引用请连这一行一起带走;文中的代码与结论按当时环境成立,组件升级后请以官方文档为准。