TL;DR — 模型分派表需要更新,但「难度永远固定」也说得太满。我的做法是先描述任务、错误后果与验收要求,再把当期模型与设定放进另一张带日期的表。两层分开,有助于减少重写;两层仍然都要在条件改变时重看。
前阵子,我请 Claude 帮忙分派工作。它整理出一张表:难的交给 Opus,中等的给 Sonnet,量大又规律的给 Haiku。这是当时的建议,不是本文替今日模型做的排名。
接着我问,如果模型一直改版,原本那张表要怎么办?
一件事今天需要较多资源,明天可能有别的做法;但也可能因为资料、工具或要求改变,反而更难。分派表不能只记名字,还需要留下判断依据与重新检查的方法。
分派表为什么会悄悄过期?
把模型名字直接写进每一条规则,容易让一个当时合理的选择,变成后来没人重新检查的习惯。工具仍能执行,不代表它仍是合适的安排。
不只是能力会变。任务范围、输入品质、价格、可用权限与交付要求,也可能改变。过期不一定只表现为多花钱,也可能是漏掉新风险,或把检查做得不够。
所以我想知道的不是表还能不能查,而是:这一列最近是根据什么证据更新的?
把任务描述与模型绑定分开
Anthropic 的工作流设计文章介绍过路由与调度。这些是可参考的安排方式,并不替我的分类法或当期模型选择背书。
我的两层设计是:第一层描述工作与验收,第二层记录目前交给谁、使用什么设定。前者不必随每次模型命名一起重写;后者则刻意保持容易替换。
例如,同样是文字修改,校正标点与改写影响决策的主张,需要的检查不同。这不表示后者一定推理更难,而是错误后果与责任安排不同。
把模型名称移出判断规则,可以减少绑死供应商的机会,不能保证规则从此不用改。新的任务型态、证据要求或权限条件出现时,分类也应跟着调整。
难度、风险与判断空间,分别看
我原先把错误成本当成难度最重要的轴,现在会把它们拆开。难度谈完成工作的挑战;错误后果谈影响,风险评估还要看出错机会与控制措施,不能混成同一个分数。
一项看起来很简单的操作,也可能因为不可逆、涉及别人或影响范围大,而需要更严格的确认。一项很难的探索,如果只是可丢弃的草稿,则未必需要同样的发布门槛。
错误成本也不是永久常数。使用情境、依赖范围、能否恢复原状与是否有人复核,都可能改变后果。模型完成任务的相对难度会变,任务本身的条件也会变。
因此,我会分别记录:需要哪些推理与资料、有哪些取舍、错误会影响什么,以及谁负责验收。不能用一个高、中、低分数,直接取代这些问题。
重校不是换上最新模型就完成
我曾遇过排程上游断掉,流程无声停下来,隔了一阵子才发现。这段经验让我在意「还活着吗」之外的另一问:它现在做出来的结果,还符合用途吗?
我会留一组来自实际工作的代表任务,先写清楚可接受的结果,再比较候选安排。约十题可以是小规模起点,不能拿一次跑过就宣称所有任务都稳定。
检查时要把版本、资料、设定与验收条件记下来;比较成本也要算入等待、重做、复核与整合。模型换代不保证更便宜的选择一定过关,也不表示应立即把所有工作移过去。
更新表的日期,是留下可追查的记录,不是证明它已经正确。未完成的测试与仍有疑虑的用途,也应一起保留。
多个角色,可以暂时指向同一个模型
我会让绑定表容许多个角色使用同一个模型,避免为了维持层级而硬拆工作。但角色数会不会收敛、什么时候收敛,不能预先写成必然。
角色分开、模型不同与检查有效,也不是同一回事。需要另外观点时,可以考虑不同资料、提示或评阅安排;多开一个视窗,本身不保证判断独立。
这延续了我在多模型认知协作与Fable 5 的工作系统里关心的问题:分工的价值,在于是否帮助完成工作,不在于用了多少模型。
退场条款,也是设计的一部分
Anthropic 在多代理研究系统的经验文章提醒过协作的成本与适用限制。那是特定系统的经验,不是所有工作流固定的 token 倍率,也不能推出所有程式工作都不适合分工。
对我的系统而言,该不该保留调度,要比较它带来的品质、成本与维护负担。供应商提供内部路由,可以成为重评的理由;还要看可控性、权限、资料与验收要求,不能看到功能就直接退休自己的安排。
我以前收掉过一个价值撑不起维护成本的自动优化系统。这个经验提醒我:工具不必永远留下来,却应该能在退场时交代依赖、保留需要的资料,并让工作有别的走法。
附:一张可以拿去填的检查清单
先选三到五种常做的工作。对每一种,写下四件事:输入与范围、需要的资料与推理、错误后果、完成后谁用什么标准验收。
再建立一张带日期的绑定表,记录角色、模型版本、可用设定、工具与权限,以及选择理由。表可以提出建议,实际跨模型执行、付费或发布,仍需符合既有授权。
接着准备代表任务与反例,记录通过、失败与尚未测到的范围;重校时,对照完整的交付成本。最后写出重评或退场条件,别把它们藏在没人会再看的地方。
这份检查清单是设计起点。实际能使用哪些模型、工具与权限,仍要在自己的环境确认;一个视窗里可以提出分派建议,不表示它也能照那张表跨模型执行。
留下方法,也允许方法被修改
多视窗与多任务展开之后,我曾和朋友聊到一个共同感受:产出变快,追踪脉络反而更费力。我们都又用起手写笔记本,帮自己整理方向。
这不是手写一定胜过工具,而是提醒我,调度也需要人的注意力。能节省多少模型费用,不能单独决定一套安排值不值得留下。
我现在会把原来的「难度当常数」改成一个较实在的原则:让任务与验收要求有清楚的位置,让模型选择可以重绑,两者都保留修正的入口。更多工作流思考见AI 与人类秩序。


💬 留言讨论
加载中...