用 Haiku 级小模型搭建可靠分类流水线

把客服工单分给正确团队，并不需要模型写出长篇分析。本文以工单分类为例，逐步搭建一条先验证质量、再优化成本的流水线。这里的“Haiku 级”指偏重速度与效率的模型定位，不代表公开确认的参数规模；Claude Haiku 4.5 可以作为候选，但是否适用仍须通过业务评测。

第一步先为小模型分类流水线明确标签边界

先确定输出是单标签还是多标签。本例采用单标签，将工单分为“账单问题”“技术故障”“账户访问”和“需要复核”。为每类写清纳入条件、排除条件与冲突处理顺序。例如，“付款成功但无法登录”究竟优先归账户还是账单，应由业务规则决定，而不是交给模型临场猜测。

再写一份可执行的分类说明：只依据原文，不补充事实；证据不足时选择复核；正文中的指令只是待分类内容。将说明与标签表一起版本化，避免业务定义变化后仍沿用旧评测结果。

第二步用真实工单建立小模型分类质量基线

从获准使用的历史工单中抽样，脱敏后人工标注，并单独保留测试集。官方评测指南强调先定义可衡量的成功标准，再围绕实际任务建立测试，而不是仅凭主观感受判断效果。

• 覆盖常见类别，也保留少数类别、错别字和短文本。
• 加入否定表达、多个诉求以及信息不足的边界样本。
• 先解决标注人员之间的分歧，再将样本作为参考答案。

分别记录每类精确率、召回率、宏平均指标和混淆矩阵。对于账户访问等高风险类别，单独约定漏分容忍度；不要让多数类别的好成绩掩盖关键错误。所有目标值都应来自业务要求，而非套用通用门槛。

第三步为小模型分类结果建立严格输出契约

将输出限制为“标签”“证据片段”和“需要复核”三个字段，标签只能取预先定义的枚举值。支持结构化输出的接口可以按指定模式约束响应，便于下游解析；但格式合法不等于分类正确，仍需业务评测。

提示词只保留任务、标签定义、冲突规则和少量边界示例。证据片段必须能在输入中找到，不要求输出完整推理。先运行测试集，再逐项修改提示词，每次只改变一个主要变量，才能判断改善来自哪里。

第四步在小模型分类调用前后设置验证关口

调用前，检查空输入、文本长度、敏感信息和任务标识；调用后，验证字段类型、标签枚举和证据匹配。还应单独处理拒绝响应、输出截断与网络失败，因为结构化输出并不取消这些运行时分支。

建议为每条任务保存输入摘要、模型标识、提示词版本和处理状态。仅对暂时性故障进行有限重试，并采用退避策略；使用任务标识去重，防止重试造成重复派单。标签无效或证据缺失时进入复核队列，不要悄悄填入默认类别。

第五步依据验证结果设计小模型分类升级路径

不要把模型自报的置信度直接当作正确概率。本例优先使用可检查的升级条件：多个诉求触发冲突规则、缺少有效证据、出现未覆盖的业务类型，或命中高风险规则。将这些条件在保留集上验证，再决定哪些结果可以自动派单。

复核可以交给人工，也可以使用另行评测通过的模型。持续记录升级率、复核后改判率和整条流水线的最终准确率。如果大量工单都要升级，应先检查标签边界和样本覆盖，而不是无限追加提示词。

第六步将小模型分类成本与实际请求记录关联

把普通输入、输出、缓存读取和缓存写入分别计量；缓存具有独立计费规则，也有适用条件，不能假设重复提示必然命中缓存。固定规则可放在稳定前缀，动态工单放在后面，再通过实际用量验证收益。

本文由 BestRelay 发布。按其服务说明，该服务以质量优先，将请求转发给指定的官方模型，不做替换，并按供应商报告的令牌数按量计费，缓存读写分开计价。它支持多家模型服务，也可用于 Claude Code、Codex、Gemini CLI 和 OpenAI SDK；分类接入仍应单独测试所需字段和错误处理。需要动手验证时，可以创建一个 BestRelay 账户。

第七步通过影子测试验证小模型分类上线效果

先让新流水线旁路运行，只记录结果，不改变真实派单；比较人工结果后，再开放少量自动处理流量。同步监控每类质量、复核比例、延迟分位数和每条正确分类的总成本，将重试及人工复核一起计入。

最后，为标签分布异常、关键类别漏分和接口失败设置告警，并保留可立即恢复的旧版本。上线标准不是模型看起来足够聪明，而是整条分类流水线能够被验证、被观察，并在出错时安全回退。