登录·注册
BestRelay

返回刊物

给接口输出留足余量,比一味截短更稳妥

停止序列与输出上限分别解决边界和预算问题

调用模型接口时,让回答及时结束,并不等于把长度限制得越短越好。停止序列负责识别指定的结束标记,最大输出令牌数负责限制生成预算。前者像句号,后者像纸张边缘;碰到纸边,文章未必已经写完。

这篇由 BestRelay 发布的入门文章,建议先把两件事分开考虑:任务在哪里算完成,以及最多愿意为输出预留多少空间。提示词中的“请简短回答”表达写作要求,但不能替代接口提供的硬性限制。

停止序列适合明确边界而不适合随意截断答案

停止序列通常是一段需要精确匹配的文本。模型生成它时,接口便结束输出;在许多接口中,这段标记不会出现在返回内容里,具体仍以接口行为为准。标记应当足够独特,避免与正常答案中的文字重合。

例如,处理分段文本时,可以约定一个专用结束标记,却不宜拿常见标点或换行当作通用终点,否则回答可能刚开头就结束。停止序列也不是安全过滤器,不能保证模型一定生成标记,更不能代替内容检查。

输出预算需要覆盖完整答案并留出合理余量

令牌不等于汉字,也不等于单词。中文、数字和符号的切分方式会随模型变化,因此不要把令牌上限直接理解为字数上限。它通常限制输出,而不是整次请求的输入与输出总和;上下文窗口则是另一项约束。

上限是天花板,不是必须用满的配额。预算过小,回答可能停在半句话,结构化数据也可能缺少结尾。部分推理模型还会把不可见的推理消耗计入相关预算,因此可见答案很短,也不一定代表预算充足。

先检查接口支持情况再根据实际结果调整参数

不同接口对停止序列、数量限制和输出预算字段的支持并不一致。使用兼容接口,也不代表所有模型都接受相同参数。先核对所选模型的接口说明,再用短答案、长答案和容易包含结束标记的内容进行测试。

每次测试都应检查返回的结束原因和用量记录,而不只看文本是否读起来顺畅。若因达到上限而结束,应考虑增加预算或拆分任务;若被停止序列提前截断,应调整标记。流式输出还要等待结束事件,不能把一次暂时没有新片段当作生成完成。

中转服务的兼容性不能替代模型本身的能力判断

BestRelay 以质量优先,将请求转发给请求中指定的官方模型,不替换模型,覆盖 Claude、GPT、Gemini、DeepSeek、Kimi、GLM、Qwen、Grok 等系列,并可配合 Claude Code、Codex、Gemini CLI 及各类 OpenAI SDK 使用。不过,工具能够连接,不意味着底层模型拥有完全相同的停止行为。

其费用按提供方报告的令牌用量随用随付,缓存读取和写入分别计价,因此不能仅凭可见答案长度估算账单。会员邀请他人充值可获得推荐佣金,这与输出预算应分开考虑。欢迎创建 BestRelay 账户。

更稳妥的起点,是先保证答案完整,再逐步收紧预算。需要明确文本边界时才使用停止序列,需要控制消耗时设置输出上限,并通过实际结束原因验证结果,而不是依靠猜测。

想亲自试试文中提到的模型? 注册