GPT-6.2 与 flash 档:3 个字段量出单任务成本
价格战之后真正该算的是单任务成本。给 Agent 的日志加 3 个字段、加 3 条路由规则,再用一张对照表判断哪些活可以降档。
GPT-6.2 与 flash 档:3 个字段量出单任务成本
这两天的消息拆开看是两件事。一边是 OpenAI 在 11-17 上线了 GPT-6.2 的 Astra 与 Sol 两个型号(9to5Mac 11-17)。社区评价两极,36Kr 的第三方复测结论是「被骂惨,我测完发现有点冤」。另一边是国产模型把 flash 档的报价压到竞品的八分之一,InfoQ 11-17 给出的口径是单任务成本降 58%。
对工程师来说,这两件事合起来只说明一件事:模型单价正在变成可以挑的变量。先量出自己那条链上「一件事多少钱」,再决定哪些活可以降档。
一、为什么「每百万 token 单价」算不出你的账
单价乘 token 听起来简单,落到真实调用里有三个变量被漏掉:重试让 token 直接翻倍,而账单里两行调用不会自动归到同一件事;把整篇文档塞进 prompt,输入长度随文档线性涨,单价差异被放大十倍;缓存的输入价格常只有原价十分之一却和普通输入合并记账,算出来的成本偏高,会骗你去做错误的降档决策。像寄快递按重量计价,只看单公斤价,会漏掉包装重量和退回的那一趟。
所以第一步不是换模型,是记账。
二、日志里加 3 个字段就能算清
不用上什么新平台,现有的调用外面包一层就够了。
```python
cost_log.py —— 每次调用后落一行,够算单任务成本
import json, time
单位:元 / 千 token,换成你自己的报价表
PRICE = { "tier-high": {"in": 0.020, "out": 0.060, "cache": 0.002}, "tier-mid": {"in": 0.004, "out": 0.012, "cache": 0.0005}, "tier-flash": {"in": 0.0005, "out": 0.0015, "cache": 0.0001}, }
def log_call(task_id, tier, usage, retry=0, ok=True): p = PRICE[tier] cost = (usage["in"] * p["in"] + usage["out"] * p["out"] + usage.get("cache", 0) * p["cache"]) / 1000 row = {"task_id": task_id, "tier": tier, "retry": retry, "ok": ok, "cost": round(cost, 6), "ts": int(time.time())} with open("cost.jsonl", "a", encoding="utf-8") as f: f.write(json.dumps(row, ensure_ascii=False) + "\n")
def task_cost(task_id): rows = [json.loads(l) for l in open("cost.jsonl", encoding="utf-8")] mine = [r for r in rows if r["task_id"] == task_id] # 含重试才是真实成本 return round(sum(r["cost"] for r in mine), 6), len(mine) ```
三个字段各自负责一件事:`task_id` 把重试和分段调用归到同一件事上;`tier` 让降档前后的同一条任务可直接对比,这是判断有没有省钱的直接依据;`retry` 单独统计,降档后失败率有没有上升一眼可见。
有了这三列,`task_cost()` 返回的两个值——单任务成本、调用次数——就是后面所有判断的依据。
三、3 条路由规则:什么活可以交给 flash 档
记账之后才有资格谈路由。下面这份配置是能直接改的形态,落在你自己的调度层里即可。
```yaml routing:
- match: {task: "extract"} # 抽取、分类、打标签 tier: tier-flash guard: {schema_required: true, max_retry: 2}
- match: {task: "summarize", input_tokens_lt: 8000} tier: tier-mid
- match: {task: "code_edit"} # 改代码、生成补丁 tier: tier-high guard: {run_tests: true}
- fallback: tier-mid # 未命中一律中档,别默认最高档 ```
三条规则背后的原则只有三句:有 schema 校验的活才敢降档(输出是 JSON、字段能被 pydantic 校验,错了系统自动发现并重试);超过 8k 输入的摘要不降档(长上下文里弱档更容易丢要点,而丢掉的要点很难自动发现);改代码别降档(一次错改的返工时间远超省下的钱,这是风险问题不是成本问题)。
`fallback` 那行更值得说。很多团队的实际写法是「没匹配上就用默认模型」,而默认值往往就是最贵那一档,于是路由形同虚设。默认值定在中档,是有意的。
四、先分级,再降价
把任务按「错了能不能自动发现」分级,比按任务名字分级可靠得多。
| 任务类型 | 建议档位 | 可降级的判据 | 不建议降的理由 |
|---|---|---|---|
| 抽取、打标签、结构化 | flash 档 | 输出有 JSON schema,可校验 | — |
| 短摘要(<8k 输入) | 中档 | 有人工抽检或关键词比对 | — |
| 长文翻译、长篇改写 | 中档,分段处理 | 分段后单段 <6k | 整篇塞入会撑爆输入成本 |
| 代码修改、生成补丁 | 高档 | 有测试可跑通 | 弱档错改的返工成本最高 |
| 多步 Agent 规划 | 高档 | 步骤间有状态校验 | 规划错一步,后面全废 |
第五行是关键:多步链路上单步省钱没意义,规划错一次,后面的工具调用与人工复核都要重来。
五、把 58% 摊到你的工作量上
下面这组数字是示意,请用你自己的 `cost.jsonl` 替换。设定 60 条任务:42 条抽取、12 条短摘要、6 条改代码,每条按输入 1,200 token、输出 300 token 估。
按单价表算,单条成本分别是:高档 0.042 元、中档 0.0084 元、flash 档 0.00105 元。
- 全部走高档:60 × 0.042 = 2.52 元
- 按上表路由:42 × 0.00105 + 12 × 0.0084 + 6 × 0.042 ≈ 0.40 元
降幅约 84%,比 InfoQ 报道的 58% 更高。差别不在模型,在任务结构:这个例子里 70% 是抽取任务,可降档比例高,降得就多;链路里大半是改代码和规划的,降幅会明显低于 58%。
这也说明一件事:58% 是行业平均口径,不是你的数字。同一个模型,任务结构不同,账单能差出三倍。
六、三个坑
坑一:只看平均成本,不看失败率。 降档后格式错误变多、重试变多,平均成本可能没降多少,但 `retry` 会先跳起来;判据是「单任务成本(含重试)」,不是单次调用价格。
坑二:分段处理反而更贵。 长文档切成 10 段,每段都要带一份指令和上下文,输入总量可能超过整篇塞入,切之前先用 `cost.jsonl` 对同一份文档跑两遍。
坑三:缓存没记进账。 命中缓存的输入按 1/10 计价时,按原价算的成本虚高,会让人误以为「必须降档」。
七、已知限制
- 只适用于可自动判别对错的任务。开放式写作降档后质量下降,日志看不出来,必须人工抽检。
- 单价表是变量,`PRICE` 里的数字随报价变动,本文价格仅为示例。
- 多步 Agent 的成本不能按单步相加估算,链路内重试与上下文累积会让总量偏高。
这套路由与记账在仙踪问道·智能助手里是配置文件的三段——`routing`、`price`、`guard`,改完重启生效,不用动调用代码;当参考实现用也行,字段名换掉照样能跑。
你现在那条链上,哪一类任务其实一直在用最高档跑?
