TTFT 降 16.9%、429 错误减少 67%
核心亮点
OpenRouter 于 10 月 28 日宣布,自公司创立以来对默认路由算法做了最大一次改进。过去默认路由几乎只奖励一件事——低价;新路由则奖励对你真正最好的推理:既便宜,又快速、高吞吐、可靠。约 77% 的请求会落到由多个供应商共同服务的模型上,路由如何选供应商,直接决定体验。
具体事件经过
旧算法几乎完全按输入 token 价格分配流量:越便宜的供应商拿到的份额越大,失败请求再路由到次便宜的。这虽带来生态最低价,却有三个副作用——便宜但糟糕的供应商也能赢;排名静态、无法实时反映性能波动;供应商只能靠砍价抢流量,反而削弱其在可靠性上的投入;还催生"低价输入 + 高价缓存/输出"的定价游戏。
技术细节
新算法持续监控每个供应商的性能,算出实时"路由成本"(Routing Cost),涵盖实际花费的美元、等待的时间、以及失败/不可用时的重试代价。它分三层度量:有效价格(按真实缓存命中与输入输出混合计算,堵死低价游戏)、吞吐(端到端输出 token/秒,可换取更高价格)、TTFT(首 token 时间,对代理多工具调用尤为关键);可靠性与质量(坏响应会重罚)。流量在"竞争边界"内共享,并设地板(每家留一点流量以便发现改善)、退避(失败时减流)、上限(按容量自动 spill)三道护栏。
与竞品对比
相比多数推理网关仍按价格或手动排序,OpenRouter 把"好答案的真实成本"变成自动调度信号,且无需用户改一行代码。需要纯价格路由的用户仍可通过 provider.sort=price 或 :floor 保留。
行业影响与适用场景
对通过 OpenRouter 调用数百模型的开发者与代理应用,新路由意味着更快、更稳、更省的默认体验。实测一周拆分 2400 万请求、1030 亿输入 token:TTFT p50 降 16.9%、吞吐 p50 升 16.3%、每次请求成本仅升 6.0%、429 错误率降 46%。这是把"市场竞价"升级为"质量竞价"的范式转变。