LangChain 讲解如何在 Agent Harness 中构建模型路由器

核心亮点

LangChain 在开源编程智能体 Open SWE 里构建了一个模型路由器。在 973 个线程的 A/B 测试中，单次任务中位成本从 $2.61 降到 $0.94（降 64%），PR 合并率 29.2% 对 27.3%，质量没有可测变化——典型的"更便宜还没变差"。

具体能力或事件经过

模型路由器解决的是一个老问题：不是每一步都该用最贵的模型。简单任务派给小模型，复杂推理留给大模型，由路由器按上下文动态分配。LangChain 把这个机制做进了 Agent 的 harness（执行框架）里，而不是写死在提示词中，因此上层逻辑感知不到模型在切换。

技术细节

路由决策通常依赖任务类型、上下文长度、历史成败等信号。把路由放在 harness 层，好处是模型切换对调用方透明，也更容易做成本核算、回放实验和灰度对比。整套逻辑可被观测、可被 A/B，而不是黑盒。

与竞品对比

很多团队用单一旗舰模型跑全流程，成本高且没有必要。LangChain 的做法与 Anthropic 的模型分级、业界的"小模型兜底"思路一致，但把它工程化成了一个可度量、可对照的组件，而非一次性脚本。

行业影响或适用场景

对做 AI 产品的团队，这是降低推理账单最实在的一课：把预算花在刀刃上。模型路由正在从高级技巧变成标配，尤其适合客服、代码、数据处理这类任务异质性强的场景。

进一步分析

说白了，路由器值钱的地方不只是省钱，而是把"该用哪个模型"这个决策从人脑里搬进了系统。当任务量上来后，手工分派会崩溃，而路由策略可以持续用真实数据迭代。LangChain 在 Open SWE 上跑出 64% 降本且质量持平，说明编程工作流里大量步骤本就不需要旗舰模型，先路由再执行是更稳的默认架构。

数据口径与可信度

这次结论来自 LangChain 自己在 Open SWE 上的 A/B 测试，样本是 973 个线程，属于厂商自报数据，应当打个折扣看。降本 64% 是中位值，意味着分布里仍有高价长尾任务没被省下来。PR 合并率提升 1.9 个百分点也不算显著，更像是噪声。所以把它当成"路由有效"的方向性证据即可，别当成通用基准。

风险与边界

路由不是免费午餐。路由策略本身需要维护，模型更新后阈值可能失效；错误路由会把难任务派给小模型，导致质量 quietly 下降。还需防"路由被刷"——如果成本成了唯一目标，策略可能钻空子选最便宜但答错的模型。

给工程团队的建议

真要做，先从一条高流量、低风险的链路试点，记录每步的成本与质量，再逐步扩大。把路由决策和评分标准写进代码与 CI，而不是存在某人口袋里。