AI AI工具情报站
PythonMIT

本地大模型提速不再靠玄学:这个 Skill 把爬山调参写成了标准流程

⭐ 1.7K Stars

这个项目能干嘛

你有没有过这种经历:本地明明有张不错显卡,跑大模型却慢得让人抓狂,于是到处翻 flag、抄参数、改一行跑一次,最后快了多少全凭运气,换个模型又得从头来。inference-optimisation-skill 干的就是把这件玄学的事变成可复制的工程流程。它是一份给 AI 智能体读的操作手册,专门对付"本地大模型服务怎么才能更快"这个问题——从单用户解码、并发解码、推测解码,到 prefill、KV 缓存大小、启动时间和首 token 延迟,全都覆盖。最关键的是,它不是一张参数清单,而是把作者真实调优时踩过的坑、验证过的方法固化成步骤,而且每一步都要求在内存上限内完成、用完整长上下文稳定性检查兜底,避免你为了跑分把模型调崩。

为什么最近火了

它 11 月 16 号才开源,几天就冲到 900 多星,我觉得原因挺实在。一是时机:现在本地跑模型的人越来越多,Intel Arc、RTX 3090 这类消费卡上跑 30B 甚至更大模型已经很常见,可大家普遍卡在"能跑但不够快"这道坎上,一个能直接抄的调优流程简直雪中送炭。二是它踩中了 Agent Skill 这个新风口——它不是给人看的文档,而是给 Claude Code 这类编码智能体加载的技能,你把仓库丢给它,它就能照着流程自己动手调。README 里那一整张实测加速表传播力极强:256K prefill 提速 2.1 倍、启动从 113 秒压到 43 秒、4×H200 上从加载就崩到 229 tok/s,这种带硬件型号和前后数字的成绩单,比任何口号都有说服力。

技术亮点

真正有意思的是它的方法论,而不是某几个参数。整套流程六步:先算出你这台机器的理论性能上限,知道天花板在哪;然后一次只改一个变量,绝不打包修改;每次改动都要和交错安排的对照组一起测,排除系统波动;所有结果都记下来,包括失败的——失败记录恰恰是最值钱的部分;接着用长上下文检索当闸门,短文本跑分漂亮但长上下文一塌糊涂的方案直接淘汰;最后发布前还要用一个干净、版本锁定的构建重新验证一遍。具体到技术细节,它玩的是推测解码(speculative decoding,简单说就是让小模型先猜、大模型批量验)、MTP 多 token 预测、自定义 XPU kernel、KV 缓存分区这些硬核手段。README 里那张表能看出功力:同一张 Arc Pro B70,llama.cpp 的 Q4_K_M 只有 25 tok/s,换成 vLLM 加自定义 XPU kernel 直接干到 91.2 tok/s,16 并发更是冲到 365;RTX 3090 上跑 Qwen3.6-35B-A3B,3bpw 加 MTP 能到 251.7 到 357.9 tok/s。这些数字全部标注了硬件、模型、量化和引擎,别人能照着重现。

适合什么人

第一类是在自己电脑上折腾本地模型的极客,尤其是手里有 Intel Arc 独显或 RTX 3090 这类卡、总觉得没榨干性能的人。第二类是要在生产环境部署本地推理的团队,你需要的是稳定、可复现、经得起长上下文考验的调优,而不是一次性的跑分快感,这套带对照组和失败日志的流程正好对味。第三类是 Claude Code 或者其他支持技能的编码智能体重度用户,把它当作一个可加载的能力挂上去,让 AI 帮你干活。就算你不用任何智能体,README 里那套"算上限—单变量—对照组—全记录—长上下文把关—锁定构建"的思路,也值得任何做性能调优的人抄进自己的工作流。

快速试用

直接把仓库克隆下来读 SKILL.md,或者对照 PROMPT.md 让任意模型跟着流程走;用 Claude Code 的话把它作为 skill 加载即可。项目本身是方法论,不强制绑定某套引擎,你用 vLLM、SGLang 还是 llama.cpp 都能照着做。

与竞品对比

需要说明的是,这个项目的定位是"调优方法论",和具体推理引擎不在一个层面,更适合拿来和手动调参、官方 benchmark 工具比。

  • 对比手动翻 flag 调参:靠经验、不可复现、失败不留痕;它用单变量加对照组把过程实验化,失败也记录,任何人照着能重跑出同样结果。
  • 对比 llama-bench 这类跑分工具:跑分工具只告诉你"快不快",不告诉你"怎么变快";它给的是完整路径,从理论上限一路走到锁定构建。
  • 对比 vLLM / SGLang 官方调优文档:官方文档只覆盖自家引擎,它跨引擎跨硬件,同一张卡上 vLLM 和 SGLang 的差异都帮你测过。
  • 对比引擎自带的自动调优:自动调优通常只在一个引擎内部搜索,它把整个服务栈——量化、kernel、KV 缓存、推测解码、启动流程——都纳入视野。

一句话,别人卖给你鱼,它教你怎么在一张陌生的卡上自己找出鱼群在哪。

🚀

开始使用

开源 · 可商用

MIT· Python