一张显卡就能跑 3210 亿参数大模型？Project Maya 把数据中心级模型搬回了家

这个项目能干嘛

Project Maya 干了一件事：让你用自己手里现有的显卡，把 Z.ai 开源的 GLM-5.3-Flash 这个 3210 亿参数的超大模型真正跑起来。这个模型有 321B 总参数、每个 token 只激活约 18B，上下文最长能到 100 万 token。平时这种体量的模型基本得靠数据中心，Maya 的目标就是把它塞进你的主机——从一张卡到 16 张卡，NVIDIA 或 AMD 都行，Linux 和 Windows 都能上。它自带推理引擎、本地服务端、浏览器里的聊天面板和实时监控，还提供兼容 OpenAI 和 Anthropic 的 API，能直接接进你的 Coding Agent。说白了，你想在本地拥有一个接近旗舰水平的私人助手，Maya 把门槛从"机房"降到了"书桌"。

为什么最近火了

火得很快，核心原因是它精准踩中了两个痛点：一是大家越来越在意数据和隐私不出本机，二是 GLM-5.3-Flash 本身开源且能力强、但普通人根本跑不动。Maya 不是简单套壳，而是专门为这一个模型写了一套"分层显存调度"引擎——它把对话最常用的专家留在 GPU，次常用的放内存，其余的搁在 NVMe SSD 上，聊到哪搬到哪。再加上作者放出了大量真实用户的实测速度（4 张 RTX 4090 跑 118 token/s，单张 RTX PRO 6000 跑 81，单张 5090 也有 30+），这种"看得见摸得着"的跑分比空泛宣传有说服力得多，很快在本地大模型圈子里刷屏。

技术亮点

最值得说的是它的"分专家放置"策略。MoE 模型每算一步只激活一小部分专家，Maya 会一边聊一边统计你常用的专家，把热的放显存、温的放内存、冷的放硬盘，几乎不浪费你的显存。它还会自动测量你机器的 GPU、CPU、内存、SSD 性能，然后自己调参，不用你手填一堆晦涩配置。

速度方面，官方给的真实数据很猛：4 张 RTX 4090 上最高 118 token/s，单张 RTX PRO 6000 上 81 token/s，即便只有一张 RTX 5090 也能稳定 30+ token/s。精度上，Maya 自己做的量化能把 FP8 原模型的零样本准确率保留在 97.7% 到 99.2% 之间，基本看不出掉点。

接口层面它完全兼容 OpenAI 和 Anthropic 的 API，支持工具调用（tool calls），所以 Claude Code、Codex 这类编程 Agent 能直接把它当后端用。它还支持最多 8 个并发请求——一台机器几个人同时用，或者一个 Agent 开多个会话都没问题。浏览器里内置了聊天界面和实时监视器，能看图片、调思考强度，一条命令就能把整套环境拉起来。

适合什么人

如果你是本地大模型玩家、想拥有一个不联网也能用的私人助手，Maya 几乎是为你量身做的。对隐私敏感、不愿把聊天记录交给云端的用户也会喜欢它"数据不出机箱"的特性。它同样适合想给 Coding Agent 接一个本地强模型、又不想被云端 API 限流和账单困扰的开发者。唯一的前提是你得有一张够新的 NVIDIA 或 AMD 显卡，以及足够的磁盘空间放那个庞大的模型文件。

快速试用

先把仓库克隆下来，再按官方文档执行一键 setup 拉起整套环境：

git clone https://github.com/mw00/project-maya
cd project-maya
# 按 README 执行一键 setup，模型权重从 HuggingFace 下载（GLM-5.3-Flash-Maya-GGUF）

模型权重托管在 HuggingFace 上，按指引下载对应量化版本即可。

与竞品对比

和它最像的是 llama.cpp / Ollama 这类通用本地推理引擎。区别在于，Maya 不是"什么模型都接"的通用工具，而是专为 GLM-5.3-Flash 这一个模型深度定制的，所以能把 321B 这种巨型 MoE 在家用硬件上跑出可调的速度和精度。通用引擎胜在模型广、生态大，但在超大规模 MoE 的显存分层调度上往往没有 Maya 这么激进。如果你就想跑 GLM-5.3-Flash 而且要快又要准，Maya 目前基本是最省心的选择；如果你需要频繁切换各种小模型，通用引擎反而更灵活。