AI AI工具情报站
国内AI动态 tip

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

📰 公众号:面壁智能(MiniCPM) 📅 2026-10-20

核心亮点

面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现了 35B-A3B 规模 MoE 在端侧实时无损运行,在 iPhone 18 Pro Max 上实测解码超过 20 token/s。这对"大模型上手机"是个硬指标级别的突破,意味着端侧不再只是跑小模型,而是能跑真正有分量的大模型。

具体能力或事件经过

所谓"端侧实时无损",指的是不靠把模型砍小、不靠云端兜底,而是让一个 35B 总参数、激活 3B 的 MoE 真正在手机本地跑出可用速度。LES 的"前瞻"体现在:它不是等 token 出来了才调度,而是提前判断接下来要激活哪些专家,减少等待,把推理变成连续流畅的过程。

技术细节

MoE(混合专家)模型把参数拆成多个"专家",每次只激活一部分。难点在于专家的路由和加载有开销。LES 用前瞻调度把"下次该用哪些专家"提前算好、提前搬到快取,从而把解码延迟压到 20 token/s 以上。iPhone 18 Pro Max 的 NPU 与统一内存带宽是它能跑起来的硬件前提,也说明端侧落地高度依赖芯片能力。

与竞品对比

很多端侧方案靠量化到极低比特或大幅剪枝换速度,代价是明显掉精度(有损)。LES 强调"无损",即在不牺牲质量的前提下提速,和苹果 Apple Intelligence、高通 NPU 方案走的是不同技术路线,更看重体验而非单纯的参数压缩。

行业影响或适用场景

对手机厂商和应用开发者,这意味着离线、隐私友好的本地多模态助手更接近现实。对行业,端侧大模型从"能跑"迈向"跑得顺",会直接带动端侧 Agent、实时翻译、本地图像理解等场景的落地,让手机真正具备本地智能。