国内AI动态 tip
面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
核心亮点
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现了 35B-A3B 规模 MoE 在端侧实时无损运行,在 iPhone 18 Pro Max 上实测解码超过 20 token/s。这对"大模型上手机"是个硬指标级别的突破,意味着端侧不再只是跑小模型,而是能跑真正有分量的大模型。
具体能力或事件经过
所谓"端侧实时无损",指的是不靠把模型砍小、不靠云端兜底,而是让一个 35B 总参数、激活 3B 的 MoE 真正在手机本地跑出可用速度。LES 的"前瞻"体现在:它不是等 token 出来了才调度,而是提前判断接下来要激活哪些专家,减少等待,把推理变成连续流畅的过程。
技术细节
MoE(混合专家)模型把参数拆成多个"专家",每次只激活一部分。难点在于专家的路由和加载有开销。LES 用前瞻调度把"下次该用哪些专家"提前算好、提前搬到快取,从而把解码延迟压到 20 token/s 以上。iPhone 18 Pro Max 的 NPU 与统一内存带宽是它能跑起来的硬件前提,也说明端侧落地高度依赖芯片能力。
与竞品对比
很多端侧方案靠量化到极低比特或大幅剪枝换速度,代价是明显掉精度(有损)。LES 强调"无损",即在不牺牲质量的前提下提速,和苹果 Apple Intelligence、高通 NPU 方案走的是不同技术路线,更看重体验而非单纯的参数压缩。
行业影响或适用场景
对手机厂商和应用开发者,这意味着离线、隐私友好的本地多模态助手更接近现实。对行业,端侧大模型从"能跑"迈向"跑得顺",会直接带动端侧 Agent、实时翻译、本地图像理解等场景的落地,让手机真正具备本地智能。