国内AI动态 ai-models
flash,560B 参数模型可 4 卡部署
核心亮点
蚂蚁百灵(Ling)团队正式开源 Ling-3.1-flash 模型,几个数字很抓人:总参数约 5600 亿、每 token 激活约 250 亿、最长支持 100 万上下文,而且官方强调可以 4 卡部署。这意味着在显存受限的条件下,也能把一颗超大规模 MoE 模型跑起来,对国内想做私有化的大企业很有吸引力。
具体能力
Ling-3.1-flash 走的是大总参、小激活的 MoE 路线——模型整体很大,但每次推理只激活其中一小部分参数,兼顾了能力强和推理省。1M 上下文则让它能一口气读完一整本书或一沓长文档,适合合同审查、长报告分析这类需要长记忆的任务。开源后,企业可以把它拉到内网,做贴近自身业务的微调与部署。
技术细节
4 卡部署背后是 MoE 架构、量化与推理优化的组合拳。560B 总参如果全精度加载肯定装不下,但通过 FP8 量化、专家并行和流水线切分,把权重和激活分摊到 4 张卡上就成了可能。1M 上下文则依赖更高效的注意力机制和长序列训练策略。蚂蚁把权重同时放在 Hugging Face 和 ModelScope,照顾了海外与国内开发者的访问体验。
与竞品对比
和国产其他开放权重的旗舰模型比,Ling-3.1-flash 的卖点是规模与可部署性的平衡——既够大,又不至于大到只有大厂才用得起。和闭源 API 模型比,它的优势是数据不出内网、长期使用成本可控。对金融、政务这类对数据合规极敏感的行业,这种大而能装的开放模型正中下怀。
行业影响或适用场景
蚂蚁本身来自金融科技场景,Ling 系列的开放,直接惠及银行、保险、政务等需要私有化、强合规的行业。超长上下文加可 4 卡部署,让在企业内网跑一个够大的模型从奢侈品变成可选项。这也延续了国产大模型开源换生态的趋势,谁能把部署门槛压得越低,谁就能圈住越多行业客户。