AI AI工具情报站
AI资讯ai-models

280B 参数轻量模型,主打长程智能体与多模态推理

公众号:小红书技术(dots.llm)2026-08-14T11:25:29.000Z

核心亮点

小红书技术团队开源了 dots3-note Preview,这是 dots3 系列里最轻量的模型。它的总参数为 280B,但激活参数只有 16B,属于典型的 MoE(混合专家)架构——用较小的"激活量"换来了接近大模型的表达力,同时把推理成本压了下来。该模型主打两条主线:一是长程智能体(agent)任务,二是多模态推理。换句话说,它想同时做好"想得久"和"看得懂"。

具体能力或事件经过

dots3-note Preview 支持 512K 的上下文长度,足以把一整本书、一整套代码库或一连串多轮对话塞进一次推理。更重要的是,它能同时理解文本、视觉与语音三种输入,意味着它可以读图、听音、读字并综合判断。针对"长程智能体",团队做了专门优化:让模型在需要多步规划、反复调用工具、跨长时间维持目标的任务中更稳。这类能力对自动化工作流、智能客服、内容审核等场景尤为关键。

技术细节

总参 280B、激活 16B 的设计,是 MoE 架构的典型体现:每次推理只唤醒少数专家网络,既保住知识容量,又控制算力开销。512K 上下文背后,是成熟的长序列训练与位置编码方案。多模态方面,模型在预训练阶段统一对齐图文音信号,使跨模态推理更自然。值得指出的是,Preview 版本意味着它仍是预览形态,后续可能根据社区反馈继续迭代,权重开放也便于开发者先行试用。

与竞品对比

在"轻量却强"的赛道,dots3-note 直接面对 Qwen、DeepSeek、智谱等开源模型的竞争。280B/16B 的激活比,让它在效果与成本之间取得平衡,类似思路也见于诸多 MoE 模型。与纯文本模型相比,它的多模态与长程 agent 取向更具差异化;与其他多模态模型相比,它又把参数规模克制在相对亲民的区间。说白了,小红书想用一款"够用、便宜、能干活"的模型,证明内容社区也能打磨出好用的底层能力。

行业影响或适用场景

对国内开发者而言,又多了一个可私有化部署的多模态 agent 底座,做内容理解、自动运营、社区审核都有想象空间。对行业而言,内容平台亲自下场做模型,说明"应用反哺模型"正在成为趋势——贴近真实场景的数据与需求,是闭源巨头未必有的优势。长远看,轻量 MoE + 长上下文 + 多模态,很可能成为下一代日常 AI 助手的主流配方。