AI AI工具情报站
国内AI动态 paper

5x 计算效率

📰 Cartesia 产品与研究 📅 2026-10-27

Cartesia 研究团队发布系列文章第一篇《From Tokens to Bytes》,提出用分层网络(Hierarchical Networks, H-Nets)替代传统人工设计的 BPE 分词,从原始字节端到端学习。

核心亮点

文章的核心命题是:标准语言模型依赖离线 BPE 把文本压成固定大小的 token,这种静态分词是"流水线中最后几个由人工而非学习设计的环节之一"。H-Nets 不在模型外预处理,而是在模型内部动态执行分块,让模型自己学会"怎么切词"。

具体能力或事件经过

在"受控扩展阶梯"实验中,仅把 BPE Transformer 的令牌层换成 1-stage H-Net(参数与算力严格匹配),验证集上就取得 1.28 倍计算效率;下游评估(Paloma/OLMES)差距扩大到约 2 倍,代码领域分布内中位数 2.04 倍,分布外(如 Prolog)高达 5.37 倍。更大规模的 2-stage H-Net 对比开源 SmolLM3(3B),用约 1T tokens 达到对方训练约 11T tokens 的水平,实现约 10 倍算力与数据节省。

技术细节

H-Nets 通过递归的、数据依赖的动态分块压缩数据,端到端分层执行并可嵌套多级抽象。定性上出现了"上下文内分词"的涌现能力——推理时动态适应新词、重复格式或变量名。跨模态上,H-Net 在 DNA 建模有 6–7 倍计算增益并自发对齐密码子/外显子结构;在像素空间扩散中无监督发现图像语义分割。

与竞品对比

相比 BPE Transformer,H-Nets 不绑定任何特定 tokenizer,能处理任意类型数据(含连续数据),被视为构建多模态"原子模型"的基础。它更契合"苦涩的教训"——智能的本质是从原始数据端到端学习。

行业影响或适用场景

对大模型训练,H-Nets 意味着在低资源、人类难以手工分词的领域(科学、生物、机器人)也能高效学习;对应用侧,更低的训练算力与数据需求让大模型更普惠,分布外泛化也更强。情报站认为,这是继 MoE 之后又一个可能改变基座架构效率范式的研究方向。