大模型落地垂直业务的降本账本，绝大多数时候都算在量化、剪枝和缓存优化上，几乎没人去动分词器这个看似天然固化的底座。2026 年 10 月 21 日，Dharma-AI 披露了题为《VocabX: Cost-Weighted Vocabulary Adaptation for Domain-Specific Language Models》的论文预告，展示了一组反直觉的生产数据：在不改动模型权重架构、训练数据和训练配方的前提下，仅靠重构分词器词表，就把跑在 RTX 5090 与 vLLM 环境下的 Qwen3-4B 葡萄牙语作文批改系统的实测推理成本降低了 77.0%。
这意味着分词器绝非不可动摇的黑盒，而是小模型在确定性垂直业务中长期被忽视的最大成本泄露点。
通用词表的隐形税与写比读贵定律
开源通用模型为了兼顾数十种语言、编程代码及日常对话，普遍带着 10 万到 15 万项的庞大词表。Qwen3-4B 原生词表就维护了 151,669 项。当这套词表被直接套用在单一葡语、要求固定输出 JSON 评分报告的任务上时，系统立刻背上了双重开销。
第一重是文本切碎。系统每次吐出的结构几乎一致，包含固定的 JSON 外壳、相同的能力维度名称和标准评价句式。通用分词器无法把这些模版视为整块，只能将其拆解为细小的子词片段，一次输出要耗费大量 token。第二重是全量计算冗余。每次模型生成一个新 token，输出层的 LM Head 都必须为这 15 万多个词表项逐一计算概率得分，即便这个生物或语文评分系统一辈子都不会吐出一个中文字符或代码符号。对 40 亿参数的小模型而言，这层矩阵权重占了总参数量的近一成。
更关键的硬件物理约束在于显存带宽。在模型推理中，处理输入的 Prefill 阶段具有高并行度，受限于计算核心算力；而逐字生成的 Decode 阶段受限于显存带宽。在 Dharma-AI 的批改测试中，硬件上生成一个 token 的开销是读取一个 token 开销的 7.4 倍。
生成比读取昂贵数倍的事实，决定了压缩重点必须放在输出端。通用做法是数字符号出现频次，但频次不等于账单。VocabX 改用成本加权替代传统频次统计，以输出端 7.4 倍的权重寻找重复序列，并重构子词合并与多词模版，将原版词表精简到 64,767 项，平均生成长度从 350 tokens 压到 101 tokens，整体输出缩减了约 71%。
宏 token 的红线：模版可压缩但决策绝不能合并
将高频出现的固定短语、整行甚至 JSON 外壳合并为单一宏 token，固然大幅降低了步数，但这项实验同时暴露出一个容易被工程师忽略的质量陷阱：压缩存在能力边界。
在 Dharma-AI 最初的实验版本中，团队为了追求极致紧凑，将每个评分维度的具体分值与外围 JSON 括号熔接成了同一个宏 token。这意味着模型必须在单步生成中同时命中结构和具体的打分。结果令人意外：系统在包含评分准确度与违规筛查的综合测试中，基准分从原版的 0.703 暴跌至 0.689。
模版脚手架可以压成宏 token，但承载模型逻辑判断的核心决策点不能被合并。
团队随后进行了修正，将具体的打分项单独剥离出来作为独立 token，仅由模型输出两步。这一调整虽然让每条响应多消耗了 2 个 token，但系统的综合基准得分直接反弹并跃升到 0.810。不仅准确率超越基线，由于模型避免了在组合状态中的混乱震荡，实测成本最终锁定了 77.0% 的降幅，反而优于过度熔接时的 73.3%。
- 结论.分词器定制的边界在于区分格式脚手架与决策承载点，把输出判断强行并入静态模版必然破坏模型表达能力。
算力账本与方法论对照
词表重构并非凭空生效，改变分词器意味着模型的 Embedding 矩阵与最终输出层必须重新匹配训练。业界此前并非没有探索过词表重塑方案，但其侧重与代价各有取舍。
| 方案路径 | 核心机制 | 硬件与训练代价 | 典型场景局限 |
|---|---|---|---|
| VocabX (Dharma-AI) | 成本加权 + 双层宏 token，针对输出裁剪无用词 | 保持相同基座，需针对垂类重训适配层 | 高度依赖结构化或固定模版输出 |
| ReTok (2024预印本) | 冻结主干网络，仅重训 Embedding 与 LM Head | 耗费 32 张 A100 GPU 进行重训 | Llama3-8B 均分从 56.11 微降至 55.39 |
| ZipLM (NeurIPS 2023) | 结构化剪枝，裁剪注意力头与 FFN 维度 | RTX A6000 上需 10-35 小时微调恢复 | 仅压缩主干结构，完全不改变词表大小 |
在类似路径的预印本方案 ReTok 中，研究者在 Llama3-8B 上冻结主干、使用 32 张 A100 GPU 重训输入输出层，虽然提升了中文环境下的字节压缩比，但基准均分微降了 0.72 分；而传统的模型瘦身方案如 ZipLM 虽能通过剪枝获得 5 到 15 倍加速，但在 RTX A6000 上需要数十小时微调来恢复精度，且未触碰词表冗余问题。
需要指出，Dharma-AI 披露的 77% 降幅建立在 500 个高度格式化的 JSON 评估样本之上。截至目前，其正式学术论文与开源代码仍在审未公开。技术团队目前未公布首字延迟（TTFT）、端到端单请求毫秒延迟以及极限高并发下的吞吐波动。
- 提醒.重训 Embedding 和 LM Head 需要消耗明确的 GPU 算力，企业只有在业务调用量足够大、输出格式高度稳定的长周期任务中，才能跨过收支平衡点。
在算力价格高昂的当下，工程落地往往过度扎堆在低比特量化与模型蒸馏上。VocabX 提供了一个更清醒的工程样本：垂直模型不必背负大而全的语言包袱，分词器也不该被当作不可修改的底座遗产。在吞吐规模成百上千万次的生产线上，修剪这层被忽视的隐形税，往往比更换底层硬件来得更实在。