Hugging Face 旗下的生物计算团队最近端出了一款参数量 14.8B 的开源模型 Carbon-X,官方在技术通稿里用醒目的字眼宣称,这是业内首次将 DNA 碱基序列与自然语言统一在同一个模型之中。对开源社区而言,给大模型投喂生物序列不是新鲜事,但直接把 DNA 当作一种原生语言、用主流语言模型的 Decoder 架构直接通吞,依然赚足了眼球。

不过,科研圈向来讲究先来后到与实验证据。抛开宣传层面的光环,Carbon-X 并非凭空降临的创举,而是一次把成熟 LLM 工程套路搬进计算生物学的标准改造。

架构路径演进:双塔拼接 vs 单流端到端 既有方案:外挂双塔 代表模型:ChatNT 等 • DNA 专用编码器提取生物特征 • 跨模态投影层对齐向量空间 • 冻结或微调通用 LLM 解码文本 局限:跨模态转换易丢失序列微观变异 Carbon-X:统一单解码器 底座基础:Qwen3-14B 改造 • 6-mer 碱基词表直接切入分词器 • 自然语言与 DNA 共用 Token 流 • 单一注意力机制完成端到端推理 优势:消除中间特征瓶颈,支持开源商用

并非历史首创,但做对了统一形式

所谓首次将 DNA 与人类语言结合的说辞,在严谨的学术检索面前站不住脚。

早在 2024 年底,采用统一 BPE 编码处理 DNA 与英文的 DNAHLM 就已经现身;2025 年上半年,Omni-DNA 与 BioReason 相继开源;同年 6 月发表在 Nature 子刊上的 ChatNT,更是明确打通了基因组表征与对话能力。

Carbon-X 真正的分水岭,在于抛弃了传统的拼装车思路。此前的团队大多采用双塔架构:左边是一个类似 Nucleotide Transformer 的专用基因组编码器,中间焊上一层跨模态投影层,右边再接一个通用的对话大模型。这种结构虽然能借力成熟模型,但生物序列的信息在经过跨模态压缩后,微小突变所引发的生物学后果往往被平滑抹去。

Carbon-X 的做法更加激进。它选择以 Qwen3-14B 为底座,直接改写分词器,将 DNA 的 6 个碱基切为一个单元(6-mer),构建了一套混合分词体系,并将上下文窗口撑到了 40,960 个 token。在单一解码器内部,DNA 碱基串与英文指令拥有相同的地位,不再需要中间适配层的层层转译。

架构的极简是工程的胜利,但把序列变成文本并不等于理解了生命。

虽然概念并非原创,但依托 HuggingFaceBio 的生态,在 Apache 2.0 协议下释放一个开箱即用的 14B 端到端单流模型,确实给生物信息学工程师省去了拼装和对齐双塔的繁重工作。

  • 建议.下游计算生物团队若需搭建自动化基因注释与文献交叉问答工具,Carbon-X 的单流架构省去了维护多模型的运维成本,可以直接作为本地微调的原型底座。

302B token 的重训:Qwen3-14B 的生物学变形

通用模型要读懂生物序列,单靠几千条问答微调只能学到皮毛。Carbon-X 的训练成本主要砸在了中序训练(mid-training)阶段。

开发团队首先冻结 Transformer 的核心层,仅对新加入词表的 DNA 嵌入向量进行了约 10B token 的预热训练。随后,他们拉开了一场总计 302B token 的全模型连续预训练。

Carbon-X 中序训练数据配比 (302B Tokens) 原始 DNA 序列(真核 38.5% / mRNA 8.8% / 原核 5.5% / 启动子 2.2%) 55.0% 通用英语语料 20.0% 专业生物学文献与文本 15.0% 指令与对齐数据 10.0%

在完成海量序列与文本的混合灌注后,后训练阶段则结合了针对 20 个子集数据集的 3 轮监督微调(SFT),以及两轮引入可验证奖励机制的异步 GRPO 强化学习。

引入强化学习是当下的流行范式,但在基因序列任务中,这更像是一把双刃剑:模型可以靠奖励模型迅速刷高格式分,却无法仅凭概率分布掌握染色体折叠与空间立体构象的物理法则。

自建考场与湿实验的真空

官方公布的成绩单上,Carbon-X 在五项评测基准中取得了 66.7% 的平均得分。细分来看,BioReason Coding 拿到 74.9%,BioReason Non-SNV 达到 85.1%,GenomeQA 获得 63.6%,而在自建的 NextBase 续写测试中仅有 39.4%,FrontierVEP 变异效应预测则交出 70.4%。

这份成绩单看起来充实,但掩盖了两个核心漏洞。

其一,对比对象严重失焦。官方雷达图里摆出的参照物全是不懂生物序列的通用大语言模型,而在计算生物学界真正具有统治力的专业模型,如 Evo 2、Nucleotide Transformer 以及先发者 ChatNT,在评测对照中无一入列。

其二,基准自产自销且未同步开源。在带来拉分效应的评测中,包含 600 条长序列生成的 NextBase 与包含 1000 个变异位点的 FrontierVEP,均为研发团队内部自建。直至发布当日,测试集样本与打分脚本并未跟随模型权重同步放出,学术界目前处于无法独立复现的真空期,社区已有学者公开索要验证代码,官方仅承诺在未来数周内公开。

更现实的制约写在官方模型卡的后半段:该模型未经任何临床验证,更缺乏任何生物学湿实验的实测支撑。长序列生成的质量退化极其严重,模型在定位基因组空间坐标时频繁发生幻觉,甚至伴随基础的碱基编辑错位。官方也坦承,它绝非为了从头设计全新 DNA 而生。

  • 提醒.不要指望 Carbon-X 能直接用于药物靶点生成或严肃的临床致病变异判定,在缺乏湿实验验证的前提下,坐标计算错误和碱基退化足以推翻整个下游分析管线。

天下熙熙皆为利来,大模型产业如今急于寻找自然语言之外的第二增长曲线,计算生物学首当其冲。但生命的底色是严密的生物物理法则,而非简单的字符马尔可夫链。Carbon-X 漂亮地完成了单一模型处理跨模态序列的工程落地,但若要把论文跑分变成救命的靶标,它所欠缺的不仅是一组开源测试集,更是实验台前真实试剂滴下的那一滴回响。