Hugging Face 旗下的生物计算团队最近端出了一款参数量 14.8B 的开源模型 Carbon-X,官方在技术通稿里用醒目的字眼宣称,这是业内首次将 DNA 碱基序列与自然语言统一在同一个模型之中。对开源社区而言,给大模型投喂生物序列不是新鲜事,但直接把 DNA 当作一种原生语言、用主流语言模型的 Decoder 架构直接通吞,依然赚足了眼球。
不过,科研圈向来讲究先来后到与实验证据。抛开宣传层面的光环,Carbon-X 并非凭空降临的创举,而是一次把成熟 LLM 工程套路搬进计算生物学的标准改造。
并非历史首创,但做对了统一形式
所谓首次将 DNA 与人类语言结合的说辞,在严谨的学术检索面前站不住脚。
早在 2024 年底,采用统一 BPE 编码处理 DNA 与英文的 DNAHLM 就已经现身;2025 年上半年,Omni-DNA 与 BioReason 相继开源;同年 6 月发表在 Nature 子刊上的 ChatNT,更是明确打通了基因组表征与对话能力。
Carbon-X 真正的分水岭,在于抛弃了传统的拼装车思路。此前的团队大多采用双塔架构:左边是一个类似 Nucleotide Transformer 的专用基因组编码器,中间焊上一层跨模态投影层,右边再接一个通用的对话大模型。这种结构虽然能借力成熟模型,但生物序列的信息在经过跨模态压缩后,微小突变所引发的生物学后果往往被平滑抹去。
Carbon-X 的做法更加激进。它选择以 Qwen3-14B 为底座,直接改写分词器,将 DNA 的 6 个碱基切为一个单元(6-mer),构建了一套混合分词体系,并将上下文窗口撑到了 40,960 个 token。在单一解码器内部,DNA 碱基串与英文指令拥有相同的地位,不再需要中间适配层的层层转译。
架构的极简是工程的胜利,但把序列变成文本并不等于理解了生命。
虽然概念并非原创,但依托 HuggingFaceBio 的生态,在 Apache 2.0 协议下释放一个开箱即用的 14B 端到端单流模型,确实给生物信息学工程师省去了拼装和对齐双塔的繁重工作。
- 建议.下游计算生物团队若需搭建自动化基因注释与文献交叉问答工具,Carbon-X 的单流架构省去了维护多模型的运维成本,可以直接作为本地微调的原型底座。
302B token 的重训:Qwen3-14B 的生物学变形
通用模型要读懂生物序列,单靠几千条问答微调只能学到皮毛。Carbon-X 的训练成本主要砸在了中序训练(mid-training)阶段。
开发团队首先冻结 Transformer 的核心层,仅对新加入词表的 DNA 嵌入向量进行了约 10B token 的预热训练。随后,他们拉开了一场总计 302B token 的全模型连续预训练。
在完成海量序列与文本的混合灌注后,后训练阶段则结合了针对 20 个子集数据集的 3 轮监督微调(SFT),以及两轮引入可验证奖励机制的异步 GRPO 强化学习。
引入强化学习是当下的流行范式,但在基因序列任务中,这更像是一把双刃剑:模型可以靠奖励模型迅速刷高格式分,却无法仅凭概率分布掌握染色体折叠与空间立体构象的物理法则。
自建考场与湿实验的真空
官方公布的成绩单上,Carbon-X 在五项评测基准中取得了 66.7% 的平均得分。细分来看,BioReason Coding 拿到 74.9%,BioReason Non-SNV 达到 85.1%,GenomeQA 获得 63.6%,而在自建的 NextBase 续写测试中仅有 39.4%,FrontierVEP 变异效应预测则交出 70.4%。
这份成绩单看起来充实,但掩盖了两个核心漏洞。
其一,对比对象严重失焦。官方雷达图里摆出的参照物全是不懂生物序列的通用大语言模型,而在计算生物学界真正具有统治力的专业模型,如 Evo 2、Nucleotide Transformer 以及先发者 ChatNT,在评测对照中无一入列。
其二,基准自产自销且未同步开源。在带来拉分效应的评测中,包含 600 条长序列生成的 NextBase 与包含 1000 个变异位点的 FrontierVEP,均为研发团队内部自建。直至发布当日,测试集样本与打分脚本并未跟随模型权重同步放出,学术界目前处于无法独立复现的真空期,社区已有学者公开索要验证代码,官方仅承诺在未来数周内公开。
更现实的制约写在官方模型卡的后半段:该模型未经任何临床验证,更缺乏任何生物学湿实验的实测支撑。长序列生成的质量退化极其严重,模型在定位基因组空间坐标时频繁发生幻觉,甚至伴随基础的碱基编辑错位。官方也坦承,它绝非为了从头设计全新 DNA 而生。
- 提醒.不要指望 Carbon-X 能直接用于药物靶点生成或严肃的临床致病变异判定,在缺乏湿实验验证的前提下,坐标计算错误和碱基退化足以推翻整个下游分析管线。
天下熙熙皆为利来,大模型产业如今急于寻找自然语言之外的第二增长曲线,计算生物学首当其冲。但生命的底色是严密的生物物理法则,而非简单的字符马尔可夫链。Carbon-X 漂亮地完成了单一模型处理跨模态序列的工程落地,但若要把论文跑分变成救命的靶标,它所欠缺的不仅是一组开源测试集,更是实验台前真实试剂滴下的那一滴回响。
