Photoroom在PRX系列第四篇技术博客里,把此前三篇(架构设计、训练配方、24小时speedrun)一直藏在幕后的东西摊开来讲:训练这个7B文生图模型的数据到底从哪来、怎么处理。核心思路一句话说完——混合公开数据集和内部数据集,用VLM给每张图重写一段详细长caption,再转成可流式读取的语料喂给模型。
这套打法不是凭空冒出来的。Photoroom更早的基础扩散模型博客里就提过用CogVLM或LLaVA给几乎全部图像重新配文,PRX只是把验证过的做法搬到更大规模继续用。真正的新变化,落在数据格式和文本编码器这两处工程决定上。
轻过滤的算盘:能靠caption兜住的噪声就不删
Photoroom的过滤哲学和同行不太一样:预训练阶段只删“真正不可用”的图,不删“不完美”的图。截图、广告、logo、带文字的图都留着,理由是只要caption写得够准,这些内容会被当成可控属性教给模型,而不是被模型无差别学去乱输出。
这也是团队坚持长caption的原因。此前的消融已经证明长caption效果更好,这次公开的对比里,用Qwen2.5-VL-7B生成长caption训练的模型,FID、CMMD、DINO-MMD三项指标全面优于用LLaVA-1.5-LLaMA3-8B生成短caption的对照组。具体用了哪些公开数据集,此前已经点过名:flux_generated(170万张)、FLUX-Reason-6M(600万张)、经Gemini 1.5重新配文的midjourney-v6-llava(100万张)。这是能对上号的部分。内部数据集是什么、来源如何,官方Responsible AI页面只留了一句“使用授权专有数据和非公开数据集”,再往下就没有了。
换编码器、省存储:两处工程取舍
这次把text latent的算法改了。此前用T5Gemma当文本编码器,latent提前算好存成字节存进MDS;换成Qwen3-VL之后,改成训练时在线现算。代价是吞吐量掉了3%到4%,放进30天的训练周期,差不多多耗一天。换来的是MDS分片体积大幅缩小,足够塞进SLURM集群的SSD共享文件系统,不用再从对象存储跨网络流式读取;而且以后想换文本编码器,不用把几个TB的latent推倒重存——这次从T5Gemma切到Qwen3-VL,靠的正是这层灵活性省下的重写成本。
图像存储上做了同样的算计:用JPEG quality 92代替PNG。团队没有想当然,而是做了实测——高分辨率图重复编解码10次,PSNR仍保持在45dB以上,肉眼几乎看不出差别,PNG体积却是JPEG的3到10倍。为了确认存储格式不会污染最终画质,团队还训练了两个完全一致的PRX模型分别存两种格式做对照:
| 训练存储格式 | 检出率 | 均值估计JPEG质量 | 中位估计JPEG质量 |
|---|---|---|---|
| JPEG quality92 | 12.0% | 39.6 | 34.0 |
| PNG | 10.8% | 42.1 | 45.0 |
两组数字差异很小,足以说明存储格式对最终生成质量影响有限,存PNG的收益在这个规模下并不划算。
放进行业坐标,空白就露出来了
文生图模型的数据策略大致三条路。Stable Diffusion系走LAION那套,靠美学分、水印概率、分辨率做后置过滤,规模优先;Midjourney走内部混合语料加人类偏好信号强化,公开文档里至少承认训练数据是授权内容、公共领域内容加上按fair use使用的可能受版权保护数据,来源类别说清楚了;Adobe Firefly走另一个极端,只用授权内容和公共领域素材,不碰客户数据,用合规换商用安全,代价是数据多样性打折扣。
长caption能兜住画质噪声,兜不住版权风险
Photoroom选的是技术效率优先这条路:长caption兜底、轻过滤、公开数据加内部数据混合。这套思路对模型质量确实管用,前面的指标对比已经证明。可是四条路里,只有Photoroom这条对内部数据的授权状态几乎没有交代——不像Adobe明说排除客户数据,也不像Midjourney至少给出了数据来源类别。
- 风险.内部数据集的授权状态未披露,想拿PRX开源权重做商用微调的开发者暂时无法核实版权来源
另一处细节也值得留意。Hugging Face上PRX系列的总览页面把第四篇标注成“Scaling to a 7B-parameter model”,跟这篇实际标题《Our Data Strategy》对不上,大概率是系列编号调整后总览页没跟上,但这提醒一件事:连续更新的系列技术博客,标题和编号本身也可能滞后或出错,引用具体某篇内容前最好自己核实一遍,而不是照单全收官方目录。
至于caption兜底这套哲学的边界,原文没提:如果VLM生成的长caption本身出现幻觉或漏掉画面细节,轻过滤策略就没有了兜底。这层风险目前悬而未决,要看Photoroom后续是否会补上说明。