Lofter 上不少网文标签这半年被套路化的AI同人文攻陷了,有人懒到连Markdown标题符号都没删干净就直接发,还倒打一耙把后半篇锁起来收费。看多了这种东西,一位常年混AI圈子的博主决定不忍了,周末打开VS Code,自己写了个中文网文AI检测器。
结果比预期扎眼:他没找大模型当裁判,反倒翻出TF-IDF加LinearSVC这种十几年前教科书级别的老算法,训出的分类器单句判断准确率能到85%左右,连没参与训练的Claude、GPT-5.2生成的文本,也能测出七成左右的疑似度。
发生了什么
数据是这么攒的:近万篇2010到2022年的网文,发布时间早于ChatGPT问世,被当成"绝对人类"样本;再让LLM先总结原文情节,拿总结去反推重写,生成对照的AI样本。为了省钱,作者靠平台促销和白嫖渠道,凑齐了gemini-3-pro、qwen-coder-plus、glm-5、glm-4.7、kimi-k2.5、doubao-seed-code、deepseek-v3.2 七个模型的生成文本。
流程很朴素:按中文标点分句、洗掉非中英字符、跑TF-IDF提取特征,再喂给LinearSVC。七个模型各训一个二分类器,测试集准确率落在84%到89%之间,F1全超过0.80,≥2票判定为AI,再按疑似AI句子占比给出人类、疑似人类、疑似AI三档结论。此前直接拿大模型算困惑度来判断的路子,作者也试过,效果差、成本高、跨模型不通用,最后放弃了。
网页版为了塞进浏览器,把特征从三四百万裁到50万,模型文件107MB、压缩后38MB,准确率只掉了约1个百分点。
为什么老算法反而管用
七个模型互相蒸馏、写法趋同,做八分类(人类加七种AI)反而只有五成准确率——分不清是谁写的,却分得清是不是AI写的。这说明当前主流大模型在中文网文场景下,用词选择和句式习惯已经收敛到某种可被统计模型捕捉的"指纹",跟具体哪家模型关系不大。
- 结论.分辨"是不是AI"比分辨"是哪家AI"容易得多,说明趋同发生在模型之间,不是某一家的写作癖好。
我的判断
这事有意思的地方,不是"老算法打败大模型"这种标题党叙事——LinearSVC本来就没打算跟LLM比写作,它比的是统计规律。真正该记住的是:哪怕到了2026年,主流LLM的中文网文写作依然逃不开明显的统计收敛,这大概率也是市面上不少收费AIGC检测服务的底层原理。
但这套东西离"证据"还很远。85%是测试集里的单句准确率,不是真实世界一篇几千字文章的准确率;训练数据几乎全是中文网文,英文、学术论文、其他语种、未来新模型能不能测出来,现在完全不知道。对Claude、GPT-5.2的七成检出率也只是几个零星样例,不是稳定可复现的跨模型泛化能力。
- 风险.单句准确率不是文章级铁证,拿"疑似AI"当抄袭实锤去处罚创作者,对真人作者是实打实的误伤。
对网文平台和内容审核团队来说,这类工具适合拿来做初筛、辅助人工复核,压根不该单独拿来定性抄袭、处罚作者或者当查重工具用。真正的分水岭不在能不能测出眼下这几个模型,而在阈值怎么定、误报率多高、人工复核跟不跟得上。
文字也有指纹,藏得再深也漏统计破绽;但破绽只是疑点,断不得案。
天下熙熙皆为利往,网文平台的AI同人文之所以泛滥,是因为写得快、发得快、赚得快;检测器能拦住的是最懒的那一批,拦不住的是那些愿意花心思改写、混着人类文风一起发的作者。这跟当年查论文AIGC是一个道理——工具能筛出偷懒的,筛不出用心作弊的。