别再用 Prompt 硬扛分类，逻辑回归与 100 个样本击穿大模型幻象

让大语言模型直接在 Prompt 里吐出分类标签，已经成为工业界最昂贵且脆弱的妥协。自回归模型的核心任务是接续文本，让它强行扮演拍板定案的分类法官，不仅丢掉了连续校准的概率分布，还彻底关死了依靠阈值权衡精确率与召回率的大门。技术博客 Minimally Sufficient 针对这一困境给出了务实的药方：停止把大模型当分类终审官，退一步把它降级为特征提取器。

撕开硬标签的工程死穴

很多团队看中提示工程的零样本能力，试图用自然语言替代传统的监督训练。然而在反欺诈、工单分拣或内容风控这类必须量化损失矩阵的场景中，直接调用模型往往会撞上三面高墙。

大模型给出的口头置信度普遍存在过度自信缺陷。询问模型有多大把握，它给出的高置信数值并没有严密的统计校准支持。由于输出通常只是单一词元，工程团队无法通过移动截断阈值来精细调整召回率，这就让业务策略的弹性彻底归零。表格形式的用户画像与历史元数据同样很难在 Prompt 里获得稳定的权重，模型往往直接忽略这些结构化协变量。

最棘手的问题在于排查逻辑。当分类出现偏差时，工程师除了像古代方士炼丹一样反复修改提示词措辞，几乎没有可靠的干预抓手。自回归生成的推理说明大多属于事后合理化，不能将其当作严谨的因果推导链条。

套壳逻辑回归的数学真相

Minimally Sufficient 提出的解法非常简明：把模型的判断当作输入，外层套一个最基础的逻辑回归。通过少量训练数据拟合参数，模型将输出连续的经验概率，从而重新获得概率校准与阈值调整的能力。

但这里潜藏着一个技术陷阱。如果只把单个二元硬标签喂给逻辑回归，模型在数学上只能吐出两个经验均值。系统虽然能算出判定为正例时的平均真实概率，却无法区分同组样本内部的难易程度，整体排序能力依然为零。

单个离散标签无法完成组内排序，大模型的真正价值在于拆解高维语义特征。

真正的转机来自于让模型从判决者退回审查员，按多维细则输出一组结构化语义属性。在 SemEval 2018 讽刺检测基准上的实测展现了这种结构转变的威力。

当大语言模型不再直接输出讽刺与否，而是分别提取是否包含修辞性提问、是否存在表面赞美实际贬低、客观事件是否消极等 19 项细分维度的布尔特征后，外层的逻辑回归才真正拥有了可操作的特征空间。测试集上的 Brier 评分直接从未校准的 0.259 优化至 0.127，F1 分数提升至 0.779。

一百个标注样本引发的算力倒戈

既然外挂经典模型需要少量数据来拟合参数，我们就必须直面工程落地的投资回报率。工业界执着于 Prompt 工程往往是为了省去标注人工，但多项评测打破了这一偷懒假设。

学术界近期在 17 个句子分类基准任务中的对比显示，仅在数十个标注样本的低资源区间下，基于冻结 Embedding 向量训练的正则化逻辑回归就能追平或击败参数量大得多的提示大模型。更广泛的基准数据表明，专用小模型分类器平均只需要约 100 个标注样本，就可以在常规分类任务上全面超越通用大模型。

从 ACL 公开的校准研究来看，即便是绝对拟合能力极强的深层 Transformer，其输出置信度的失真度依然偏高。经典的逻辑回归至今仍是工业界在概率校准维度表现最稳健的统计基线。如果需要可靠的不确定性指标，利用多次采样计算预测离散度，其可信度也显著高于大模型自己陈述的口头判断。

• 建议.当手头已积累 100 个高质量验证样本时，首选方案应是将通用大模型切分为冻结向量提取与轻量线性头，而不是继续消耗高昂算力做端到端长文本推理。

生产级混合流水线的边界

把大模型拉下神坛并不意味着彻底弃用它，而是要重塑系统的拓扑结构。阈值设定属于业务操作策略，而概率校准属于统计学属性。逻辑回归在面对分布漂移时同样脆弱，当线上正例占比发生变化，外层模型并不会自动维持校准，必须配合验证集进行持续重估。

合理的工业级架构应当是一条分层过滤管线。最底层由低成本的 Embedding 结合轻量模型处理海量确定性请求；中间层依靠逻辑回归完成概率平滑与阈值拦截；仅将少数落在不确定性高熵区间的边缘样本，交由大模型做多维特征深度提炼或引入人工复核。

• 风险.逻辑回归的权重系数仅能说明下游决策对输入信号的采纳倾向，无法穿透并解释大模型内部提取特征时的神经元活动，切忌将外层线性权重误当作端到端的机理解释。

工欲善其事，必先利其器。大模型在语言理解层面的深厚积累毋庸置疑，但让生成模型强行包揽统计分类，无异于削足适履。重回经典机器学习流水线，给大模型套上一层清醒的统计缰绳，才是工业落地走向成熟的必经之路。