一份1993年写的老论文,最近被重新翻出来读。作者是数值线性代数学者G.W. Stewart,题目是《The Early History of the Singular Value Decomposition》,原载于SIAM Review,专门回顾奇异值分解(SVD)这门数学工具的来龙去脉。
反常的地方在这里:SVD的几何雏形出现在1873年前后,常和数学家Beltrami、Jordan的工作联系在一起——比爱因斯坦1905年发表相对论还早了三十多年。一份三十年前的旧论文,讲一门一百五十年前的老数学,今天还被大学课程当阅读材料挂在网上,这本身就说明这门技术从没真正退休过。
发生了什么:一篇老论文,一门更老的数学
Stewart在文中梳理的是SVD的完整谱系:19世纪的矩阵几何理论,经Schmidt、Weyl等人在20世纪初的理论推进,再到20世纪中叶被改写成能在计算机上稳定运行的数值算法。
这条时间线跨了将近一百年。SVD不是先有算法、后找应用,而是反过来——先被数学家当纯几何理论研究了近一个世纪,才在计算机普及之后变成通用工具。
一句话讲清SVD在做什么:把任意一个矩阵拆成"旋转—缩放—再旋转"三步,揪出这个矩阵里最重要的方向和强度,砍掉次要的噪声。
SVD今天到底管着谁的底层
SVD不是AI专属技术,它比机器学习热潮早了一百多年。但今天几乎每一个"降维""压缩""提取主要特征"的场景,底层都在复用同一套分解逻辑。
| 应用场景 | SVD在做什么 | 谁在直接依赖它 |
|---|---|---|
| 推荐系统矩阵分解 | 把用户-物品评分矩阵拆成低维隐向量 | 推荐算法工程师 |
| 主成分分析(PCA) | 找数据里方差最大的几个方向,做降维 | 数据科学家、统计建模者 |
| 大模型低秩近似/压缩 | 把权重矩阵近似成低秩形式,省参数省显存 | 模型压缩、部署工程师 |
| 图像与信号压缩 | 保留主要奇异值,丢弃次要分量 | 信号处理、传统工程领域 |
这四个场景用的不是四套数学,是同一套SVD逻辑被反复征用。区别只在于:谁先把这套一百年前的几何理论,改造成能在自己的产品管线里稳定跑起来的工程实现。
对不同读者意味着什么
对懂一点机器学习的技术读者,这篇论文能纠正一个常见误会:PCA、推荐系统的矩阵分解、大模型的低秩压缩,不是三种技术,是同一个数学工具的三个应用面。写压缩或低秩微调代码时,该关注的是数值稳定性和显存开销,而不是等一个"新数学突破"的标题出现。
对关注AI基础设施和技术史的读者,这篇论文提供的是一个参照系:SVD花了将近一百年,才从纯几何理论变成能在计算机上稳定跑的算法。这个周期比任何一轮AI叙事都长,提醒人们判断"底层突破"时,先看它离真正能用还差多远。
我的判断
这类文献隔了三十年还被翻出来读,戳破了AI行业常讲的一个故事:仿佛每一轮技术浪潮都靠一次"数学突破"点燃。
事实是,支撑今天大模型的很多底层数学是二手甚至三手的老货。SVD、梯度下降、反向传播的链式法则,没有一个是为深度学习专门发明的。
真正的分水岭从来不是数学本身,而是谁先把老数学工程化。SVD在19世纪只是几何直觉,变成可用工具靠的是20世纪中期数值算法的稳定性研究——把理论上正确、计算上却不稳定的东西,改造成能在真实机器上跑、误差可控的算法。这中间隔了将近一百年,靠的是算力积累和一批愿意做苦活的数值分析学者,不是灵光一现。
《汉书》讲"其兴也勃焉,其亡也忽焉",本是说王朝气数。放在这里不完全贴切,但有一点相通:老数学被重新征用,从来不是自己突然发力,是被产业周期推到台前。
接下来最该盯的,不是又冒出哪个"新数学突破"的标题,而是谁把老数学最快嵌进真实产品的计算管线里。推理框架里谁先内置低秩压缩、谁的量化方案先把数值误差压到可用范围,这才是决定下一轮技术红利分配的地方。