90年代中期,系统管理员 Nicole M. Radziwill 帮美国癌症协会的一个地区分会提交网站给雅虎审核,结果被退回,理由是“不够重要”。雅虎建议她们联系癌症协会总部,让总部网站来链接这个分会——可总部那时候压根还没有网站。

这不是段子,是当年雅虎目录审核的日常标准。那时候“搜索”这个词的含义,跟今天完全不是一回事。

发现信息,不靠一个搜索框

90年代中期的网络,找东西靠的是人和社区,不是算法。1979年就存在的 Usenet,靠 alt.、misc. 这类主题分类和帖子底部的链接,让信息一层层传下去。webring 更进一步:一段代码嵌进网页底部,把同类主题的网站串成一个环,谁排在“下一个”,全靠人工维护的名单。

雅虎走的是另一条路——纯人工编辑目录。提交网站要填表,说明自己“合法且重要”,能不能进主目录,是雅虎员工一票一票判出来的。在那个网页数量还没有失控的年代,人工分类是真的管用。

问题是这套模式没法无限扩张。网页数量一旦跑赢了能审核它们的人数,人工目录的天花板就到了——这才是爬虫和索引系统被逼上场的根本原因,不是技术突然变强,而是规模先把人力逼到了墙角。

排序逻辑换了一次血

AltaVista、Lycos靠爬虫抓取加关键词索引,一次查询能吐出几万条结果,但排序基本看字面——谁在页面里把关键词塞得多,谁就排得靠前。Excite试过另一条路,做概念检索,想理解语义而不是死抠字面,但那时候的自然语言处理,撑不起这个野心。

1998年,PageRank把这套逻辑整个换了血:一个页面被越多、越权威的页面链接,排名就越靠前。链接被当成了投票权。这不是排序算法的一次优化,是把“网页该写给谁看”的逻辑翻了个面——光对着爬虫塞关键词不再管用,你得让别人愿意链接你。

两种排序逻辑 关键词匹配 AltaVista / Lycos 链接权威 Google PageRank 看字面出现次数 看谁引用你 堆砌关键词能刷上去 链接=别人投的一票 操纵成本低 操纵成本更高 同一个排名问题,两种完全不同的解法

Google不是一夜称王

反直觉的地方在这:2000年前后,雅虎、AltaVista这些门户在能被公开统计到的流量指标上,仍然远远超过Google。Google那时候增长很快,但还没成为大多数人默认打开的那个入口——它当时的优势是相关性,不是规模。

  • 结论.相关性优势兑现成流量优势,中间隔了近三年,不是一次性击穿。
搜索简史:六个关键节点 1979 Usenet 1994 雅虎目录 1995 AltaVista爬虫 1998 PageRank问世 2000 仍落后雅虎 2003 反超成入口 相关性优势到市场份额优势,中间隔了近三年

这段历史常被压缩成“Google横空出世,灭了所有对手”,但实情是一场持续两三年的慢慢渗透。AltaVista、Lycos、Excite这些名字,从人人皆知到几乎被遗忘,也就是几年的事——其兴也勃焉,其亡也忽焉。


审核权和排名权,本质是同一件事

雅虎人工审核听起来温情,本质是编辑权力:谁决定一个网站够不够重要,谁就决定谁能被看见。1998年,GoTo.com把这权力明码标价——谁出价高,谁排名靠前,搜索结果开始混进广告位。天下熙熙,皆为利来,这句话放在GoTo.com身上一点不夸张。同年DMOZ想用志愿者编辑延续人工把关的理想,但撑不住的规模问题,跟雅虎一模一样。

与此同时,站长们在页面里塞白底白字的隐藏关键词,骗过爬虫的眼睛,直到搜索引擎开始把这种手法当成垃圾信息处理。人工审核的荣誉感,和白底白字的作弊心思,其实是同一枚硬币的两面:谁能定义“重要”,谁就能左右能见度,不管这个“谁”是编辑还是算法。

  • 提醒.生成式答案正在把搜索框这一步直接跳过,历史上每一次入口收窄,都伴随着发现方式的萎缩。

从人工目录到爬虫索引,再到链接权威,每一次转折都是效率提升,也都是发现方式的一次收窄。Usenet、webring代表的那种社交式发现消失后,没有真正等价的东西接住那个位置——今天的Reddit、Discord算是一种回声,但已经是被算法重新排过序的回声。雅虎审核员当年问的是“你够不够重要”,今天的算法问的是同一个问题,只是换了个提问的人。