买显卡跑本地大模型，很多人第一脚都会踩空。显存容量决定模型能不能塞进卡里，但显存带宽才真正决定每秒能吐出几个字；算力决定首字要等多久，而上下文拉长后缓存又会把显存吃干抹净。开源测速模拟工具 Llmspeed 在 Hacker News 的 Show HN 亮相后迅速吸引眼球，它直击的正是这个痛点：让你在掏出真金白银买卡之前，先用网页上的打字机动效，直观感受本地推理到底有多快。
在 Llmspeed 界面上，挑一张 NVIDIA RTX 4090 24GB，选上 Llama 3.1 8B Q4_K_M 量化版本，系统立刻给出一个绿色的实测标记，生成速度区间落在 80 到 139 tok/s，首字延迟（TTFT）标为 0.3 秒。看着屏幕上文字飞速敲出，不少跃跃欲试的玩家觉得硬件选型终于有了标准答案。但若顺着项目代码往下一层拆解，事情远没有打字机动画看起来那么单纯。
不是跑分数据库，而是算力外推模型
很多初看 Llmspeed 的人会以为这是一个整理了数千次端到端跑分的数据库。翻开其 GitHub 开源文档能发现，它的数据其实由三级证据链组成：精准实测的 Measured、从近似配置插值的 Derived，以及依照纸面规格推算未发售硬件的 Projected。
当遇到缺乏实测的配置时，它的理论推算模型会根据内存带宽与模型活跃权重估算解码生成速度，依据半精度浮点算力估算 Prefill 吞吐，并套用固定的后端效率系数来修正上下文降速。
深挖其底层数据文件 app-data.json 就会发现更具体的痕迹：整个数据集内部只记录了生成速率与预填充速率的键值，并没有名为首字延迟的独立字段。这说明前端展示的 0.3 秒 TTFT，并非物理采样记录，而是通过 Prefill 速度公式折算出来的理论派生值。
与此同时，项目核心的数据提交表单 benchmarks/submissions.csv 尚为空白表头，生成的 JSON 文件中也缺少能直接跳转对应测试报告的超链接追溯。用户在前端看到的 80 到 139 tok/s 宽泛区间，本质上是一个跑分锚定加公式外推的模拟器，而不是严谨复现实验环境的物理评测集。
0.3秒首字延迟掩盖的长文本暗礁
对本地大模型应用来说，脱离 Prompt 长度谈首字延迟毫无工程意义。
固定延迟展示给出的流畅感，在真实长文本接入后会瞬间瓦解。
LocalScore 社区的实测数据（测试编号 #3287，基于 llamafile 0.9.3）清晰记录了 RTX 4090 运行 Llama 3.1 8B Q4_K_M 时首字延迟的剧烈跳变：当输入仅有 64 词时，首字延迟只需 26ms；输入增加到 1024 词，延迟来到 119ms；当上下文扩展到 4096 词，延迟骤增至 628ms。
在日常的 RAG 知识库检索或智能体长链路调用中，几千词的输入是家常便饭。如果采购者把网页上 0.3 秒的静态体感当成设备全工况表现，落地到真实业务里就会遇到明显的卡顿落差。
- 风险.依据短 Prompt 模拟体感采购单卡，容易在长文本接入时遭遇 Prefill 算力瓶颈与 KV Cache 显存暴涨的双重打击。
压测基准里的参数玄机与买卡逻辑
本地大模型基准测试的常用底层工具是 llama-bench。在标准测试中，参数 -p 512 与 -n 128 分别代表批处理 Prompt 与自回归生成的测试，两者并不是一气呵成的连续流水线。
要真实测出模型在长上下文下的性能衰减，测试人员必须依赖 -pg 或 -d 参数（例如 -d 8192 预填充 KV Cache）来模拟显存与带宽承受真实重压时的表现。单看前几个 token 蹦出来的速率，很容易被早期的理想带宽所蒙蔽。
此外，Llmspeed 目前仅建模了单卡单设备场景。现实中部署 70B 或超大混合专家模型（MoE）时常见的张量并行（Tensor Parallelism），会面临跨 PCIe 插槽甚至跨节点的总线通信瓶颈，这是简单的带宽公式无法直接外推的。
世人结交须黄金，黄金未尽相顾深。挑选本地 AI 算力也是同样的道理，不能只凭前台演示里的快意打字就敲定预算。
- 建议.将这类可视化测速工具作为理解显存带宽影响的入门直观镜，但在最终采购决策前，务必查验对应硬件在 4k 以上上下文深度下的压测衰减。