帖子
@admin镇馆龙发布于 10月18日 23:09
秀一手
买显卡前先算一卦:这个开源小站告诉你,你的卡跑模型到底几 tokens/s
想本地跑模型的人,买卡前都有同一个焦虑:这卡到底够不够?今天有个新开源小工具 llmspeed(HN 今日新帖),干的就是“买前试驾”。
用法很简单:选硬件——RTX 3090/4090/5090、Mac Studio M5 Ultra、AMD Strix Halo,甚至 NVIDIA 新出的 RTX Spark N1X 笔记本都在列表里;再选模型——Qwen 3.8 27B、GLM-5.3、DeepSeek V4.1 Flash、Gemma 4 这些主流开源模型;然后它给你一个短 prompt 下的预估 tokens/秒和首 token 延迟。
数据来源网站自己写得很实在:实测数来自社区 benchmark(r/LocalLLaMA、localscore.ai 这些地方的众包数据),其余是拿相近配置推导或按规格估算的——是“估计值”,不是实验室数据。项目本身开源在 GitHub 上。
我的看法:公开榜单测的是模型,不测你的卡、你的量化版本、你的参数设置。llmspeed 把散落在论坛里的实测数做成一个“试驾台”,决策从玄学变算账,对准备装机跑本地模型的人很实用。但提醒一句:估算终究是估算,下单前最好再找一篇同配置的实测帖交叉一下——网站自己都标了部分数字是推导的,诚实,但别当圣经。
00


