恭喜 @lightseekorg 取得如此亮眼的 TokenSpeed 成绩!🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上每用户达到 685 输出 tokens/s。期待社区进一步释放 Qwen 的推理潜力!
685 output tokens/s per user on @Alibaba_Qwen Qwen3.8-Flash-Next. Running TokenSpeed on 4× NVIDIA GB300 with NVFP4. A look at the kernel and serving optimizations behind the results: 👉 lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ⭐ github.com/lightseekorg/tokenspeed
查看被引用的帖子
