中文
English
LLM Speed Test v3.5 🏆 排行榜
对比不同硬件和框架下的模型推理性能
快速切换模型
展开 ⬇️
只显示 8 个测试以上的模型，点击词条即可切换排行榜
🌎 全网总榜
📈 帕累托前沿
🕸️ 多维能力雷达
🧊 2D 矩阵透视
👤 我的记录
🏆 贡献者榜单
🔍 指定用户
🏷️ 指定模型
🔍 搜索结果
去测速
GitHub
手机视图 关
⚡ 省流极速 开
QQ群
本地部署deepseek-r1:671b纯GPU方案 · 1028429001
复制群号
加入群聊
📈 吞吐-延迟帕累托前沿分析 (Pareto Frontier)
展示系统在各吞吐量下的理论极限低延迟边界，前沿线上模型具备最高能效比
前沿指标：
⚡ 解码吞吐 (Decode TPS) vs 首字延迟 (TTFT)
▾
✕
显卡/硬件透视：
🌐 全部具体显卡 (全局理论极限)
▾
✕
🏆 帕累托最优模型集合 (Non-Dominated Optimal Set)
序号
模型名称
硬件架构
框架 / 量化
并发
解码吞吐 (tok/s)
首字延迟 TTFT (ms)
校验指纹
🕸️ 模型多维度综合能力雷达 (Capability Radar)
在相同或选定显卡环境下，全面衡量模型的首包吞吐、解码速度、响应敏捷、抖动稳定性、并发扩展性与长文本保持率 (满分100)
🖥️ 运行显卡：
🌐 全部显卡 (综合最高)
▾
✕
📊 评测模式：
全部模式 (综合)
📊 1D阶梯
🧊 2D矩阵
⏱️ 稳态解码
🤖 挑选对比模型
3
▼
已选 3 个 (最多支持 6 个)
默认热门
清空
重置对比
已选模型:
🔥 当前显卡热门推荐:
六维雷达评分准则
Prefill TPS
: 首包预填充极速吞吐 (0-100)
Decode TPS
: 稳态持续生成解码速度 (0-100)
TTFT 响应
: 首字毫秒级敏捷度，延迟越低得分越高
ITL 稳定
: 词间吐字间隔抖动离散系数 (Jitter) 稳定性
并发扩展
: 多流并发吞吐相比单流线性度扩展比
长文抗衰减
: 长提示词下相比短上下文的推理保持率
💡
同硬件基准对齐
：并发扩展与长文本抗衰减均在相同物理硬件/测试批次内计算，彻底杜绝跨卡拼凑虚高。推荐切换上方「运行显卡」进行同算力科学对比。
🧊 并发等级 × 上下文长度 2D 压测矩阵透视 (Matrix Pivot)
汲取业界先进矩阵基准体系，二维立体呈现模型在各并发梯度与上下文阶梯下的解码吞吐与首字时延
选择透视模型：
🤖 选择透视模型...
▾
✕
🖥️ 运行显卡：
🌐 全部显卡 (综合均值)
▾
✕
⏳
正在拉取该模型 2D 矩阵测试梯度与延迟采样 (TTFT/ITL)...
🧊
当前选定模型与显卡暂无 2D 矩阵阶梯测试数据
该模型在选定显卡下仅记录了单点测速，尚未进行多并发 × 多上下文的完整扫频测试。建议切换至全部显卡，或选择测试点更丰富的模型。
🌐 查看该模型全部显卡
👉 切换至热门完整矩阵模型
🎨 颜色深度表示吞吐量高低
🏷️
(X/Y)*
标识检测到服务端队列排队/有效并发不足
💡 点击任意单元格查看该阶梯详细压测分位数指标
展开筛选条件
芯片架构
全部芯片
NVIDIA Blackwell (50系/Spark)
NVIDIA Ada (40系)
NVIDIA Ampere (30系/A100)
NVIDIA Hopper
Apple Silicon
AMD ROCm
经典老卡
CPU
其他硬件
量化精度
全部精度
FP16 / BF16
FP8
AWQ
GPTQ
GGUF (Q4/Q8)
EXL2
推理引擎
全部引擎
vLLM
SGLang
llama.cpp
Ollama
TGI
并发等级
全部并发
并发 1
并发 2
并发 4
并发 8
并发 16
32+ 高并发
评测模式
全部模式
📊 1D阶梯
🧊 2D矩阵
⏱️ 稳态解码
题目类型
全部题目
🌐 通用混合
💻 代码解码
📋 结构化JSON
✍️ 散文问答
📚 文档知识库
🧮 数理逻辑
每页条数
50
100
200
Decode 最小值
Prefill 最小值
硬件关键词
有启动命令
并发1
搜索
搜索 / 筛选
重置
加载中... ⏳
排名
时间
↓
真实性校验
分享 ID
用户
模型
硬件 / 框架 / 量化
备注
启动命令
Source / Tags
并发
Prefill 速度
(tokens/s)
↕
Decode 速度
(tokens/s)
↕
首字延迟 TTFT
(ms)
↕
词间抖动 ITL
(ms)
操作
对比
上一页
第 1 页
下一页
排名
用户
总测速数
最高 Prefill
最高 Decode
常测模型 (Top 3)
×
测试详情
六维综合性能雷达 (Capability Radar)
×
启动命令
复制命令
已选择 0 项进行对比 (最多 10 项)
清空选择
生成对比图表
多结果对比
×
预填充 (Prefill) 吞吐对比
输出 (Decode) 吞吐对比
首字延迟 (TTFT) 对比
词间延迟 (ITL) 对比