本地大模型推理速度测试工具 v3.5

OpenAI兼容接口测试说明

使用流式响应(stream=true)测量首字延迟
预填充速度 = 提示词长度 / (首字到达时间 - 请求开始时间)
输出速度 = 输出token数 / (输出完成时间 - 首字到达时间)
适用于所有兼容OpenAI API的大模型服务
支持思考模型（DeepSeek-R1、Qwen-QwQ等）：自动统计总吞吐（思考+答案tokens）

API 信息

API 地址

模型名称

API-Key

备注

启动命令

保存测试详情（提示词和输出内容）

💡 勾选后会保存完整的提示词和输出内容到历史记录，方便查看详情。不勾选可节省存储空间。

测试参数配置

🎯 测试模式选择（点击单选切换）：

📈

标准提示词阶梯 1D Sweep

🔲

2D 并发 × 上下文矩阵 2D Matrix

⏱️

稳态持续解码 Sustained Decode

🧪 评测场景题库（测试类型）：

💡 不同任务的解码效率与投机命中率差异显著，根据实际业务场景选择对应测试题库；点击按钮可一键按顺序评测全部 6 种场景并生成横向对比报告。

最小提示词长度

最大提示词长度

步长

步长倍数

并发数单次测试阶梯的并发数

期望输出长度期望生成的最大 Token 数

请求超时 (ms)

Temperature

Top P

Presence Penalty

Frequency Penalty

🛡️ 启用推理死循环与重复退化守卫 (Repetition Loop Guard: 4-cycle / 4096-char 熔断)

执行测试

多结果对比

导入CSV结果文件 (可多选)

说明：先“开始测试”运行一次，然后再导入其他CSV文件，点击“生成对比图表”

🚀 大模型 Prefill & Decode 性能测试工具 v3.5 (chao魔改版)

OpenAI兼容接口测试说明

API 信息

测试参数配置

2D 并发 × 上下文矩阵配置

稳态持续解码配置

执行测试

多结果对比

📊 2D 并发 × 上下文吞吐与时延热力图矩阵

预填充 (Prefill) 吞吐

输出 (Decode) 吞吐

对比 - 预填充 (Prefill) 吞吐

对比 - 输出 (Decode) 吞吐

🏷 设置用户名

🔑 找回识别码

☁️ 分享测试结果

🚀 大模型 Prefill & Decode 性能测试工具 v3.5 (chao魔改版)English

OpenAI兼容接口测试说明

API 信息

测试参数配置

2D 并发 × 上下文矩阵配置

稳态持续解码配置

执行测试

多结果对比

📊 2D 并发 × 上下文吞吐与时延热力图矩阵

预填充 (Prefill) 吞吐

输出 (Decode) 吞吐

对比 - 预填充 (Prefill) 吞吐

对比 - 输出 (Decode) 吞吐

测试历史记录

🏷 设置用户名

🔑 找回识别码

☁️ 分享测试结果

🚀 大模型 Prefill & Decode 性能测试工具 v3.5 (chao魔改版)