推理性能共2篇
用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读-AI运维探索者

用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读

一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意: 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成: * `SILICONFLOW_API_KEY=` 二、准...
头像6个月前
0428
大模型压测入门:核心指标与常见压测工具-AI运维探索者

大模型压测入门:核心指标与常见压测工具

一、大模型压测为什么特别重要 相比传统 API,大模型服务的性能不只是“请求快不快”,还涉及: * 首个 Token 出来的速度; * 后续 Token 生成的节奏; * 并发下吞吐是否塌陷; * GPU 利用率是...
头像7个月前
0246