排序
用 EvalScope 压测 Qwen3-8B：从环境准备到指标解读
一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意： 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成： * `SILICONFLOW_API_KEY=` 二、准...
6个月前
大模型运维监控入门：命令行工具、Prometheus 与 Grafana
一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...
7个月前
GPU 监控进阶：Prometheus 接入 dcgm-exporter 与显卡大盘
一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...
8个月前
阿里云百炼 MCP 实战：做一个旅游规划助手
一、要接入哪些 MCP 服务 这个案例里一共用到了四类能力： 高德地图： 路线规划、景点与周边信息。 12306 火车票： 查询铁路出行方案。 飞常准： 查询航班相关信息。 EdgeOne Pages： 把最终旅...
3个月前
Dify+Grafana MCP：日志与监控大盘智能体
一、部署mcpgrafana 建议部署到grafana那台主机 1.1 安装docker 如果系统里没有docker环境，还需要安装一下docker，系统版本Rocky9 安装dnf插件工具 配置阿里云的docker源 安装dockerce 配置doc...
2个月前
GitHub上线准备：仓库、Git、SSH Key与代码推送
一、先准备账号 通常要先准备两个平台账号： GitHub Vercel GitHub 用来管理源码，Vercel 用来接入并部署前端项目。 二、在 GitHub 创建项目 进入 GitHub 后，新建一个空仓库即可。 三、安装 Gi...
3个月前
大模型是什么，它为什么重要
一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...
7个月前
常见主流闭源大模型盘点
一、主流闭源大模型概览 | 模型 | 代表模型 | 公司 | 特点 | | -------- | ---------------------- | ------------ | ------------------------------------------------------------ | | GPT ...
6个月前
Dify+Jenkins MCP：构建CI-CD运维智能体
一、部署Jenkins MCP 就在Jenkins那台机器上部署，系统版本：Rocky9 项目地址：https://github.com/lanbaoshen/mcpjenkins 基于docker部署，需要先安装docker环境 先pull容器镜像 然后启动容器 ...
2个月前
RAG 进阶：典型架构、Rerank 和重排序模型怎么选
一、RAG 的典型架构 一个比较完整的 RAG 架构，通常包含三块能力： 1.1 知识库内容整理 文档不会直接原样扔进系统，而是要先切分成适合检索的片段。 常见切分方式包括： * 固定字数切分； * 按...
9个月前