一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...

一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...

一、主流闭源大模型概览 | 模型 | 代表模型 | 公司 | 特点 | | -------- | ---------------------- | ------------ | ------------------------------------------------------------ | | GPT ...

一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...

一、什么是大模型微调数据集 简单说，微调数据集就是一批专门为某个目标准备的数据，用来让一个已经很强的通用模型，进一步学会特定任务、特定风格或特定领域知识。 二、常见数据集分类 2.1 指...

一、什么是大模型参数 * 参数单位:B,billion(十亿) * 参数是什么? 大模型参数是通过海量数据训练得到的内部数值,用于存储知识关联并决定模型处理信息的方式。 * 举例1:参数就好比图书馆书架上的...

一、K8s管理GPU资源技术架构 k8s默认不支持管理GPU 安装完英伟达驱动后支持管理GPU 二、K8s管理大模型服务方案 针对vLLM serve、Ollama serve等各类大模型服务，可以使用资源类型为Deployment进...

一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...