排序
Go 数据结构与数据处理：数组、切片、Map、字符串和指针
一、Go数据结构-数组基本使用 1.1 什么是数组 在 Go 语言中，数组（Array）是一种用于存储一组相同类型元素的数据结构。数组的长度是固定的，一旦定义后，其大小不能改变。数组在 Go 中是值类型...
3年前
GPU 监控进阶：Prometheus 接入 dcgm-exporter 与显卡大盘
一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...
1年前
大模型运维监控入门：命令行工具、Prometheus 与 Grafana
一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...
12个月前
大模型为什么离不开 GPU
一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...
1年前
大模型微调入门：为什么需要微调与常见技术路线
一、为什么需要微调 微调的核心价值，通常体现在下面几个方面： * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下，用更高效的方...
1年前
vLLM 私有化部署实战：模型下载、服务启动与接口测试
一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...
1年前
大模型推理优化总览：硬件、系统架构与服务部署
一、大模型优化的核心目标 优化通常围绕四个目标展开： * 降低延迟： * 尤其是首个 Token 时间和生成速度。 * 提高吞吐： * 在固定资源下服务更多请求。 * 降低成本： * 提升资源利用率，降低单...
12个月前
商业大模型微调平台盘点：阿里云 PAI、硅基流动与讯飞星辰
一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...
1年前
Go 错误处理实战：error、panic、defer 与 recover
一、前言 本文主要以下几方面介绍Go语言中错误处理Error: * 为什么需要异常处理 * 不同开发语言错误处理方式 * Error初体验 * 自定义Error * 异常终止收尾处理defer * 异常捕获recover 二、为什...
3年前Go 项目容器化部署：Docker 与 Kubernetes 上线实践
一、使用Docker容器化部署Go语言微服务 1.1 安装Docker 1.1 Rocky9安装Docker 1、每台主机关闭防火墙、swap分区、dnsmasq、selinux (1)在每台机器上执行以下命令关闭防火墙 (2)在每台机器上执行...
3年前