一、K8s管理GPU资源技术架构 k8s默认不支持管理GPU 安装完英伟达驱动后支持管理GPU 二、K8s管理大模型服务方案 针对vLLM serve、Ollama serve等各类大模型服务，可以使用资源类型为Deployment进...

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、认识开发语言 点击[开发语言排行](https://www.tiobe.com/tiobe-index/)查看2023年开发语言排行 点击[开发语言从业者收入](https://codesubmit.io/blog/software-engineer-salary-by-countr...

一、使用Docker容器化部署Go语言微服务 1.1 安装Docker 1.1 Rocky9安装Docker 1、每台主机关闭防火墙、swap分区、dnsmasq、selinux (1)在每台机器上执行以下命令关闭防火墙 (2)在每台机器上执行...

一、前言 本文主要以下几方面介绍Go语言中错误处理Error: * 为什么需要异常处理 * 不同开发语言错误处理方式 * Error初体验 * 自定义Error * 异常终止收尾处理defer * 异常捕获recover 二、为什...

一、前言 本文主要以下几方面介绍Go语言中的结构体: * 初识结构体 * 结构体初体验 * 结构体操作和比较 * 结构体自定义方法 * 结构体方法接收者类型 * 结构体嵌套 二、初识结构体 2.1 基本含义 G...

一、Go数据结构-数组基本使用 1.1 什么是数组 在 Go 语言中，数组（Array）是一种用于存储一组相同类型元素的数据结构。数组的长度是固定的，一旦定义后，其大小不能改变。数组在 Go 中是值类型...

一、前言 本文主要以下几方面介绍Go语言中接口: * 初识接口 * 接口使用 * 空接口 * 类型断言 * 接口嵌套 二、初识接口 2.1 理解接口 对于Go语言中的接口，我们可以从现实生活出发，可以更好的理...

一、安装VSCode 1.点击[VSCode官网](https://code.visualstudio.com/download)，选择对应的版本进行下载，这里我是windows 2.双击安装包，点击【下一步】 3.选择安装目录，点击【下一步】 4.点...