一、K8S平台集成(全) 1.1 K8S平台集成(全) [k8s 基于 Jenkins 的 CI/CD 详细教程](https://github.com/Chao-Xi/JacobTechBlog/tree/master/k8s_dev/jenkins) 1.2 Kubernetes基本对象简介 1.2 Je...

一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、K8s管理GPU资源技术架构 k8s默认不支持管理GPU 安装完英伟达驱动后支持管理GPU 二、K8s管理大模型服务方案 针对vLLM serve、Ollama serve等各类大模型服务，可以使用资源类型为Deployment进...

一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

一、部署python版本的mcp 项目地址：https://pypi.org/project/mcpkubernetesserver 该项目已经纳入pip的仓库了，可以直接使用pip install安装，非常方便。 该mcp提供了非常多的工具 1.1 命令行...

一、Nacos 部署 1.1 Nacos 部署说明 https://nacos.io/zh-cn/docs/v2/quickstart/quick-start.html 版本选择 推荐使用稳定版本 https://github.com/alibaba/nacos/releases Nacos 支持三种部署...

一、APISIX介绍 Apache APISIX是一个高性能、动态、可扩展的 API 网关，由 Apache 基金会孵化并管理。它基于 Nginx 和 etcd 开发，提供了丰富的流量管理功能，如负载均衡、动态上游、灰度发布、...

一、部署Mysql并持久化数据 1、创建一个 MySQL 的 PVC 2、创建一个 MySQL 的 Deployment 3、创建MySQL,并查看启动状态 4、MySQL 启动后，会在数据目录初始化基础数据，此时可以在后端存储中看到...

一、三份脚本的职责拆分 1.1 GitLab 备份脚本 1.2 MySQL 备份脚本 1.3 PostgreSQL 备份脚本 - 二、三份脚本的共同模式 - 2.1 共同的技术路线 - 先通过 `kubectl get pod -A` 动态发现目标 Pod。...