一、部署python版本的mcp 项目地址：https://pypi.org/project/mcpkubernetesserver 该项目已经纳入pip的仓库了，可以直接使用pip install安装，非常方便。 该mcp提供了非常多的工具 1.1 命令行...

一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...

一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

一、K8s管理GPU资源技术架构 k8s默认不支持管理GPU 安装完英伟达驱动后支持管理GPU 二、K8s管理大模型服务方案 针对vLLM serve、Ollama serve等各类大模型服务，可以使用资源类型为Deployment进...

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、Rancher项目管理 在Rancher中，项目是一种组织和K8s资源隔离的方式，使不同的团队和用户可以独立管理的自己资源，互不干扰。 * 资源隔离：每个项目都拥有独立的资源池，并且可以统一给项目...

一、资源配额 1、选择pdd购物平台项目，依次点击【三个点】-【编辑配置】 2、点击【资源配额】-【添加资源】，根据资源类型进行选择，这里可以填写项目限制和命名空间默认限制 3、这里以资源类...

一、管理节点的标签 1.1 增加节点标签 1、给10.0.0.20节点添加gpu=true标签 2、后台进行查看 1.2 删除节点标签 1、给10.0.0.20节点删除gpu=true标签 2、后台进行查看,此时为空，代表节点标签删...

一、自定义角色模板 1、依次点击【用户&认证】-【角色模板】-【项目或命名空间】-【创建项目或命名空间的角色】 2、定义以下内容后点击【创建】 名称：debug 描述：执行debug命令 授权资源...

一、导入任意的k8s集群 1、依次点击【集群管理】-【集群】-【导入已有集群】 2、点击【通用】 3、定义集群名称：test，集群描述：测试环境后，点击【创建】 4、在k8s集群中master节点(具有kubec...