一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、准备 Ansible 环境 1、准备两台机器，机器配置无需太高，比如1c2g，这里建议大家使用阿里云按量付费机器。 2、安装Ansible 两台机器都执行 说明：以下命令为阿里云alibaba cloud linux系统 ...

一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

一、先准备机器 一个入门级实验环境就够了： * CPU：2C * 内存：4G * 磁盘：40G * 系统：Ubuntu 22.04 如果你只是做实验，使用云上的抢占式实例会更省钱，用完及时销毁即可。 二、安装 Docker ...

一、部署MySQL 以下基于Rocky9 先安装MySQL8.0 启动服务 设置root密码 测试root密码是否可以登录 二、部署mysql mcp 项目地址：https://github.com/benborla/mcpservermysql.git 同学推荐： htt...

一、AI 编程为什么会成为新的开发范式 从编程语言演化来看，开发工具经历了几个明显阶段： 汇编和早期高级语言； 面向对象与框架时代； 再到今天的 AI 辅助开发时代。 这一阶段的典型工具包括：...

一、项目目标 目标是做一个公司内部员工智能问答助手，能够基于以下资料回答问题： * 员工手册； * 各部门培训手册； * 技术部内部资源使用说明。 最终可以把这个助手发布到公司内部 OA 或门户...

一、大模型压测为什么特别重要 相比传统 API，大模型服务的性能不只是“请求快不快”，还涉及： * 首个 Token 出来的速度； * 后续 Token 生成的节奏； * 并发下吞吐是否塌陷； * GPU 利用率是...

一、启动 WebUI 在开始训练前，先把前面的测试命令结束掉，然后启动 WebUI： 浏览器访问： `http://ip:7860` 如果使用的是 AutoDL，仍然需要做自定义服务映射。 需要注意的是：WebUI 版本更适合...

- 一、硬件核心配置逻辑 - 1.1 GPU 选型原则 * 显存容量：每 10 亿参数（1B）大约需要 1-2GB 显存，例如 70B 模型通常需要 80GB 级别显存，常见推荐是 A100 或 H100。 * 计算能力：优先选择 FP1...