一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

一、K8s管理GPU资源技术架构 k8s默认不支持管理GPU 安装完英伟达驱动后支持管理GPU 二、K8s管理大模型服务方案 针对vLLM serve、Ollama serve等各类大模型服务，可以使用资源类型为Deployment进...

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、什么是智能体 AI Agent（智能体）是一种能够感知环境、做出决策并执行行动的软件系统。你可以把它理解成一个“能自己完成任务的 AI 助手”。 和传统聊天机器人相比，智能体不只是回答问题，...

一、先准备机器 一个入门级实验环境就够了： * CPU：2C * 内存：4G * 磁盘：40G * 系统：Ubuntu 22.04 如果你只是做实验，使用云上的抢占式实例会更省钱，用完及时销毁即可。 二、安装 Docker ...

一、触发器节点 1.1 Manual Trigger 最简单的触发器，点击后立即运行，适合调试。 1.2 Schedule Trigger 定时触发，作用类似 Linux 的 Crontab。 1.3 Webhook Webhook 会给你一个 URL，只要访问...

一、Code 节点 Code 节点是 n8n 里最灵活的节点之一，适合做： * 高级数据转换； * 自定义逻辑； * 聚合与计算； * 循环处理； * 复杂格式整理。 1.1 两种常见模式 Run Once for All Items 只执...

一、先配置大模型凭证 进入 n8n 后，先创建 DeepSeek 的 credential。 这里同样建议只记录占位变量： * `DEEPSEEK_API_KEY=` 二、基于模板体验 n8n n8n 官方有很多现成模板，适合快速理解工作流...

一、什么是 n8n n8n 是一款开源、可自托管、可视化的工作流自动化平台。你可以把它理解成一个“节点式自动化引擎”，通过拖拽节点把不同服务串起来，完成定时任务、数据同步、消息通知和 AI 自...