一、部署单机 Kubernetes 前的准备工作 为了节省成本，这里我们可以部署一台单机版的k8s 机器配置建议：CUP：2c， 内存：4G， 磁盘：40G 1、关闭防火墙firewalld、selinux 2、设置主机名 设置/e...

一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...

一、proactiveagentskill：主动协作 1.1 它可以做什么 proactiveagentskill 是一个让代理从“被动接单”变成“主动协作”的方法论技能包，核心价值是：不丢上下文、能持续记忆、会定时主动检查...

一、向量是什么 在 AI 场景里，向量可以理解成一个“很长的数字列表”，例如： 这个数字列表不是随便生成的，它通常承载了原始数据的语义或特征。 例如： * 一张图片会被编码成代表颜色、形状、...

一、先准备账号 通常要先准备两个平台账号： GitHub Vercel GitHub 用来管理源码，Vercel 用来接入并部署前端项目。 二、在 GitHub 创建项目 进入 GitHub 后，新建一个空仓库即可。 三、安装 Gi...

一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...

一、部署前的机器要求 生产环境通常建议： * CPU >= 4 cores * RAM >= 16 GB * Disk >= 50 GB * Docker >= 24 * Docker Compose >= 2.26 演示环境里使用的是： * Ubuntu 22.04 *...

一、环境准备 说明：安装Prometheus+alertmanager的机器配置如下 CPU：2C 内存：4G 磁盘：40G 系统：Rocky9 1.1 安装Prometheus 下载包 如果该链接无法下载，可以使用代理 解压 编辑systemd脚本...

一、触发器节点 1.1 Manual Trigger 最简单的触发器，点击后立即运行，适合调试。 1.2 Schedule Trigger 定时触发，作用类似 Linux 的 Crontab。 1.3 Webhook Webhook 会给你一个 URL，只要访问...

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...