一、项目目标 目标是做一个公司内部员工智能问答助手，能够基于以下资料回答问题： * 员工手册； * 各部门培训手册； * 技术部内部资源使用说明。 最终可以把这个助手发布到公司内部 OA 或门户...

一、准备 Ansible 环境 1、准备两台机器，机器配置无需太高，比如1c2g，这里建议大家使用阿里云按量付费机器。 2、安装Ansible 两台机器都执行 说明：以下命令为阿里云alibaba cloud linux系统 ...

一、先看 Transformer 的整体结构 架构图： 示例：输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1）词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...

- 一、硬件核心配置逻辑 - 1.1 GPU 选型原则 * 显存容量：每 10 亿参数（1B）大约需要 1-2GB 显存，例如 70B 模型通常需要 80GB 级别显存，常见推荐是 A100 或 H100。 * 计算能力：优先选择 FP1...

一、先准备机器 一个入门级实验环境就够了： * CPU：2C * 内存：4G * 磁盘：40G * 系统：Ubuntu 22.04 如果你只是做实验，使用云上的抢占式实例会更省钱，用完及时销毁即可。 二、安装 Docker ...

一、大模型压测为什么特别重要 相比传统 API，大模型服务的性能不只是“请求快不快”，还涉及： * 首个 Token 出来的速度； * 后续 Token 生成的节奏； * 并发下吞吐是否塌陷； * GPU 利用率是...

一、先配置训练器 示例里使用的是 `SFTTrainer`： - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`： * 用梯度累积模拟更大的 batch。 * `warmup_steps`： * 训练初期逐步升高学...

一、先准备 Vercel 账号 访问：https://vercel.com/ 通常可以直接使用 GitHub 账号登录。 二、导入 GitHub 项目 进入 Vercel 后，新建项目，然后选择导入 GitHub 仓库。 三、配置环境变量 如果...

一、这一步要做什么 前一篇已经把儿童绘本工作流搭好了，接下来要做的是： * 把工作流挂到智能体上； * 配置智能体人设； * 配置欢迎语和预设问题； * 优化交互体验，让它更像一个真正能用的儿...