- 一、先按需求驱动做决策 - 1.1 数据安全与合规性优先 适用场景 * 金融、医疗、政府等需要遵守数据安全与个人信息保护要求的行业。 * 涉及国家机密，或者跨境数据传输受限的企业。 硬件选型要...

- 一、硬件核心配置逻辑 - 1.1 GPU 选型原则 * 显存容量：每 10 亿参数（1B）大约需要 1-2GB 显存，例如 70B 模型通常需要 80GB 级别显存，常见推荐是 A100 或 H100。 * 计算能力：优先选择 FP1...

一、标签选择器 直接写标签名，选中所有该标签： 特点：范围大，容易“全局影响” 示例说明： 1、创建一个名为css-study的文件夹并使用VSCode打开，再创建一个名为7-1.CSS引用方式-标签选择器.h...

一、为什么需要微调 微调的核心价值，通常体现在下面几个方面： * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下，用更高效的方...

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...

一、什么是大模型微调数据集 简单说，微调数据集就是一批专门为某个目标准备的数据，用来让一个已经很强的通用模型，进一步学会特定任务、特定风格或特定领域知识。 二、常见数据集分类 2.1 指...

一、超参数到底是什么 超参数（Hyperparameters）是在训练开始前就要设定好的参数，用来控制训练过程，而不是训练中自动学到的权重。 一个很直观的比喻是：超参数就像做菜前先决定盐、胡椒、火...

一、大模型优化的核心目标 优化通常围绕四个目标展开： * 降低延迟： * 尤其是首个 Token 时间和生成速度。 * 提高吞吐： * 在固定资源下服务更多请求。 * 降低成本： * 提升资源利用率，降低单...

一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...

一、什么是知识蒸馏 知识蒸馏（Knowledge Distillation）是一种模型压缩技术，核心思想是： * 用一个更大的教师模型指导一个更小的学生模型； * 让学生模型在更低资源占用下，尽量接近教师模型...