一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...

一、Ollama介绍与特性 1.1 什么是Ollama Ollama是一个轻量级、易于使用的大模型管理和部署工具,主要用于简化大模型的运行和交互。并且为开发者和用户提供了快速加载、管理和调用多种主流大模型...

一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...

一、先准备机器 示例建议： * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4，这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...

一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...

一、先配置训练器 示例里使用的是 `SFTTrainer`： - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`： * 用梯度累积模拟更大的 batch。 * `warmup_steps`： * 训练初期逐步升高学...

- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU：至少 10GB 显存，例如 T4、V100 或更高。 * 内存：至少 16G。 * 存储：建议 50G 以上。 - 1.2 软件环境 * Linux（推荐 Ubuntu） * Python 3.8 ...

一、先看 Transformer 的整体结构 架构图： 示例：输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1）词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...

一、Transformer 解决了什么问题 传统模型(RNN/LSTM) * 痛点:无法并行处理、长距离依赖失效、上下文理解局限 * 举例:传话游戏,只能一传一,不能互相通信,第1个人接收到的信息跟第10个人比肯定会...

一、先准备云主机 1.1 AutoDL AutoDL 官网： `https://autodl.com/home` 它的优势通常是便宜、按量付费、适合做实验，但因为是容器化虚拟机，性能体验可能略差一些。 1.2 阿里云 / 腾讯云 GPU ...