一、为什么 `include_tasks` 之后还需要 Roles 先回顾 `include_tasks` 的价值：大型剧本可以拆成多个小文件，整体体积更小，也更容易分段维护。 但剧本拆开之后，新的问题也会出现： - `handle...

一、为什么要学 Jinja2 模板 Jinja2 常见于： - 使用 `template` 模块分发配置文件 - 在模板中做判断 - 在模板中做循环 这意味着，当配置文件里需要根据主机不同而动态生成内容时，就不能只靠普...

一、Galaxy 是什么 `Galaxy` 的作用可以先用一句话理解： 它的意义就是使用“别人的 roles”。 如果说 `roles` 更强调本地项目内部如何按规范组织目录，那么 `Galaxy` 更像一个可复用内容的分发...

一、知识是如何进入参数的 观点:大模型本身没有知识库/数据库,它“大脑”里的知识来源于它的参数。这些知识是通过训练数据学习到的统计规律,编码在神经网络参数中。大模型不像传统数据库通过结...

一、什么是大模型参数 * 参数单位:B,billion(十亿) * 参数是什么? 大模型参数是通过海量数据训练得到的内部数值,用于存储知识关联并决定模型处理信息的方式。 * 举例1:参数就好比图书馆书架上的...

一、大模型压测为什么特别重要 相比传统 API，大模型服务的性能不只是“请求快不快”，还涉及： * 首个 Token 出来的速度； * 后续 Token 生成的节奏； * 并发下吞吐是否塌陷； * GPU 利用率是...

一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...

一、Ollama介绍与特性 1.1 什么是Ollama Ollama是一个轻量级、易于使用的大模型管理和部署工具,主要用于简化大模型的运行和交互。并且为开发者和用户提供了快速加载、管理和调用多种主流大模型...

一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...

一、先准备机器 示例建议： * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4，这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...