一、前言 本文主要以下几方面介绍Go语言中并发编程: * 理解并发和并行 * 理解协程和线程 * 并发处理任务 * 理解Go通道channel * 理解Go通道channel阻塞 * 理解缓冲通道 * Select处理多个通道及...

一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...

一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...

一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...

一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...

一、安装VSCode 1.点击[VSCode官网](https://code.visualstudio.com/download)，选择对应的版本进行下载，这里我是windows 2.双击安装包，点击【下一步】 3.选择安装目录，点击【下一步】 4.点...

一、Ollama介绍与特性 1.1 什么是Ollama Ollama是一个轻量级、易于使用的大模型管理和部署工具,主要用于简化大模型的运行和交互。并且为开发者和用户提供了快速加载、管理和调用多种主流大模型...

一、从 Hugging Face 获取公共数据集 地址： `https://huggingface.co/datasets` 1.1 安装命令行工具 默认前提是机器已经装好 Python 和 pip。 1.2 获取 Token 注册、登录并验证邮箱后，可以在...

一、什么是知识蒸馏 知识蒸馏（Knowledge Distillation）是一种模型压缩技术，核心思想是： * 用一个更大的教师模型指导一个更小的学生模型； * 让学生模型在更低资源占用下，尽量接近教师模型...

一、启动 WebUI 在开始训练前，先把前面的测试命令结束掉，然后启动 WebUI： 浏览器访问： `http://ip:7860` 如果使用的是 AutoDL，仍然需要做自定义服务映射。 需要注意的是：WebUI 版本更适合...