一、前言 本文主要以下几方面介绍Go语言中并发编程: * 理解并发和并行 * 理解协程和线程 * 并发处理任务 * 理解Go通道channel * 理解Go通道channel阻塞 * 理解缓冲通道 * Select处理多个通道及...

一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...

一、先创建 HAI 实例 地址： `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后，点击“立即使用”。 1.2 新建算力实例 进入： `算力管理 -> 新建` 1.3 填写实例参数...

一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...

一、先看主流开源大模型全景 | 大模型 | 代表模型 | 公司 | 特点 | | ------------ | ------------- | ---------------- | ------------------------------------------------------------ | | ...

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...

一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

- 一、先按需求驱动做决策 - 1.1 数据安全与合规性优先 适用场景 * 金融、医疗、政府等需要遵守数据安全与个人信息保护要求的行业。 * 涉及国家机密，或者跨境数据传输受限的企业。 硬件选型要...

- 一、开源模型一般去哪里找 * Hugging Face：`https://huggingface.co/models` * 魔塔社区：`https://modelscope.cn/models` 一、部署前先把思路定下来 1.1 先确定目标模型 例如以 `QWQ-32B` ...