- 一、开源模型一般去哪里找 * Hugging Face：`https://huggingface.co/models` * 魔塔社区：`https://modelscope.cn/models` 一、部署前先把思路定下来 1.1 先确定目标模型 例如以 `QWQ-32B` ...

一、DistillKit 是什么 DistillKit 是 Arcee.AI 开源的大模型蒸馏工具包，目标是让研究和工程团队更容易实践多种蒸馏方法。 它支持的主要方向包括： * 基于 logits 的蒸馏； * 基于隐藏状态的蒸...

一、DevOps平台建设 DevOps平台设计结构图: 在 Kubernetes 中进行 CICD 的过程，一般的步骤如下： 1.在GitLab中创建对应的项目； 2.配置Jenkins集成Kubernetes集群，后期 Jenkins 的 Slave 将为...

一、Milvus 是什么 Milvus 是一个面向 AI 时代海量向量数据的高性能、可扩展、云原生开源向量数据库。 它的核心价值是： * 专为向量检索设计； * 支持大规模向量存储和相似搜索； * 适合推荐系...

一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...

一、Deployment 只有两种主流更新策略 Deployment 的更新策略主要有两类： - `Recreate` - `RollingUpdate` 默认值是 `RollingUpdate`。它们的区别并不抽象，可以直接理解成两种上线哲学： - `R...

一、编辑prometheus_config.yaml,在 scrape_configs: 下面增加，如下。 **说明：因为consul-ui服务地址如果重启会发生变化，所以这里选择服务名** 二、重新导入配置 三、重启Prometheus服务 四...

一、参数调整 kube-apiserver 以下两个参数可以控制连接数: 节点数量在 1000 - 3000 之间时，推荐： 节点数量大于 3000 时，推荐 当集群中 node 以及 pod 数量非常多时可以稍微调大： - 二、api...

一、ES集群健康状态API(health) 1、安装jq工具 2、测试取数据 (1)取全部数据 相关数据说明： 参数

一、使用Service代理外部服务 如果我们使用Service代理k8s外部服务，可能适应于以下场景: * 希望在生产环境中使用某个固定的名称而非 IP 地址访问外部的中间件服务 * 希望 Service 指向另一个 N...