模型部署 第5页
Kubernetes GPU资源调度落地-AI运维探索者

Kubernetes GPU资源调度落地

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...
头像8个月前
0295
常见主流开源大模型盘点-AI运维探索者

常见主流开源大模型盘点

一、先看主流开源大模型全景 | 大模型 | 代表模型 | 公司 | 特点 | | ------------ | ------------- | ---------------- | ------------------------------------------------------------ | | ...
头像7个月前
0305
用 DistillKit 做大模型蒸馏:Qwen3-8B 到 Qwen3-0.6B-AI运维探索者

用 DistillKit 做大模型蒸馏:Qwen3-8B 到 Qwen3-0.6B

一、DistillKit 是什么 DistillKit 是 Arcee.AI 开源的大模型蒸馏工具包,目标是让研究和工程团队更容易实践多种蒸馏方法。 它支持的主要方向包括: * 基于 logits 的蒸馏; * 基于隐藏状态的蒸...
头像6个月前
0245