- 一、硬件核心配置逻辑 - 1.1 GPU 选型原则 * 显存容量：每 10 亿参数（1B）大约需要 1-2GB 显存，例如 70B 模型通常需要 80GB 级别显存，常见推荐是 A100 或 H100。 * 计算能力：优先选择 FP1...

一、这一步要做什么 前一篇已经把儿童绘本工作流搭好了，接下来要做的是： * 把工作流挂到智能体上； * 配置智能体人设； * 配置欢迎语和预设问题； * 优化交互体验，让它更像一个真正能用的儿...

一、K8s使用Model资源部署大模型 1、在 K8s 上部署大模型，可以直接用 Ollama Operator 的 CRD Model 部署，比如部署一个 phi的模型 2、首次部署大模型，会先创建一个 store 服务，用于存储 oll...

一、安装 Grafana 官网下载地址： https://grafana.com/grafana/download 由于官网下载很慢，所以可以配置一个阿里云的源 vi /etc/yum.repos.d/grafana.repo 内容如下 用dnf安装grafana 启动服...

一、什么是知识蒸馏 知识蒸馏（Knowledge Distillation）是一种模型压缩技术，核心思想是： * 用一个更大的教师模型指导一个更小的学生模型； * 让学生模型在更低资源占用下，尽量接近教师模型...

一、知识是如何进入参数的 观点:大模型本身没有知识库/数据库,它“大脑”里的知识来源于它的参数。这些知识是通过训练数据学习到的统计规律,编码在神经网络参数中。大模型不像传统数据库通过结...

一、性能与场景适配度 1.1 通用能力 评估模型在数学推理、代码生成、多语言支持等通用任务上的表现。例如，通义千问在多项评测中表现突出，DeepSeek-R1 在复杂推理任务中也有明显优势。 1.2 行...