一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...

一、前言 本文主要以下几方面介绍Go语言中错误处理Error: * 为什么需要异常处理 * 不同开发语言错误处理方式 * Error初体验 * 自定义Error * 异常终止收尾处理defer * 异常捕获recover 二、为什...

一、大模型优化的核心目标 优化通常围绕四个目标展开： * 降低延迟： * 尤其是首个 Token 时间和生成速度。 * 提高吞吐： * 在固定资源下服务更多请求。 * 降低成本： * 提升资源利用率，降低单...

一、主流闭源大模型概览 | 模型 | 代表模型 | 公司 | 特点 | | -------- | ---------------------- | ------------ | ------------------------------------------------------------ | | GPT ...

一、什么是脚手架? 脚手架是项目开发的基础框架,脚手架包含了基本了项目结构、依赖管理、构建工具、测试框架等基本功能和配置,脚手架可以使开发者能够非常迅速的展开工作,避免重复造轮了,可以大...

一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...

一、前言 本文主要以下几方面介绍Go语言中接口: * 初识接口 * 接口使用 * 空接口 * 类型断言 * 接口嵌套 二、初识接口 2.1 理解接口 对于Go语言中的接口，我们可以从现实生活出发，可以更好的理...

一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...

一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...

一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...