排序
常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner
一、Hugging Face Transformers 与 PEFT Transformers 是 Hugging Face 的核心开源库，覆盖 NLP、视觉、音频等多种任务，同时把模型加载、Tokenizer、Pipeline 等常见能力做了模块化封装。 PEFT...
6个月前
Gin 脚手架项目实战：JWT、日志封装与认证中间件
一、什么是脚手架? 脚手架是项目开发的基础框架,脚手架包含了基本了项目结构、依赖管理、构建工具、测试框架等基本功能和配置,脚手架可以使开发者能够非常迅速的展开工作,避免重复造轮了,可以大...
3年前
Go 函数进阶：具名返回值、不定参数与递归实践
一、前言 主要以下几方面介绍Go语言中的函数: * 函数初体验 * 具名返回值 * 接收任意长度参数 * 递归函数 二、函数初体验 2.1 什么是函数 函数是一段封装了特定功能的代码块，它可以接收输入（...
3年前
大模型推理优化总览：硬件、系统架构与服务部署
一、大模型优化的核心目标 优化通常围绕四个目标展开： * 降低延迟： * 尤其是首个 Token 时间和生成速度。 * 提高吞吐： * 在固定资源下服务更多请求。 * 降低成本： * 提升资源利用率，降低单...
7个月前
大模型为什么离不开 GPU
一、为什么大模型依赖 GPU 大模型(如GPT、DeepSeek等)依赖GPU进行训练和推理 CPU和GPU的区别： | | CPU | GPU | | -------------------------- | --------------------------------------------...
7个月前
大模型行业选型建议：金融、医疗、制造与教育
一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...
7个月前
商业大模型微调平台盘点：阿里云 PAI、硅基流动与讯飞星辰
一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...
7个月前
Go 接口实战：interface、空接口、类型断言与接口嵌套
一、前言 本文主要以下几方面介绍Go语言中接口: * 初识接口 * 接口使用 * 空接口 * 类型断言 * 接口嵌套 二、初识接口 2.1 理解接口 对于Go语言中的接口，我们可以从现实生活出发，可以更好的理...
3年前
大模型是什么，它为什么重要
一、先认识什么是大模型 1.1 常见的大模型 常见的大模型： * ChatGPT * DeepSeek * 豆包 * 腾讯元宝 1.2 大模型的定义 大模型定义： * 大语言模型(LLM) * 关键字:大 --> 参数规模比较大、训...
7个月前
Go 项目容器化部署：Docker 与 Kubernetes 上线实践
一、使用Docker容器化部署Go语言微服务 1.1 安装Docker 1.1 Rocky9安装Docker 1、每台主机关闭防火墙、swap分区、dnsmasq、selinux (1)在每台机器上执行以下命令关闭防火墙 (2)在每台机器上执行...
3年前