工程实践 第5页
大模型行业选型建议:法律、能源、农业与文旅-AI运维探索者

大模型行业选型建议:法律、能源、农业与文旅

一、法律行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | -------- | ---------------------- | --------------------- | ---------------------------- | | 合同审查 | 条款风险识别、...
头像8个月前
03214
Gin Web 开发入门:路由、参数绑定、中间件与工程化-AI运维探索者

Gin Web 开发入门:路由、参数绑定、中间件与工程化

一、前言 本文主要以下几方面介绍Gin相关基础知识: * 为什么要使用框架写项目 * 常见的Go语言框架及对比 * 前后端分离 * 什么是JSON * HTTP请求类型介绍 二、为什么要使用框架写项目 在 Go 语言...
头像3年前
0329
云原生开发入门:编程语言、变量、数据结构与逻辑控制-AI运维探索者

云原生开发入门:编程语言、变量、数据结构与逻辑控制

一、认识开发语言 点击[开发语言排行](https://www.tiobe.com/tiobe-index/)查看2023年开发语言排行 点击[开发语言从业者收入](https://codesubmit.io/blog/software-engineer-salary-by-countr...
头像3年前
03210
Kubernetes GPU资源调度落地-AI运维探索者

Kubernetes GPU资源调度落地

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...
头像9个月前
0325
Go 开发环境搭建:VSCode 与基础工具链配置-AI运维探索者

Go 开发环境搭建:VSCode 与基础工具链配置

一、安装VSCode 1.点击[VSCode官网](https://code.visualstudio.com/download),选择对应的版本进行下载,这里我是windows 2.双击安装包,点击【下一步】 3.选择安装目录,点击【下一步】 4.点...
头像3年前
0328
Transformer 编码器与解码器:一篇看懂核心结构-AI运维探索者

Transformer 编码器与解码器:一篇看懂核心结构

一、先看 Transformer 的整体结构 架构图: 示例:输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1)词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...
头像8个月前
03115
大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF-AI运维探索者

大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务: * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务: * 例如简单分类、关键词提取。 *...
头像8个月前
03112
大模型私有化部署前,如何估算硬件配置-AI运维探索者

大模型私有化部署前,如何估算硬件配置

- 一、硬件核心配置逻辑 - 1.1 GPU 选型原则 * 显存容量:每 10 亿参数(1B)大约需要 1-2GB 显存,例如 70B 模型通常需要 80GB 级别显存,常见推荐是 A100 或 H100。 * 计算能力:优先选择 FP1...
头像8个月前
0309
大模型压测入门:核心指标与常见压测工具-AI运维探索者

大模型压测入门:核心指标与常见压测工具

一、大模型压测为什么特别重要 相比传统 API,大模型服务的性能不只是“请求快不快”,还涉及: * 首个 Token 出来的速度; * 后续 Token 生成的节奏; * 并发下吞吐是否塌陷; * GPU 利用率是...
头像8个月前
0306
Unsloth 微调 Qwen3-4B 实战:训练、推理与 vLLM 部署-AI运维探索者

Unsloth 微调 Qwen3-4B 实战:训练、推理与 vLLM 部署

一、先配置训练器 示例里使用的是 `SFTTrainer`: - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`: * 用梯度累积模拟更大的 batch。 * `warmup_steps`: * 训练初期逐步升高学...
头像8个月前
0307