大模型工程 第4页
Transformer 为什么成为大模型核心架构-AI运维探索者

Transformer 为什么成为大模型核心架构

一、Transformer 解决了什么问题 传统模型(RNN/LSTM) * 痛点:无法并行处理、长距离依赖失效、上下文理解局限 * 举例:传话游戏,只能一传一,不能互相通信,第1个人接收到的信息跟第10个人比肯定会...
头像7个月前
0247
用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读-AI运维探索者

用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读

一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意: 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成: * `SILICONFLOW_API_KEY=` 二、准...
头像6个月前
0428
大模型如何训练:参数、数据与调用流程-AI运维探索者

大模型如何训练:参数、数据与调用流程

一、知识是如何进入参数的 观点:大模型本身没有知识库/数据库,它“大脑”里的知识来源于它的参数。这些知识是通过训练数据学习到的统计规律,编码在神经网络参数中。大模型不像传统数据库通过结...
头像7个月前
02310
大模型行业选型建议:金融、医疗、制造与教育-AI运维探索者

大模型行业选型建议:金融、医疗、制造与教育

一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...
头像7个月前
04611
Transformer 编码器与解码器:一篇看懂核心结构-AI运维探索者

Transformer 编码器与解码器:一篇看懂核心结构

一、先看 Transformer 的整体结构 架构图: 示例:输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1)词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...
头像7个月前
02715
腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试-AI运维探索者

腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试

一、先创建 HAI 实例 地址: `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后,点击“立即使用”。 1.2 新建算力实例 进入: `算力管理 -> 新建` 1.3 填写实例参数...
头像6个月前
03113
大模型微调入门:为什么需要微调与常见技术路线-AI运维探索者

大模型微调入门:为什么需要微调与常见技术路线

一、为什么需要微调 微调的核心价值,通常体现在下面几个方面: * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下,用更高效的方...
头像7个月前
05310
大模型运维监控入门:命令行工具、Prometheus 与 Grafana-AI运维探索者

大模型运维监控入门:命令行工具、Prometheus 与 Grafana

一、先用命令行工具做最小监控 1.1 NVIDIA GPU:`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具,前提是已经安装好显卡驱动。 常见用法: 它最适合做: * 快速排查显存占用; * 看当前...
头像7个月前
0488
Unsloth 微调 Qwen3-4B 实战:环境、模型加载与 LoRA 配置-AI运维探索者

Unsloth 微调 Qwen3-4B 实战:环境、模型加载与 LoRA 配置

- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU:至少 10GB 显存,例如 T4、V100 或更高。 * 内存:至少 16G。 * 存储:建议 50G 以上。 - 1.2 软件环境 * Linux(推荐 Ubuntu) * Python 3.8 ...
头像7个月前
04914
讯飞星辰零代码微调 Qwen3-4B 实战-AI运维探索者

讯飞星辰零代码微调 Qwen3-4B 实战

一、先做微调前测试 目标模型:`Qwen3-4B` 模型集市地址: `https://training.xfyun.cn/modelSquare` 进入后选择 `Qwen3-4B`,点击“体验”。 可以先准备几条测试问题,例如: * “阿铭linux是...
头像6个月前
0485