工程实践 第4页
大模型私有化部署硬件选型策略与企业案例-AI运维探索者

大模型私有化部署硬件选型策略与企业案例

- 一、先按需求驱动做决策 - 1.1 数据安全与合规性优先 适用场景 * 金融、医疗、政府等需要遵守数据安全与个人信息保护要求的行业。 * 涉及国家机密,或者跨境数据传输受限的企业。 硬件选型要...
头像10个月前
03811
Ollama 私有化部署实战:云主机、模型运行与 OpenWebUI-AI运维探索者

Ollama 私有化部署实战:云主机、模型运行与 OpenWebUI

一、先准备云主机 1.1 AutoDL AutoDL 官网: `https://autodl.com/home` 它的优势通常是便宜、按量付费、适合做实验,但因为是容器化虚拟机,性能体验可能略差一些。 1.2 阿里云 / 腾讯云 GPU ...
头像10个月前
0499
Go 结构体实战:定义、方法、接收者与嵌套-AI运维探索者

Go 结构体实战:定义、方法、接收者与嵌套

一、前言 本文主要以下几方面介绍Go语言中的结构体: * 初识结构体 * 结构体初体验 * 结构体操作和比较 * 结构体自定义方法 * 结构体方法接收者类型 * 结构体嵌套 二、初识结构体 2.1 基本含义 G...
头像3年前
06212
大模型参数入门:从规模到主流模型量级-AI运维探索者

大模型参数入门:从规模到主流模型量级

一、什么是大模型参数 * 参数单位:B,billion(十亿) * 参数是什么? 大模型参数是通过海量数据训练得到的内部数值,用于存储知识关联并决定模型处理信息的方式。 * 举例1:参数就好比图书馆书架上的...
头像10个月前
0506
常见开源大模型微调工具盘点:PEFT、LLaMA-Factory、Unsloth、XTuner-AI运维探索者

常见开源大模型微调工具盘点:PEFT、LLaMA-Factory、Unsloth、XTuner

一、Hugging Face Transformers 与 PEFT Transformers 是 Hugging Face 的核心开源库,覆盖 NLP、视觉、音频等多种任务,同时把模型加载、Tokenizer、Pipeline 等常见能力做了模块化封装。 PEFT...
头像9个月前
06111
大模型行业选型建议:法律、能源、农业与文旅-AI运维探索者

大模型行业选型建议:法律、能源、农业与文旅

一、法律行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | -------- | ---------------------- | --------------------- | ---------------------------- | | 合同审查 | 条款风险识别、...
头像10个月前
03714
Transformer 为什么成为大模型核心架构-AI运维探索者

Transformer 为什么成为大模型核心架构

一、Transformer 解决了什么问题 传统模型(RNN/LSTM) * 痛点:无法并行处理、长距离依赖失效、上下文理解局限 * 举例:传话游戏,只能一传一,不能互相通信,第1个人接收到的信息跟第10个人比肯定会...
头像10个月前
0337
Go 错误处理实战:error、panic、defer 与 recover-AI运维探索者

Go 错误处理实战:error、panic、defer 与 recover

一、前言 本文主要以下几方面介绍Go语言中错误处理Error: * 为什么需要异常处理 * 不同开发语言错误处理方式 * Error初体验 * 自定义Error * 异常终止收尾处理defer * 异常捕获recover 二、为什...
头像3年前
0555
大模型如何训练:参数、数据与调用流程-AI运维探索者

大模型如何训练:参数、数据与调用流程

一、知识是如何进入参数的 观点:大模型本身没有知识库/数据库,它“大脑”里的知识来源于它的参数。这些知识是通过训练数据学习到的统计规律,编码在神经网络参数中。大模型不像传统数据库通过结...
头像10个月前
03010
开源大模型私有化部署思路与阿里云 PAI 快速部署-AI运维探索者

开源大模型私有化部署思路与阿里云 PAI 快速部署

- 一、开源模型一般去哪里找 * Hugging Face:`https://huggingface.co/models` * 魔塔社区:`https://modelscope.cn/models` 一、部署前先把思路定下来 1.1 先确定目标模型 例如以 `QWQ-32B` ...
头像9个月前
04810