大模型工程
常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner
大模型微调真正落地时，方法论之外还需要工具链支持；不同工具的差异，不仅体现在“能不能训”，更体现在显存占用、配置方式、部署效率和适配范围上。
标签
标签: AIOps
共找到 101 篇相关文章
标签: AIOps
AIOps
大模型工程
大模型微调怎么选：技术选型与 SFT、DPO、PPO、RLHF
微调不是“选一个最流行的方法”就结束了，真正要做的是把任务复杂度、数据规模、算力条件和部署目标一起纳入决策，然后再选训练策略。
大模型工程
大模型微调入门：为什么需要微调与常见技术路线
大模型已经很强了，但它的“强”更多是通用能力；一旦业务进入具体行业、固定任务或企业场景，微调就成了让模型真正贴近需求的关键步骤。
大模型工程
vLLM 集群模式部署：Ray、多机多卡与远程访问
单机部署能解决入门问题，但当模型更大、并发更多、单卡显存不够时，就需要走向多机多卡；这时 `Ray + vLLM` 的集群模式，就是把大模型服务从“能跑”推进到“能扩展”的关键一步。
大模型工程
vLLM 私有化部署实战：模型下载、服务启动与接口测试
当你从“本地能跑”迈向“服务化可调用”时，`vLLM` 往往是更合适的下一步；它的重点不在于图形界面，而在于把模型变成一个高性能、兼容 OpenAI 风格接口的推理服务。
大模型工程
Ollama 私有化部署实战：云主机、模型运行与 OpenWebUI
如果你想自己掌控部署过程，又希望尽量降低上手门槛，那么 `Ollama + OpenWebUI` 是非常适合入门的大模型私有化组合：前者负责拉起模型，后者负责提供图形化交互界面。
大模型工程
腾讯云 HAI 体验：从创建实例到 OpenWebUI 测试
如果你想用更接近“开箱即用”的方式体验大模型部署，腾讯云 HAI 是一个相对轻量的入口；它的思路不是让你先搭完整基础设施，而是先把 GPU 算力和交互环境准备好，再快速验证模型能不能跑起来。
大模型工程
开源大模型私有化部署思路与阿里云 PAI 快速部署
大模型私有化部署真正落地时，通常要先回答三个问题：模型从哪里拿、硬件怎么配、部署方案选本地还是云端；把这三个问题理顺后，再上手阿里云 PAI 这类托管平台会轻松很多。
大模型工程
大模型私有化部署硬件选型策略与企业案例
大模型私有化部署没有统一标准答案，选型时真正起决定作用的，往往不是“哪张卡更强”，而是你的业务优先级到底是安全、成本、性能，还是国产化替代。
大模型工程
大模型私有化部署前，如何估算硬件配置
做大模型私有化部署时，第一步不是急着挑框架，而是先把硬件预算算清楚；显存、CPU、内存、磁盘和量化策略，基本决定了你能跑什么模型、用什么方式部署。