Ray共1篇
vLLM 集群模式部署:Ray、多机多卡与远程访问-AI运维探索者

vLLM 集群模式部署:Ray、多机多卡与远程访问

一、先准备机器 示例建议: * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4,这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...
头像7个月前
05013