MJJ扯皮论坛»MJJ扯皮论坛 › AI › 人工智能 › 8卡5090跑Qwen大模型配置

8卡5090跑Qwen大模型配置

| 查看: 2 | 回复: 0

R2R2 金牌会员

1 小时前 | 楼主 | 回复 | 只看该作者

网友分享了一套 8 卡 5090 跑 Qwen3.8-27B-NVFP4 的配置：面向 200K 长上下文用户群体，用 GPUStack 做 PD 分离，4 卡 Prefill、4 卡 Decode，还可配基于 LMCache 的共享内存缓存，另有 6 卡加 LMCache 的部署方案。
来源：https://catalog.ngc.nvidia.com/orgs/nim/qwen/models/qwen3.8-27b/-

只看该作者使用道具