+
+
+
+ + + 实用工具 +
+AI开发常用计算工具
+
+
+
+
+ + + 显存计算器 +
+计算大模型所需的显存大小,并推荐合适的GPU
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 模型权重占用
+ -
+
+
+ 总显存需求 (含KV Cache)
+ -
+
+
+ 推荐的GPU:
+ +
+
+
+
+ + + 精度与显存关系 +
+
+
+
+
+ FP32
+ 4字节
+ 全精度,最高精度
+
+
+ FP16
+ 2字节
+ 半精度,常用
+
+
+ INT8
+ 1字节
+ 8位量化
+
+
+ INT4
+ 0.5字节
+ 4位量化,最小
+
+
+
+
+
+ + + 常见模型显存需求参考 (FP16) +
+| 模型 | +参数量 | +模型权重 | +推荐显存 | +推荐GPU | +
|---|---|---|---|---|
| Mistral 7B | 7B | 14GB | 18GB | RTX 3090/4090 |
| Llama 2 13B | 13B | 26GB | 34GB | RTX 4090 + 8GB |
| Llama 2 70B | 70B | 140GB | 182GB | A100 80GB x2 |
| Mixtral 8x7B | 47B | 94GB | 122GB | A100 80GB x2 |
| Qwen 72B | 72B | 144GB | 187GB | H100 80GB x3 |