实用工具

AI开发常用计算工具

显存计算器

计算大模型所需的显存大小，并推荐合适的GPU

精度与显存关系

FP32
4字节
全精度，最高精度
FP16
2字节
半精度，常用
INT8
1字节
8位量化
INT4
0.5字节
4位量化，最小

常见模型显存需求参考 (FP16)

模型 参数量 模型权重 推荐显存 推荐GPU
Mistral 7B7B14GB18GBRTX 3090/4090
Llama 2 13B13B26GB34GBRTX 4090 + 8GB
Llama 2 70B70B140GB182GBA100 80GB x2
Mixtral 8x7B47B94GB122GBA100 80GB x2
Qwen 72B72B144GB187GBH100 80GB x3