diff --git a/templates/tools.html b/templates/tools.html new file mode 100644 index 0000000..03bfa28 --- /dev/null +++ b/templates/tools.html @@ -0,0 +1,206 @@ + + + + + + ParamHub - 参数百科 + + + + + + + + +
+
+

+ + 实用工具 +

+

AI开发常用计算工具

+
+ + +
+

+ + 显存计算器 +

+

计算大模型所需的显存大小,并推荐合适的GPU

+ +
+
+ + +
+
+ + +
+
+ +
+
+ + + +
+ + +
+

+ + 精度与显存关系 +

+
+
+
FP32
+
4字节
+
全精度,最高精度
+
+
+
FP16
+
2字节
+
半精度,常用
+
+
+
INT8
+
1字节
+
8位量化
+
+
+
INT4
+
0.5字节
+
4位量化,最小
+
+
+
+ + +
+

+ + 常见模型显存需求参考 (FP16) +

+ + + + + + + + + + + + + + + + + +
模型参数量模型权重推荐显存推荐GPU
Mistral 7B7B14GB18GBRTX 3090/4090
Llama 2 13B13B26GB34GBRTX 4090 + 8GB
Llama 2 70B70B140GB182GBA100 80GB x2
Mixtral 8x7B47B94GB122GBA100 80GB x2
Qwen 72B72B144GB187GBH100 80GB x3
+
+
+ + + + \ No newline at end of file