知识库
AI模型参数与硬件知识
什么是参数量？
参数量（Parameters）是衡量大模型规模的指标，表示模型中权重参数的数量。 例如 GPT-3 有 175B 参数，即约1750亿个参数。
常见规模分类：
- • 小模型：<1B (适合边缘设备)
- • 中模型：1B-10B (消费级GPU可运行)
- • 大模型：10B-100B (需要多GPU)
- • 超大模型：>100B (需要数据中心)
什么是上下文长度？
上下文长度（Context Length）是模型能处理的输入文本最大长度。 更长的上下文意味着模型可以理解更长的文档或对话历史。
常见长度：
- • 4K：传统长度，适合简单对话
- • 32K：中等长度，适合长文档
- • 128K：超长上下文，如GPT-4 Turbo
- • 200K：Claude 3的极限长度
如何计算显存需求？
模型显存需求 ≈ 参数量 × 每参数字节数 × 1.3（含KV Cache开销）
计算公式：
- • FP32: 参数量 × 4字节 × 1.3
- • FP16: 参数量 × 2字节 × 1.3
- • INT8: 参数量 × 1字节 × 1.3
- • INT4: 参数量 × 0.5字节 × 1.3
什么是量化？
量化（Quantization）是将模型参数从高精度转换为低精度，减少显存占用和计算量。 如FP16→INT8→INT4，精度损失可控，资源节省显著。
量化效果：
- • FP32→FP16: 显存减半，精度基本不变
- • FP16→INT8: 显存再减半，精度略降
- • INT8→INT4: 显存再减半，需特殊技术
什么是MMLU？
MMLU（Massive Multitask Language Understanding）是评估大模型综合能力的标准测试集， 覆盖57个学科领域，分数越高代表模型知识面越广。
分数参考：
- • 60-70%：入门级，如GPT-3
- • 70-80%：中等水平，如Llama 2 70B
- • 80-90%：优秀水平，如GPT-4、Claude 3
什么是HumanEval？
HumanEval是评估模型代码能力的测试集，包含164个编程题目。 分数表示模型能正确完成的题目比例。
分数参考：
- • 20-30%：基础代码能力
- • 40-50%：中等代码能力
- • 80%+：优秀代码能力，如Claude 3 Opus
GPU选型指南
| 需求场景 | 推荐GPU | 显存需求 | 预算范围 |
|---|---|---|---|
| 个人学习/推理7B | RTX 3060 12GB | 12-16GB | $300 |
| 个人开发/推理13B | RTX 3090/4090 | 24GB | $700-$1600 |
| 小团队训练/推理70B | A100 40GB x2 | 80GB | $12,000 |
| 企业训练大模型 | H100 80GB集群 | 数百GB | $30,000+ |