|
|
7c77cb9101
|
初始化大模型API中转系统
功能特点:
- 多提供商支持: 配置多个上游大模型提供商
- 优先级调度: 按优先级自动选择可用提供商
- OpenAI API兼容: 完全兼容OpenAI API格式
- 故障切换: 自动切换到备用提供商
- 流式支持: 支持流式和非流式响应
- 模型别名: 支持模型别名映射
- 健康检查: 自动健康检查和熔断
上游配置:
1. [高优先] Local Qwen: http://192.168.2.5:1234/v1 (qwen3.5-4b)
2. [低优先] SiliconFlow: https://api.siliconflow.cn/v1 (DeepSeek-V3.2)
支持的模型:
- auto: 自动选择可用模型
- qwen3.5-4b, qwen3.5, qwen
- deepseek-v3, deepseek-v3.2, deepseek
端口: 19007
|
2026-04-08 15:39:19 +08:00 |
|