1 line
81 KiB
JSON
1 line
81 KiB
JSON
{"repo": "awamwang/litellm-config", "files": {"config/config.yml": {"431be38771b6aab40dd89caa7f7b2e754a97bd56": {"t": 1785745264.4482124, "n": 9893, "h": "f344cfdd6cf9a890", "c": "# =============================================================================\n# LiteLLM Proxy Configuration - 国内可直连大模型（编程 & 自动化优先）\n#\n# 启动方式：\n# litellm --config config.yml\n#\n# 所需环境变量：\n# LITELLM_MASTER_KEY\n# DEEPSEEK_API_KEY\n# DASHSCOPE_API_KEY\n# MOONSHOT_API_KEY\n# ZHIPUAI_API_KEY\n# ARK_API_KEY\n# MINIMAX_API_KEY\n# STEPFUN_API_KEY\n# =============================================================================\n\nmodel_list:\n\n # ---------------------------------------------------------------------------\n # DeepSeek\n # 文档：https://api-docs.deepseek.com/\n # LiteLLM 原生 provider，api_base 自动解析为 https://api.deepseek.com\n # ---------------------------------------------------------------------------\n\n # 思维链推理，复杂算法 / 架构设计首选（128K ctx，64K max output）\n - model_name: deepseek-reasoner\n litellm_params:\n model: deepseek/deepseek-reasoner\n api_key: os.environ/DEEPSEEK_API_KEY\n\n # 非思维链通用，响应快，日常编码（128K ctx，8K max output）\n - model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY\n\n # ---------------------------------------------------------------------------\n # Alibaba DashScope / Qwen（通义千问）\n # 文档：https://help.aliyun.com/zh/model-studio/getting-started/models\n # OpenAI 兼容模式端点：https://dashscope.aliyuncs.com/compatible-mode/v1\n # ---------------------------------------------------------------------------\n\n # Qwen3 旗舰，综合最强，支持思维链（262K ctx）\n - model_name: qwen3-max\n litellm_params:\n model: openai/qwen3-max\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # Qwen2.5-Max，性价比极高，编程能力强\n - model_name: qwen-max\n litellm_params:\n model: openai/qwen-max-2025-01-25\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # 均衡性价比，适合中等复杂任务\n - model_name: qwen-plus\n litellm_params:\n model: openai/qwen-plus\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # 轻量快速，低延迟场景\n - model_name: qwen-turbo\n litellm_params:\n model: openai/qwen-turbo\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # ---------------------------------------------------------------------------\n # Moonshot / Kimi（月之暗面）\n # 文档：https://platform.moonshot.cn/docs/intro\n # kimi-k2 系列用 openai/ + api_base（LiteLLM moonshot/ 前缀不含新模型）\n # legacy moonshot-v1 系列用 moonshot/ 原生前缀\n # ---------------------------------------------------------------------------\n\n # 最新旗舰，原生多模态，256K ctx，编程 & Agent 最强\n - model_name: kimi-k2.5\n litellm_params:\n model: openai/kimi-k2.5\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # Agentic 编码专项优化，256K ctx\n - model_name: kimi-k2-0905-preview\n litellm_params:\n model: openai/kimi-k2-0905-preview\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # 长链推理，适合复杂逻辑，256K ctx\n - model_name: kimi-k2-thinking\n litellm_params:\n model: openai/kimi-k2-thinking\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # 高速推理变体，256K ctx\n - model_name: kimi-k2-turbo-preview\n litellm_params:\n model: openai/kimi-k2-turbo-preview\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # Legacy 长上下文，适合大文件阅读\n - model_name: moonshot-v1-128k\n litellm_params:\n model: moonshot/moonshot-v1-128k\n api_key: os.environ/MOONSHOT_API_KEY\n\n - model_name: moonshot-v1-32k\n litellm_params:\n model: moonshot/moonshot-v1-32k\n api_key: os.environ/MOONSHOT_API_KEY\n\n - model_name: moonshot-v1-8k\n litellm_params:\n model: moonshot/moonshot-v1-8k\n api_key: os.environ/MOONSHOT_API_KEY\n\n # ---------------------------------------------------------------------------\n # Zhipu AI / GLM（智谱 AI）\n # 文档：https://bigmodel.cn/dev/howuse/model\n # OpenAI 兼容端点：https://open.bigmodel.cn/api/paas/v4\n # ---------------------------------------------------------------------------\n\n # 旗舰，200K ctx，综合最强，对标 Claude Opus 级别编程能力\n - model_name: glm-5\n litellm_params:\n model: openai/glm-5\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 高智能多语言 Agentic，200K ctx\n - model_name: glm-4.7\n litellm_params:\n model: openai/glm-4.7\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # glm-4.7 快速版，低延迟\n - model_name: glm-4.7-flashx\n litellm_params:\n model: openai/glm-4.7-FlashX\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 高性能均衡，200K ctx\n - model_name: glm-4.6\n litellm_params:\n model: openai/glm-4.6\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 代码专用，128K ctx，32K max output，代码补全场景最优\n - model_name: codegeex-4\n litellm_params:\n model: openai/CodeGeeX-4\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 性价比强，编程 & 推理均衡\n - model_name: glm-4.5-air\n litellm_params:\n model: openai/glm-4.5-Air\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # glm-4.5-Air 超快版\n - model_name: glm-4.5-airx\n litellm_params:\n model: openai/glm-4.5-AirX\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 轻量快速兜底\n - model_name: glm-4.5-flash\n litellm_params:\n model: openai/glm-4.5-Flash\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # ---------------------------------------------------------------------------\n # ByteDance Doubao / Volcengine（字节跳动豆包）\n # 文档：https://www.volcengine.com/docs/82379/1330310\n # OpenAI 兼容端点：https://ark.cn-beijing.volces.com/api/v3\n # 注意：volcengine/ 原生前缀需要 endpoint UUID，此处用 openai/ + api_base\n # ---------------------------------------------------------------------------\n\n # Seed 2.0 旗舰，深度推理，对标 GPT-4.5 级别（260215 = 2026-02-15）\n - model_name: doubao-seed-2-0-pro\n litellm_params:\n model: openai/doubao-seed-2-0-pro-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 代码专项，软件工程场景\n - model_name: doubao-seed-2-0-code\n litellm_params:\n model: openai/doubao-seed-2-0-code-preview-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 轻量版，性价比高\n - model_name: doubao-seed-2-0-lite\n litellm_params:\n model: openai/doubao-seed-2-0-lite-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 1.6 思维链推理，适合复杂规划\n - model_name: doubao-seed-1-6-thinking\n litellm_params:\n model: openai/doubao-seed-1-6-thinking-250715\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 极速批处理版\n - model_name: doubao-seed-2-0-mini\n litellm_params:\n model: openai/doubao-seed-2-0-mini-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # ---------------------------------------------------------------------------\n # MiniMax\n # 文档：https://platform.minimax.io/docs/guides/models-intro\n # LiteLLM 原生 provider（minimax/）\n # ---------------------------------------------------------------------------\n\n # 最新旗舰（2026-03），递归自改进，编程 SOTA\n - model_name: minimax-m2.7\n litellm_params:\n model: minimax/MiniMax-M2.7\n api_key: os.environ/MINIMAX_API_KEY\n\n # M2.7 高速版\n - model_name: minimax-m2.7-highspeed\n litellm_params:\n model: minimax/MiniMax-M2.7-highspeed\n api_key: os.environ/MINIMAX_API_KEY\n\n # 228.7B 参数，192K ctx，工具调用 SOTA（2026-02）\n - model_name: minimax-m2.5\n litellm_params:\n model: minimax/MiniMax-M2.5\n api_key: os.environ/MINIMAX_API_KEY\n\n # M2.5 高速版\n - model_name: minimax-m2.5-highspeed\n litellm_params:\n model: minimax/MiniMax-M2.5-highspeed\n api_key: os.environ/MINIMAX_API_KEY\n\n # 多语言编程，~60 tps\n - model_name: minimax-m2.1\n litellm_params:\n model: minimax/MiniMax-M2.1\n api_key: os.environ/MINIMAX_API_KEY\n\n # ---------------------------------------------------------------------------\n # Stepfun（阶跃星辰）\n # 文档：https://platform.stepfun.com/docs/llm/modeloverview\n # OpenAI 兼容端点：https://api.stepfun.com/v1\n # ---------------------------------------------------------------------------\n\n # 旗舰推理 & Agent，196B MoE（11B active），256K ctx\n - model_name: step-3.5-flash\n litellm_params:\n model: openai/step-3.5-flash\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n # 多模态推理，321B MoE（38B active），64K ctx\n - model_name: step-3\n litellm_params:\n model: openai/step-3\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n # 超快大模型，32K ctx\n - model_name: step-2-mini\n litellm_params:\n model: openai/step-2-mini\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n\n# -----------------------------------------------------------------------------\n# LiteLLM SDK 设置\n# -----------------------------------------------------------------------------\n\nlitellm_settings:\n drop_params: true\n\n\n# -----------------------------------------------------------------------------\n# Router 设置\n# -----------------------------------------------------------------------------\n\nrouter_settings:\n routing_strategy: simple-shuffle\n\n\n# -----------------------------------------------------------------------------\n# Proxy 通用设置\n# -----------------------------------------------------------------------------\n\ngeneral_settings:\n master_key: os.environ/LITELLM_MASTER_KEY\n"}, "a8addac91730d01b5d0ef995896c7b23b0e7d37b": {"t": 1785749387.8868163, "n": 9893, "h": "f344cfdd6cf9a890", "c": "# =============================================================================\n# LiteLLM Proxy Configuration - 国内可直连大模型（编程 & 自动化优先）\n#\n# 启动方式：\n# litellm --config config.yml\n#\n# 所需环境变量：\n# LITELLM_MASTER_KEY\n# DEEPSEEK_API_KEY\n# DASHSCOPE_API_KEY\n# MOONSHOT_API_KEY\n# ZHIPUAI_API_KEY\n# ARK_API_KEY\n# MINIMAX_API_KEY\n# STEPFUN_API_KEY\n# =============================================================================\n\nmodel_list:\n\n # ---------------------------------------------------------------------------\n # DeepSeek\n # 文档：https://api-docs.deepseek.com/\n # LiteLLM 原生 provider，api_base 自动解析为 https://api.deepseek.com\n # ---------------------------------------------------------------------------\n\n # 思维链推理，复杂算法 / 架构设计首选（128K ctx，64K max output）\n - model_name: deepseek-reasoner\n litellm_params:\n model: deepseek/deepseek-reasoner\n api_key: os.environ/DEEPSEEK_API_KEY\n\n # 非思维链通用，响应快，日常编码（128K ctx，8K max output）\n - model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY\n\n # ---------------------------------------------------------------------------\n # Alibaba DashScope / Qwen（通义千问）\n # 文档：https://help.aliyun.com/zh/model-studio/getting-started/models\n # OpenAI 兼容模式端点：https://dashscope.aliyuncs.com/compatible-mode/v1\n # ---------------------------------------------------------------------------\n\n # Qwen3 旗舰，综合最强，支持思维链（262K ctx）\n - model_name: qwen3-max\n litellm_params:\n model: openai/qwen3-max\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # Qwen2.5-Max，性价比极高，编程能力强\n - model_name: qwen-max\n litellm_params:\n model: openai/qwen-max-2025-01-25\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # 均衡性价比，适合中等复杂任务\n - model_name: qwen-plus\n litellm_params:\n model: openai/qwen-plus\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # 轻量快速，低延迟场景\n - model_name: qwen-turbo\n litellm_params:\n model: openai/qwen-turbo\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n\n # ---------------------------------------------------------------------------\n # Moonshot / Kimi（月之暗面）\n # 文档：https://platform.moonshot.cn/docs/intro\n # kimi-k2 系列用 openai/ + api_base（LiteLLM moonshot/ 前缀不含新模型）\n # legacy moonshot-v1 系列用 moonshot/ 原生前缀\n # ---------------------------------------------------------------------------\n\n # 最新旗舰，原生多模态，256K ctx，编程 & Agent 最强\n - model_name: kimi-k2.5\n litellm_params:\n model: openai/kimi-k2.5\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # Agentic 编码专项优化，256K ctx\n - model_name: kimi-k2-0905-preview\n litellm_params:\n model: openai/kimi-k2-0905-preview\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # 长链推理，适合复杂逻辑，256K ctx\n - model_name: kimi-k2-thinking\n litellm_params:\n model: openai/kimi-k2-thinking\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # 高速推理变体，256K ctx\n - model_name: kimi-k2-turbo-preview\n litellm_params:\n model: openai/kimi-k2-turbo-preview\n api_base: https://api.moonshot.cn/v1\n api_key: os.environ/MOONSHOT_API_KEY\n\n # Legacy 长上下文，适合大文件阅读\n - model_name: moonshot-v1-128k\n litellm_params:\n model: moonshot/moonshot-v1-128k\n api_key: os.environ/MOONSHOT_API_KEY\n\n - model_name: moonshot-v1-32k\n litellm_params:\n model: moonshot/moonshot-v1-32k\n api_key: os.environ/MOONSHOT_API_KEY\n\n - model_name: moonshot-v1-8k\n litellm_params:\n model: moonshot/moonshot-v1-8k\n api_key: os.environ/MOONSHOT_API_KEY\n\n # ---------------------------------------------------------------------------\n # Zhipu AI / GLM（智谱 AI）\n # 文档：https://bigmodel.cn/dev/howuse/model\n # OpenAI 兼容端点：https://open.bigmodel.cn/api/paas/v4\n # ---------------------------------------------------------------------------\n\n # 旗舰，200K ctx，综合最强，对标 Claude Opus 级别编程能力\n - model_name: glm-5\n litellm_params:\n model: openai/glm-5\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 高智能多语言 Agentic，200K ctx\n - model_name: glm-4.7\n litellm_params:\n model: openai/glm-4.7\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # glm-4.7 快速版，低延迟\n - model_name: glm-4.7-flashx\n litellm_params:\n model: openai/glm-4.7-FlashX\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 高性能均衡，200K ctx\n - model_name: glm-4.6\n litellm_params:\n model: openai/glm-4.6\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 代码专用，128K ctx，32K max output，代码补全场景最优\n - model_name: codegeex-4\n litellm_params:\n model: openai/CodeGeeX-4\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 性价比强，编程 & 推理均衡\n - model_name: glm-4.5-air\n litellm_params:\n model: openai/glm-4.5-Air\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # glm-4.5-Air 超快版\n - model_name: glm-4.5-airx\n litellm_params:\n model: openai/glm-4.5-AirX\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # 轻量快速兜底\n - model_name: glm-4.5-flash\n litellm_params:\n model: openai/glm-4.5-Flash\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n\n # ---------------------------------------------------------------------------\n # ByteDance Doubao / Volcengine（字节跳动豆包）\n # 文档：https://www.volcengine.com/docs/82379/1330310\n # OpenAI 兼容端点：https://ark.cn-beijing.volces.com/api/v3\n # 注意：volcengine/ 原生前缀需要 endpoint UUID，此处用 openai/ + api_base\n # ---------------------------------------------------------------------------\n\n # Seed 2.0 旗舰，深度推理，对标 GPT-4.5 级别（260215 = 2026-02-15）\n - model_name: doubao-seed-2-0-pro\n litellm_params:\n model: openai/doubao-seed-2-0-pro-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 代码专项，软件工程场景\n - model_name: doubao-seed-2-0-code\n litellm_params:\n model: openai/doubao-seed-2-0-code-preview-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 轻量版，性价比高\n - model_name: doubao-seed-2-0-lite\n litellm_params:\n model: openai/doubao-seed-2-0-lite-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 1.6 思维链推理，适合复杂规划\n - model_name: doubao-seed-1-6-thinking\n litellm_params:\n model: openai/doubao-seed-1-6-thinking-250715\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # Seed 2.0 极速批处理版\n - model_name: doubao-seed-2-0-mini\n litellm_params:\n model: openai/doubao-seed-2-0-mini-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n\n # ---------------------------------------------------------------------------\n # MiniMax\n # 文档：https://platform.minimax.io/docs/guides/models-intro\n # LiteLLM 原生 provider（minimax/）\n # ---------------------------------------------------------------------------\n\n # 最新旗舰（2026-03），递归自改进，编程 SOTA\n - model_name: minimax-m2.7\n litellm_params:\n model: minimax/MiniMax-M2.7\n api_key: os.environ/MINIMAX_API_KEY\n\n # M2.7 高速版\n - model_name: minimax-m2.7-highspeed\n litellm_params:\n model: minimax/MiniMax-M2.7-highspeed\n api_key: os.environ/MINIMAX_API_KEY\n\n # 228.7B 参数，192K ctx，工具调用 SOTA（2026-02）\n - model_name: minimax-m2.5\n litellm_params:\n model: minimax/MiniMax-M2.5\n api_key: os.environ/MINIMAX_API_KEY\n\n # M2.5 高速版\n - model_name: minimax-m2.5-highspeed\n litellm_params:\n model: minimax/MiniMax-M2.5-highspeed\n api_key: os.environ/MINIMAX_API_KEY\n\n # 多语言编程，~60 tps\n - model_name: minimax-m2.1\n litellm_params:\n model: minimax/MiniMax-M2.1\n api_key: os.environ/MINIMAX_API_KEY\n\n # ---------------------------------------------------------------------------\n # Stepfun（阶跃星辰）\n # 文档：https://platform.stepfun.com/docs/llm/modeloverview\n # OpenAI 兼容端点：https://api.stepfun.com/v1\n # ---------------------------------------------------------------------------\n\n # 旗舰推理 & Agent，196B MoE（11B active），256K ctx\n - model_name: step-3.5-flash\n litellm_params:\n model: openai/step-3.5-flash\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n # 多模态推理，321B MoE（38B active），64K ctx\n - model_name: step-3\n litellm_params:\n model: openai/step-3\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n # 超快大模型，32K ctx\n - model_name: step-2-mini\n litellm_params:\n model: openai/step-2-mini\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n\n\n# -----------------------------------------------------------------------------\n# LiteLLM SDK 设置\n# -----------------------------------------------------------------------------\n\nlitellm_settings:\n drop_params: true\n\n\n# -----------------------------------------------------------------------------\n# Router 设置\n# -----------------------------------------------------------------------------\n\nrouter_settings:\n routing_strategy: simple-shuffle\n\n\n# -----------------------------------------------------------------------------\n# Proxy 通用设置\n# -----------------------------------------------------------------------------\n\ngeneral_settings:\n master_key: os.environ/LITELLM_MASTER_KEY\n"}}, "NOTES.md": {"431be38771b6aab40dd89caa7f7b2e754a97bd56": {"t": 1785746473.6209474, "n": 15016, "h": "7b0483e6d60f5135", "c": "# LiteLLM 国内大模型配置笔记\n\n> 整理时间：2026-03-29（最后更新：2026-03-29）\n\n---\n\n## 一、平台选型说明\n\n### 入选标准\n- 国内可直连，无需代理\n- 编程 / 自动化能力及格线以上\n- 提供 OpenAI 兼容 API 或 LiteLLM 原生支持\n- 官方文档相对完善\n\n### 排除平台及原因\n\n| 平台 | 排除原因 |\n|------|---------|\n| 百度文心 ERNIE | 认证方式非标准（需先换取 access_token），LiteLLM 无原生支持 |\n| 讯飞星火 Spark | 核心 API 基于 WebSocket，不兼容 OpenAI REST 格式 |\n| 腾讯混元 Hunyuan | API 需企业实名认证，个人开发者门槛高 |\n| 百川 Baichuan | 官方文档不完善，模型更新滞后 |\n| 零一万物 01.ai | 文档有限，近期无明显模型更新 |\n\n---\n\n## 二、各平台详细信息\n\n### 1. DeepSeek\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.deepseek.com |\n| API 文档 | https://api-docs.deepseek.com/ |\n| 控制台 / API Key | https://platform.deepseek.com/api_keys |\n| API Base | `https://api.deepseek.com` |\n| LiteLLM 前缀 | `deepseek/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `deepseek-chat` | `deepseek-chat` | DeepSeek V3，综合能力强，编程首选 |\n| `deepseek-reasoner` | `deepseek-reasoner` | DeepSeek R1，思维链推理，适合复杂逻辑 |\n\n**配置示例：**\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY\n```\n\n---\n\n### 2. 阿里云 DashScope / 通义千问（Qwen）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://dashscope.aliyun.com |\n| 模型列表文档 | https://help.aliyun.com/zh/model-studio/getting-started/models |\n| API 文档 | https://help.aliyun.com/zh/model-studio/developer-reference/use-qwen-by-calling-api |\n| 控制台 / API Key | https://dashscope.console.aliyun.com/apiKey |\n| API Base（OpenAI 兼容模式） | `https://dashscope.aliyuncs.com/compatible-mode/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是（需使用 compatible-mode 端点） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `qwen3-max` | `qwen3-max` | 旗舰模型，Qwen3 系列最强，支持思考模式 |\n| `qwen-plus` | `qwen-plus` | 均衡性价比，综合能力强 |\n| `qwen-turbo` | `qwen-turbo` | 快速响应，低延迟场景 |\n\n**注意事项：**\n- LiteLLM 有 `dashscope/` 原生前缀，但各版本 model ID 映射不稳定，推荐用 `openai/` + `api_base` 更可靠\n- 需使用 **compatible-mode** 子域名，而非 dashscope 原始接口\n\n**配置示例：**\n```yaml\n- model_name: qwen3-max\n litellm_params:\n model: openai/qwen3-max\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n```\n\n---\n\n### 3. Moonshot / Kimi（月之暗面）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.moonshot.cn |\n| API 文档 | https://platform.moonshot.cn/docs/intro |\n| 模型列表 | https://platform.moonshot.cn/docs/intro#模型列表 |\n| 控制台 / API Key | https://platform.moonshot.cn/console/api-keys |\n| API Base | `https://api.moonshot.cn/v1` |\n| LiteLLM 前缀 | `moonshot/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `moonshot-v1-128k` | `moonshot-v1-128k` | 128K | 长上下文，适合大型代码库分析 |\n| `moonshot-v1-32k` | `moonshot-v1-32k` | 32K | 均衡选择 |\n| `moonshot-v1-8k` | `moonshot-v1-8k` | 8K | 快速响应 |\n\n**注意事项：**\n- 较新的 kimi-k2 系列模型（kimi-k2-0905-preview 等）可能尚未进入 LiteLLM moonshot/ 前缀映射，若需使用需改为 `openai/` + api_base 方式\n\n**配置示例：**\n```yaml\n- model_name: moonshot-v1-128k\n litellm_params:\n model: moonshot/moonshot-v1-128k\n api_key: os.environ/MOONSHOT_API_KEY\n```\n\n---\n\n### 4. 智谱 AI / GLM\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.zhipuai.cn |\n| 模型文档 | https://bigmodel.cn/dev/howuse/model |\n| API 参考 | https://bigmodel.cn/dev/api/normal-model/glm-5 |\n| 控制台 / API Key | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| API Base | `https://open.bigmodel.cn/api/paas/v4` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `glm-5` | `glm-5` | 旗舰，200K 上下文，Agentic 能力强 |\n| `glm-4.6` | `glm-4.6` | 高性能，均衡选择 |\n| `glm-4.5-flash` | `glm-4.5-flash` | 速度优先，低成本 |\n\n**注意事项：**\n- LiteLLM 有 `zhipuai/` 原生前缀，但仅稳定映射旧版 GLM-4 模型 ID\n- GLM-5、GLM-4.6 等新模型需用 `openai/` + `api_base` 方式调用\n\n**配置示例：**\n```yaml\n- model_name: glm-5\n litellm_params:\n model: openai/glm-5\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n```\n\n---\n\n### 5. 字节跳动 Doubao / Volcengine（豆包）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.volcengine.com/product/doubao |\n| 模型列表文档 | https://www.volcengine.com/docs/82379/1330310 |\n| API 文档 | https://www.volcengine.com/docs/82379/1302009 |\n| 控制台 / API Key | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| API Base | `https://ark.cn-beijing.volces.com/api/v3` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `doubao-seed-2-0-pro` | `doubao-seed-2-0-pro-260215` | 最新旗舰，综合推理能力最强 |\n| `doubao-seed-1.6` | `doubao-seed-1.6-250615` | 支持思维链模式 |\n| `doubao-seed-code` | `doubao-seed-code` | 代码专用模型 |\n\n**注意事项：**\n- LiteLLM 有 `volcengine/` 原生前缀，但该前缀要求传入 **Endpoint UUID**（控制台部署后生成），而非可读 model ID\n- 使用可读 model ID 时，需改为 `openai/` + `api_base` 方式\n- model ID 含日期版本号（如 `-260215`），新版本发布后需手动更新\n\n**配置示例：**\n```yaml\n- model_name: doubao-seed-2-0-pro\n litellm_params:\n model: openai/doubao-seed-2-0-pro-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n```\n\n---\n\n### 6. MiniMax\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.minimaxi.com |\n| 模型介绍 | https://platform.minimax.io/docs/guides/models-intro |\n| API 文档 | https://platform.minimax.io/docs/api-reference/text/chatcompletion-v2 |\n| 控制台 / API Key | https://platform.minimax.io/user-center/basic-information/interface-key |\n| API Base | `https://api.minimax.io/v1` |\n| LiteLLM 前缀 | `minimax/`（原生支持） |\n| OpenAI 兼容 | 是（同时支持 Anthropic SDK 兼容模式） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `minimax-m2.7` | `MiniMax-M2.7` | 最新旗舰（2026-02），默认推荐 |\n| `minimax-m2.5` | `MiniMax-M2.5` | 228.7B 参数，192K 上下文 |\n\n**注意事项：**\n- model ID 大小写敏感，必须保留大写 `MiniMax-M2.7`\n\n**配置示例：**\n```yaml\n- model_name: minimax-m2.7\n litellm_params:\n model: minimax/MiniMax-M2.7\n api_key: os.environ/MINIMAX_API_KEY\n```\n\n---\n\n### 7. 阶跃星辰 Stepfun\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.stepfun.com |\n| 模型列表文档 | https://platform.stepfun.com/docs/llm/modeloverview |\n| API 文档 | https://platform.stepfun.com/docs/llm/text |\n| 控制台 / API Key | https://platform.stepfun.com/interface-key |\n| API Base | `https://api.stepfun.com/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（无原生前缀） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `step-3.5-flash` | `step-3.5-flash` | 256K | 旗舰推理模型 |\n| `step-2-mini` | `step-2-mini` | 32K | 轻量快速，低成本自动化 |\n\n**配置示例：**\n```yaml\n- model_name: step-3.5-flash\n litellm_params:\n model: openai/step-3.5-flash\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n```\n\n---\n\n## 三、LiteLLM Proxy 配置经验\n\n### 3.1 Provider 前缀选型策略\n\nLiteLLM 支持两种方式接入模型：\n\n**① 原生 Provider 前缀**（推荐，有专属处理逻辑）\n```yaml\nmodel: deepseek/deepseek-chat # 自动解析 api_base、处理特殊参数\nmodel: moonshot/moonshot-v1-128k\nmodel: minimax/MiniMax-M2.7\n```\n\n**② `openai/` 前缀 + 自定义 `api_base`**（通用兜底方案）\n```yaml\nmodel: openai/qwen3-max\napi_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n```\n\n选型原则：\n- 优先使用原生前缀，LiteLLM 会处理该 provider 的特殊参数（如 thinking、stream_options）\n- 若原生前缀的 model ID 映射不稳定（如 zhipuai/、dashscope/），改用 `openai/` + api_base\n- 若 LiteLLM 完全无该 provider 支持（如 Stepfun），只能用 `openai/` + api_base\n\n### 3.2 关键配置字段说明\n\n```yaml\nmodel_list:\n - model_name: my-alias # 对外暴露的别名，客户端用这个名字调用\n litellm_params:\n model: provider/model-id # 实际路由目标\n api_base: https://... # 仅 openai/ 前缀需要\n api_key: os.environ/KEY # 推荐用环境变量，不要硬编码\n rpm: 100 # 可选：每分钟请求限制\n```\n\n### 3.3 `drop_params: true` 的重要性\n\n不同平台支持的参数集不同，例如：\n- `stream_options` 仅 OpenAI 原生支持\n- `thinking` 参数仅 DeepSeek Reasoner / Claude 支持\n- 部分平台不支持 `frequency_penalty`\n\n建议在 `litellm_settings` 中开启：\n```yaml\nlitellm_settings:\n drop_params: true\n```\n效果：自动丢弃当前 provider 不支持的参数，避免 400 报错。\n\n### 3.4 多 Key 负载均衡\n\n同一 `model_name` 配置多个条目，LiteLLM 自动在它们之间负载均衡：\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_1\n\n- model_name: deepseek-chat # 同名 = 自动负载均衡\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_2\n```\n\n### 3.5 环境变量加载\n\nconfig.yml 中使用 `os.environ/VAR_NAME` 引用环境变量：\n```yaml\napi_key: os.environ/MY_API_KEY\n```\n\n启动前需确保变量已加载：\n```bash\nsource .env && litellm --config config.yml\n# 或\nexport $(cat .env | xargs) && litellm --config config.yml\n```\n\n### 3.6 常用验证命令\n\n```bash\n# 健康检查\ncurl http://localhost:4000/health\n\n# 查看所有可用模型\ncurl http://localhost:4000/v1/models \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\"\n\n# 测试调用\ncurl http://localhost:4000/v1/chat/completions \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\" \\\n -H \"Content-Type: application/json\" \\\n -d '{\n \"model\": \"deepseek-chat\",\n \"messages\": [{\"role\": \"user\", \"content\": \"write hello world in Python\"}]\n }'\n```\n\n### 3.7 Doubao model ID 含版本日期\n\n豆包模型 ID 包含日期后缀（如 `doubao-seed-2-0-pro-260215`），字节跳动发布新版本后需要手动更新 config.yml 中的 model ID。建议定期查看官方文档：https://www.volcengine.com/docs/82379/1330310\n\n### 3.8 Fallback 链配置语法\n\nLiteLLM 支持三种 fallback 类型，在 `router_settings` 下配置：\n\n```yaml\nrouter_settings:\n # 通用 fallback：任何错误（5xx、限流、超时）都触发\n fallbacks:\n - primary-model:\n - fallback-model-1\n - fallback-model-2\n\n # 上下文超限专用 fallback（不会触发通用 fallback）\n context_window_fallbacks:\n - primary-model:\n - large-context-model\n\n # 内容安全拒绝专用 fallback\n content_policy_fallbacks:\n - primary-model:\n - permissive-model\n```\n\n注意：\n- `fallbacks` 列表中每个元素必须是已在 `model_list` 中定义的 `model_name`\n- 同名 `model_name` 的多个条目会做负载均衡，而非 fallback\n- `num_retries` 控制触发 fallback 前对当前模型的重试次数\n- `request_timeout` 超时同样触发 fallback\n\n### 3.9 免费模型双路策略（OpenRouter + 直连混合）\n\n免费模型使用中的核心矛盾：\n- **OpenRouter** :free 模型：无额度上限，但严格限速（20 req/min，200 req/day）\n- **直连平台**（DashScope、LongCat、Volcengine）：额度有限但速率宽松\n\n最优 Fallback 排列策略：\n\n```\nOpenRouter主力 → 直连平台高额度 → OpenRouter备份 → 直连平台次级 → ...\n```\n\n例如（编码链）：\n1. OpenRouter Qwen3-Coder（最强，速率耗尽后才失败）\n2. DashScope qwen3-coder 直连（100万 token，速率宽松）\n3. LongCat-Lite 直连（50M token/天，几乎无限）\n4. OpenRouter LongCat-Lite（OR 路径备份）\n5. 继续交替...\n\n这样可以在 OpenRouter 限速时无缝切换到直连，直连额度用完时再切回 OR 的其他模型。\n\n### 3.10 各平台免费额度对比\n\n| 平台 | 免费方式 | 额度 | 有效期 | 备注 |\n|------|---------|------|--------|------|\n| OpenRouter `:free` | 永久免费模型 | 无上限 | 永久 | 20 req/min，200 req/day |\n| 阿里云百炼 | 新用户赠送 | 100万 token/模型 | 90天 | 仅中国大陆账号 |\n| 美团 LongCat | 每日刷新 | 500K token/天（Lite 为 5000万） | 每日 | 可申请提额到 500万/天 |\n| 火山引擎 Doubao | 新用户一次性 | 50万 token + 100元券 | 一次性 | 需实名认证 |\n\n---\n\n## 四、OpenRouter 免费模型清单（2026-03，共 27 个）\n\n| 模型 ID | 参数 | 上下文 | 适合场景 |\n|---------|------|--------|---------|\n| `qwen/qwen3-coder:free` | 480B MoE | 262K | 代码生成（最强） |\n| `qwen/qwen3-next-80b-a3b-instruct:free` | 80B | - | Agentic / RAG |\n| `qwen/qwen-2.5-coder-32b-instruct:free` | 32B | - | 代码专项 |\n| `qwen/qwen-2.5-72b-instruct:free` | 72B | - | 通用 |\n| `qwen/qwen3-4b:free` | 4B | - | 轻量 |\n| `google/gemini-2.5-flash:free` | - | 1M | 多模态通用 |\n| `meta-llama/llama-4-maverick:free` | MoE | 256K | 通用聊天 |\n| `meta-llama/llama-3.3-70b-instruct:free` | 70B | 131K | GPT-4 级别 |\n| `openai/gpt-oss-120b:free` | 120B | - | OpenAI 开源 |\n| `openai/gpt-oss-20b:free` | 20B | - | 轻量 OpenAI |\n| `nvidia/nemotron-3-super-120b-a12b:free` | 120B | 262K | 长文档 |\n| `stepfun/step-3.5-flash:free` | MoE | 256K | 推理 |\n| `minimax/minimax-m2.5:free` | 228.7B | 192K | 通用 |\n| `z-ai/glm-4.5-air:free` | - | - | 智谱 GLM |\n| `mistralai/mistral-small-3.1-24b-instruct:free` | 24B | - | Function Calling |\n| `google/gemma-3-27b-it:free` | 27B | - | 轻量通用 |\n| `google/gemma-3-12b-it:free` | 12B | - | 超轻量 |\n| `meituan/longcat-flash-lite:free` | MoE | 327K | 工具调用 |\n| `deepseek/deepseek-r1:free` | - | 128K | 深度推理 |\n| `deepseek/deepseek-v3:free` | - | - | 通用强 |\n| `nousresearch/hermes-3-llama-3.1-405b:free` | 405B | - | 大参数 |\n| `nvidia/nemotron-3-nano-30b-a3b:free` | 30B | - | 轻量 |\n| `nvidia/nemotron-nano-12b-v2-vl:free` | 12B | - | 视觉 |\n| `nvidia/nemotron-nano-9b-v2:free` | 9B | - | 超轻量 |\n| `google/gemma-3-4b-it:free` | 4B | - | 极轻量 |\n| `google/gemma-3n-e2b-it:free` | 2B | - | 极轻量 |\n| `google/gemma-3n-e4b-it:free` | 4B | - | 极轻量 |\n\n> 注：OpenRouter 免费模型列表变化频繁，以 https://openrouter.ai/models?q=free 实时为准\n\n---\n\n## 五、国际平台（config/config-global.yml）\n\n### 5.1 平台概览\n\n| 平台 | LiteLLM 前缀 | API Base（自动） | ENV |\n|------|-------------|----------------|-----|\n| Anthropic | `anthropic/` | api.anthropic.com | ANTHROPIC_API_KEY |\n| Google Gemini | `gemini/` | generativelanguage.googleapis.com | GOOGLE_API_KEY |\n| OpenAI | `openai/` | api.openai.com/v1 | OPENAI_API_KEY |\n| Mistral | `mistral/` | api.mistral.ai/v1 | MISTRAL_API_KEY |\n| Groq | `groq/` | api.groq.com/openai/v1 | GROQ_API_KEY |\n\n### 5.2 各平台模型详情\n\n**Anthropic Claude**\n- 文档：https://docs.anthropic.com/en/docs/about-claude/models/overview\n- `claude-opus-4-6` — 旗舰，1M ctx，128K output，最强推理编程，成本高\n- `claude-sonnet-4-6` — 均衡首选，1M ctx，64K output，日常编码\n- `claude-haiku-4-5-20251001` — 极速轻量，200K ctx，高频低成本场景\n\n**Google Gemini**\n- 文档：https://ai.google.dev/gemini-api/docs/models\n- `gemini-2.5-pro` — 旗舰推理，超长上下文，多模态，复杂任务\n- `gemini-2.5-flash` — 最佳价格/性能比，速度快\n- `gemini-2.0-flash` — 稳定快速，低成本，高频调用\n- 注意：`gemini-2.5-flash` 在 OpenRouter 上**不是**免费模型（$0.30/$2.50）\n\n**OpenAI**\n- 文档：https://platform.openai.com/docs/models\n- `o3` — 深度推理，复杂算法/数学/架构，慢但准\n- `o4-mini` — 快速推理，编程/数学，性价比高于 o3\n- `gpt-4o` — 旗舰通用，多模态\n- `gpt-4o-mini` — 轻量快速，批处理场景\n\n**Mistral AI**\n- 文档：https://docs.mistral.ai/getting-started/models/models_overview/\n- `mistral-large-latest` — 旗舰，256K ctx，function calling 强\n- `codestral-latest` — 代码专用，补全/生成首选\n- `mistral-small-latest` — 轻量均衡，低成本通用\n\n**Groq（超快推理）**\n- 文档：https://console.groq.com/docs/models\n- `llama-3.3-70b-versatile` — 综合最强，~280 tokens/sec\n- `llama-3.1-8b-instant` — 超快 8B，~560 tokens/sec\n- 适合：实时流式、简单补全，质量低于上方其他平台\n\n### 5.3 国际平台编程能力排名（2026-03）\n\n1. `claude-opus-4-6` — 复杂推理 + Agent 最强\n2. `claude-sonnet-4-6` — 日常编码最优性价比\n3. `gemini-2.5-pro` — 多模态 + 超长上下文\n4. `o3` — 深度数学/算法推理\n5. `gpt-4o` — 通用多模态\n6. `o4-mini` — 快速推理编程\n7. `mistral-large-latest` — 欧洲最强\n8. `codestral-latest` — 代码专项\n9. `gemini-2.5-flash` — 速度优先\n10. `gpt-4o-mini` — 低成本通用\n11. `groq-llama-3.3-70b` — 超快但质量有限\n\n---\n\n## 六、快速参考：各平台 API Key 获取入口\n\n| 平台 | API Key 控制台 |\n|------|--------------|\n| Anthropic | https://console.anthropic.com/settings/keys |\n| Google Gemini | https://aistudio.google.com/app/apikey |\n| OpenAI | https://platform.openai.com/api-keys |\n| Mistral | https://console.mistral.ai/api-keys |\n| Groq | https://console.groq.com/keys |\n| DeepSeek | https://platform.deepseek.com/api_keys |\n| 通义千问 | https://dashscope.console.aliyun.com/apiKey |\n| Moonshot | https://platform.moonshot.cn/console/api-keys |\n| 智谱 GLM | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| 豆包 / Ark | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| MiniMax | https://platform.minimax.io/user-center/basic-information/interface-key |\n| 阶跃星辰 | https://platform.stepfun.com/interface-key |\n| 美团 LongCat | https://longcat.chat/platform/ |\n| OpenRouter | https://openrouter.ai/settings/keys |\n"}, "6b1b8462b10c9d744fd9cd5eb2650efe5c57a997": {"t": 1785749388.1279297, "n": 15016, "h": "7b0483e6d60f5135", "c": "# LiteLLM 国内大模型配置笔记\n\n> 整理时间：2026-03-29（最后更新：2026-03-29）\n\n---\n\n## 一、平台选型说明\n\n### 入选标准\n- 国内可直连，无需代理\n- 编程 / 自动化能力及格线以上\n- 提供 OpenAI 兼容 API 或 LiteLLM 原生支持\n- 官方文档相对完善\n\n### 排除平台及原因\n\n| 平台 | 排除原因 |\n|------|---------|\n| 百度文心 ERNIE | 认证方式非标准（需先换取 access_token），LiteLLM 无原生支持 |\n| 讯飞星火 Spark | 核心 API 基于 WebSocket，不兼容 OpenAI REST 格式 |\n| 腾讯混元 Hunyuan | API 需企业实名认证，个人开发者门槛高 |\n| 百川 Baichuan | 官方文档不完善，模型更新滞后 |\n| 零一万物 01.ai | 文档有限，近期无明显模型更新 |\n\n---\n\n## 二、各平台详细信息\n\n### 1. DeepSeek\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.deepseek.com |\n| API 文档 | https://api-docs.deepseek.com/ |\n| 控制台 / API Key | https://platform.deepseek.com/api_keys |\n| API Base | `https://api.deepseek.com` |\n| LiteLLM 前缀 | `deepseek/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `deepseek-chat` | `deepseek-chat` | DeepSeek V3，综合能力强，编程首选 |\n| `deepseek-reasoner` | `deepseek-reasoner` | DeepSeek R1，思维链推理，适合复杂逻辑 |\n\n**配置示例：**\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY\n```\n\n---\n\n### 2. 阿里云 DashScope / 通义千问（Qwen）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://dashscope.aliyun.com |\n| 模型列表文档 | https://help.aliyun.com/zh/model-studio/getting-started/models |\n| API 文档 | https://help.aliyun.com/zh/model-studio/developer-reference/use-qwen-by-calling-api |\n| 控制台 / API Key | https://dashscope.console.aliyun.com/apiKey |\n| API Base（OpenAI 兼容模式） | `https://dashscope.aliyuncs.com/compatible-mode/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是（需使用 compatible-mode 端点） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `qwen3-max` | `qwen3-max` | 旗舰模型，Qwen3 系列最强，支持思考模式 |\n| `qwen-plus` | `qwen-plus` | 均衡性价比，综合能力强 |\n| `qwen-turbo` | `qwen-turbo` | 快速响应，低延迟场景 |\n\n**注意事项：**\n- LiteLLM 有 `dashscope/` 原生前缀，但各版本 model ID 映射不稳定，推荐用 `openai/` + `api_base` 更可靠\n- 需使用 **compatible-mode** 子域名，而非 dashscope 原始接口\n\n**配置示例：**\n```yaml\n- model_name: qwen3-max\n litellm_params:\n model: openai/qwen3-max\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n```\n\n---\n\n### 3. Moonshot / Kimi（月之暗面）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.moonshot.cn |\n| API 文档 | https://platform.moonshot.cn/docs/intro |\n| 模型列表 | https://platform.moonshot.cn/docs/intro#模型列表 |\n| 控制台 / API Key | https://platform.moonshot.cn/console/api-keys |\n| API Base | `https://api.moonshot.cn/v1` |\n| LiteLLM 前缀 | `moonshot/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `moonshot-v1-128k` | `moonshot-v1-128k` | 128K | 长上下文，适合大型代码库分析 |\n| `moonshot-v1-32k` | `moonshot-v1-32k` | 32K | 均衡选择 |\n| `moonshot-v1-8k` | `moonshot-v1-8k` | 8K | 快速响应 |\n\n**注意事项：**\n- 较新的 kimi-k2 系列模型（kimi-k2-0905-preview 等）可能尚未进入 LiteLLM moonshot/ 前缀映射，若需使用需改为 `openai/` + api_base 方式\n\n**配置示例：**\n```yaml\n- model_name: moonshot-v1-128k\n litellm_params:\n model: moonshot/moonshot-v1-128k\n api_key: os.environ/MOONSHOT_API_KEY\n```\n\n---\n\n### 4. 智谱 AI / GLM\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.zhipuai.cn |\n| 模型文档 | https://bigmodel.cn/dev/howuse/model |\n| API 参考 | https://bigmodel.cn/dev/api/normal-model/glm-5 |\n| 控制台 / API Key | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| API Base | `https://open.bigmodel.cn/api/paas/v4` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `glm-5` | `glm-5` | 旗舰，200K 上下文，Agentic 能力强 |\n| `glm-4.6` | `glm-4.6` | 高性能，均衡选择 |\n| `glm-4.5-flash` | `glm-4.5-flash` | 速度优先，低成本 |\n\n**注意事项：**\n- LiteLLM 有 `zhipuai/` 原生前缀，但仅稳定映射旧版 GLM-4 模型 ID\n- GLM-5、GLM-4.6 等新模型需用 `openai/` + `api_base` 方式调用\n\n**配置示例：**\n```yaml\n- model_name: glm-5\n litellm_params:\n model: openai/glm-5\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n```\n\n---\n\n### 5. 字节跳动 Doubao / Volcengine（豆包）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.volcengine.com/product/doubao |\n| 模型列表文档 | https://www.volcengine.com/docs/82379/1330310 |\n| API 文档 | https://www.volcengine.com/docs/82379/1302009 |\n| 控制台 / API Key | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| API Base | `https://ark.cn-beijing.volces.com/api/v3` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `doubao-seed-2-0-pro` | `doubao-seed-2-0-pro-260215` | 最新旗舰，综合推理能力最强 |\n| `doubao-seed-1.6` | `doubao-seed-1.6-250615` | 支持思维链模式 |\n| `doubao-seed-code` | `doubao-seed-code` | 代码专用模型 |\n\n**注意事项：**\n- LiteLLM 有 `volcengine/` 原生前缀，但该前缀要求传入 **Endpoint UUID**（控制台部署后生成），而非可读 model ID\n- 使用可读 model ID 时，需改为 `openai/` + `api_base` 方式\n- model ID 含日期版本号（如 `-260215`），新版本发布后需手动更新\n\n**配置示例：**\n```yaml\n- model_name: doubao-seed-2-0-pro\n litellm_params:\n model: openai/doubao-seed-2-0-pro-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n```\n\n---\n\n### 6. MiniMax\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.minimaxi.com |\n| 模型介绍 | https://platform.minimax.io/docs/guides/models-intro |\n| API 文档 | https://platform.minimax.io/docs/api-reference/text/chatcompletion-v2 |\n| 控制台 / API Key | https://platform.minimax.io/user-center/basic-information/interface-key |\n| API Base | `https://api.minimax.io/v1` |\n| LiteLLM 前缀 | `minimax/`（原生支持） |\n| OpenAI 兼容 | 是（同时支持 Anthropic SDK 兼容模式） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `minimax-m2.7` | `MiniMax-M2.7` | 最新旗舰（2026-02），默认推荐 |\n| `minimax-m2.5` | `MiniMax-M2.5` | 228.7B 参数，192K 上下文 |\n\n**注意事项：**\n- model ID 大小写敏感，必须保留大写 `MiniMax-M2.7`\n\n**配置示例：**\n```yaml\n- model_name: minimax-m2.7\n litellm_params:\n model: minimax/MiniMax-M2.7\n api_key: os.environ/MINIMAX_API_KEY\n```\n\n---\n\n### 7. 阶跃星辰 Stepfun\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.stepfun.com |\n| 模型列表文档 | https://platform.stepfun.com/docs/llm/modeloverview |\n| API 文档 | https://platform.stepfun.com/docs/llm/text |\n| 控制台 / API Key | https://platform.stepfun.com/interface-key |\n| API Base | `https://api.stepfun.com/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（无原生前缀） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `step-3.5-flash` | `step-3.5-flash` | 256K | 旗舰推理模型 |\n| `step-2-mini` | `step-2-mini` | 32K | 轻量快速，低成本自动化 |\n\n**配置示例：**\n```yaml\n- model_name: step-3.5-flash\n litellm_params:\n model: openai/step-3.5-flash\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n```\n\n---\n\n## 三、LiteLLM Proxy 配置经验\n\n### 3.1 Provider 前缀选型策略\n\nLiteLLM 支持两种方式接入模型：\n\n**① 原生 Provider 前缀**（推荐，有专属处理逻辑）\n```yaml\nmodel: deepseek/deepseek-chat # 自动解析 api_base、处理特殊参数\nmodel: moonshot/moonshot-v1-128k\nmodel: minimax/MiniMax-M2.7\n```\n\n**② `openai/` 前缀 + 自定义 `api_base`**（通用兜底方案）\n```yaml\nmodel: openai/qwen3-max\napi_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n```\n\n选型原则：\n- 优先使用原生前缀，LiteLLM 会处理该 provider 的特殊参数（如 thinking、stream_options）\n- 若原生前缀的 model ID 映射不稳定（如 zhipuai/、dashscope/），改用 `openai/` + api_base\n- 若 LiteLLM 完全无该 provider 支持（如 Stepfun），只能用 `openai/` + api_base\n\n### 3.2 关键配置字段说明\n\n```yaml\nmodel_list:\n - model_name: my-alias # 对外暴露的别名，客户端用这个名字调用\n litellm_params:\n model: provider/model-id # 实际路由目标\n api_base: https://... # 仅 openai/ 前缀需要\n api_key: os.environ/KEY # 推荐用环境变量，不要硬编码\n rpm: 100 # 可选：每分钟请求限制\n```\n\n### 3.3 `drop_params: true` 的重要性\n\n不同平台支持的参数集不同，例如：\n- `stream_options` 仅 OpenAI 原生支持\n- `thinking` 参数仅 DeepSeek Reasoner / Claude 支持\n- 部分平台不支持 `frequency_penalty`\n\n建议在 `litellm_settings` 中开启：\n```yaml\nlitellm_settings:\n drop_params: true\n```\n效果：自动丢弃当前 provider 不支持的参数，避免 400 报错。\n\n### 3.4 多 Key 负载均衡\n\n同一 `model_name` 配置多个条目，LiteLLM 自动在它们之间负载均衡：\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_1\n\n- model_name: deepseek-chat # 同名 = 自动负载均衡\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_2\n```\n\n### 3.5 环境变量加载\n\nconfig.yml 中使用 `os.environ/VAR_NAME` 引用环境变量：\n```yaml\napi_key: os.environ/MY_API_KEY\n```\n\n启动前需确保变量已加载：\n```bash\nsource .env && litellm --config config.yml\n# 或\nexport $(cat .env | xargs) && litellm --config config.yml\n```\n\n### 3.6 常用验证命令\n\n```bash\n# 健康检查\ncurl http://localhost:4000/health\n\n# 查看所有可用模型\ncurl http://localhost:4000/v1/models \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\"\n\n# 测试调用\ncurl http://localhost:4000/v1/chat/completions \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\" \\\n -H \"Content-Type: application/json\" \\\n -d '{\n \"model\": \"deepseek-chat\",\n \"messages\": [{\"role\": \"user\", \"content\": \"write hello world in Python\"}]\n }'\n```\n\n### 3.7 Doubao model ID 含版本日期\n\n豆包模型 ID 包含日期后缀（如 `doubao-seed-2-0-pro-260215`），字节跳动发布新版本后需要手动更新 config.yml 中的 model ID。建议定期查看官方文档：https://www.volcengine.com/docs/82379/1330310\n\n### 3.8 Fallback 链配置语法\n\nLiteLLM 支持三种 fallback 类型，在 `router_settings` 下配置：\n\n```yaml\nrouter_settings:\n # 通用 fallback：任何错误（5xx、限流、超时）都触发\n fallbacks:\n - primary-model:\n - fallback-model-1\n - fallback-model-2\n\n # 上下文超限专用 fallback（不会触发通用 fallback）\n context_window_fallbacks:\n - primary-model:\n - large-context-model\n\n # 内容安全拒绝专用 fallback\n content_policy_fallbacks:\n - primary-model:\n - permissive-model\n```\n\n注意：\n- `fallbacks` 列表中每个元素必须是已在 `model_list` 中定义的 `model_name`\n- 同名 `model_name` 的多个条目会做负载均衡，而非 fallback\n- `num_retries` 控制触发 fallback 前对当前模型的重试次数\n- `request_timeout` 超时同样触发 fallback\n\n### 3.9 免费模型双路策略（OpenRouter + 直连混合）\n\n免费模型使用中的核心矛盾：\n- **OpenRouter** :free 模型：无额度上限，但严格限速（20 req/min，200 req/day）\n- **直连平台**（DashScope、LongCat、Volcengine）：额度有限但速率宽松\n\n最优 Fallback 排列策略：\n\n```\nOpenRouter主力 → 直连平台高额度 → OpenRouter备份 → 直连平台次级 → ...\n```\n\n例如（编码链）：\n1. OpenRouter Qwen3-Coder（最强，速率耗尽后才失败）\n2. DashScope qwen3-coder 直连（100万 token，速率宽松）\n3. LongCat-Lite 直连（50M token/天，几乎无限）\n4. OpenRouter LongCat-Lite（OR 路径备份）\n5. 继续交替...\n\n这样可以在 OpenRouter 限速时无缝切换到直连，直连额度用完时再切回 OR 的其他模型。\n\n### 3.10 各平台免费额度对比\n\n| 平台 | 免费方式 | 额度 | 有效期 | 备注 |\n|------|---------|------|--------|------|\n| OpenRouter `:free` | 永久免费模型 | 无上限 | 永久 | 20 req/min，200 req/day |\n| 阿里云百炼 | 新用户赠送 | 100万 token/模型 | 90天 | 仅中国大陆账号 |\n| 美团 LongCat | 每日刷新 | 500K token/天（Lite 为 5000万） | 每日 | 可申请提额到 500万/天 |\n| 火山引擎 Doubao | 新用户一次性 | 50万 token + 100元券 | 一次性 | 需实名认证 |\n\n---\n\n## 四、OpenRouter 免费模型清单（2026-03，共 27 个）\n\n| 模型 ID | 参数 | 上下文 | 适合场景 |\n|---------|------|--------|---------|\n| `qwen/qwen3-coder:free` | 480B MoE | 262K | 代码生成（最强） |\n| `qwen/qwen3-next-80b-a3b-instruct:free` | 80B | - | Agentic / RAG |\n| `qwen/qwen-2.5-coder-32b-instruct:free` | 32B | - | 代码专项 |\n| `qwen/qwen-2.5-72b-instruct:free` | 72B | - | 通用 |\n| `qwen/qwen3-4b:free` | 4B | - | 轻量 |\n| `google/gemini-2.5-flash:free` | - | 1M | 多模态通用 |\n| `meta-llama/llama-4-maverick:free` | MoE | 256K | 通用聊天 |\n| `meta-llama/llama-3.3-70b-instruct:free` | 70B | 131K | GPT-4 级别 |\n| `openai/gpt-oss-120b:free` | 120B | - | OpenAI 开源 |\n| `openai/gpt-oss-20b:free` | 20B | - | 轻量 OpenAI |\n| `nvidia/nemotron-3-super-120b-a12b:free` | 120B | 262K | 长文档 |\n| `stepfun/step-3.5-flash:free` | MoE | 256K | 推理 |\n| `minimax/minimax-m2.5:free` | 228.7B | 192K | 通用 |\n| `z-ai/glm-4.5-air:free` | - | - | 智谱 GLM |\n| `mistralai/mistral-small-3.1-24b-instruct:free` | 24B | - | Function Calling |\n| `google/gemma-3-27b-it:free` | 27B | - | 轻量通用 |\n| `google/gemma-3-12b-it:free` | 12B | - | 超轻量 |\n| `meituan/longcat-flash-lite:free` | MoE | 327K | 工具调用 |\n| `deepseek/deepseek-r1:free` | - | 128K | 深度推理 |\n| `deepseek/deepseek-v3:free` | - | - | 通用强 |\n| `nousresearch/hermes-3-llama-3.1-405b:free` | 405B | - | 大参数 |\n| `nvidia/nemotron-3-nano-30b-a3b:free` | 30B | - | 轻量 |\n| `nvidia/nemotron-nano-12b-v2-vl:free` | 12B | - | 视觉 |\n| `nvidia/nemotron-nano-9b-v2:free` | 9B | - | 超轻量 |\n| `google/gemma-3-4b-it:free` | 4B | - | 极轻量 |\n| `google/gemma-3n-e2b-it:free` | 2B | - | 极轻量 |\n| `google/gemma-3n-e4b-it:free` | 4B | - | 极轻量 |\n\n> 注：OpenRouter 免费模型列表变化频繁，以 https://openrouter.ai/models?q=free 实时为准\n\n---\n\n## 五、国际平台（config/config-global.yml）\n\n### 5.1 平台概览\n\n| 平台 | LiteLLM 前缀 | API Base（自动） | ENV |\n|------|-------------|----------------|-----|\n| Anthropic | `anthropic/` | api.anthropic.com | ANTHROPIC_API_KEY |\n| Google Gemini | `gemini/` | generativelanguage.googleapis.com | GOOGLE_API_KEY |\n| OpenAI | `openai/` | api.openai.com/v1 | OPENAI_API_KEY |\n| Mistral | `mistral/` | api.mistral.ai/v1 | MISTRAL_API_KEY |\n| Groq | `groq/` | api.groq.com/openai/v1 | GROQ_API_KEY |\n\n### 5.2 各平台模型详情\n\n**Anthropic Claude**\n- 文档：https://docs.anthropic.com/en/docs/about-claude/models/overview\n- `claude-opus-4-6` — 旗舰，1M ctx，128K output，最强推理编程，成本高\n- `claude-sonnet-4-6` — 均衡首选，1M ctx，64K output，日常编码\n- `claude-haiku-4-5-20251001` — 极速轻量，200K ctx，高频低成本场景\n\n**Google Gemini**\n- 文档：https://ai.google.dev/gemini-api/docs/models\n- `gemini-2.5-pro` — 旗舰推理，超长上下文，多模态，复杂任务\n- `gemini-2.5-flash` — 最佳价格/性能比，速度快\n- `gemini-2.0-flash` — 稳定快速，低成本，高频调用\n- 注意：`gemini-2.5-flash` 在 OpenRouter 上**不是**免费模型（$0.30/$2.50）\n\n**OpenAI**\n- 文档：https://platform.openai.com/docs/models\n- `o3` — 深度推理，复杂算法/数学/架构，慢但准\n- `o4-mini` — 快速推理，编程/数学，性价比高于 o3\n- `gpt-4o` — 旗舰通用，多模态\n- `gpt-4o-mini` — 轻量快速，批处理场景\n\n**Mistral AI**\n- 文档：https://docs.mistral.ai/getting-started/models/models_overview/\n- `mistral-large-latest` — 旗舰，256K ctx，function calling 强\n- `codestral-latest` — 代码专用，补全/生成首选\n- `mistral-small-latest` — 轻量均衡，低成本通用\n\n**Groq（超快推理）**\n- 文档：https://console.groq.com/docs/models\n- `llama-3.3-70b-versatile` — 综合最强，~280 tokens/sec\n- `llama-3.1-8b-instant` — 超快 8B，~560 tokens/sec\n- 适合：实时流式、简单补全，质量低于上方其他平台\n\n### 5.3 国际平台编程能力排名（2026-03）\n\n1. `claude-opus-4-6` — 复杂推理 + Agent 最强\n2. `claude-sonnet-4-6` — 日常编码最优性价比\n3. `gemini-2.5-pro` — 多模态 + 超长上下文\n4. `o3` — 深度数学/算法推理\n5. `gpt-4o` — 通用多模态\n6. `o4-mini` — 快速推理编程\n7. `mistral-large-latest` — 欧洲最强\n8. `codestral-latest` — 代码专项\n9. `gemini-2.5-flash` — 速度优先\n10. `gpt-4o-mini` — 低成本通用\n11. `groq-llama-3.3-70b` — 超快但质量有限\n\n---\n\n## 六、快速参考：各平台 API Key 获取入口\n\n| 平台 | API Key 控制台 |\n|------|--------------|\n| Anthropic | https://console.anthropic.com/settings/keys |\n| Google Gemini | https://aistudio.google.com/app/apikey |\n| OpenAI | https://platform.openai.com/api-keys |\n| Mistral | https://console.mistral.ai/api-keys |\n| Groq | https://console.groq.com/keys |\n| DeepSeek | https://platform.deepseek.com/api_keys |\n| 通义千问 | https://dashscope.console.aliyun.com/apiKey |\n| Moonshot | https://platform.moonshot.cn/console/api-keys |\n| 智谱 GLM | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| 豆包 / Ark | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| MiniMax | https://platform.minimax.io/user-center/basic-information/interface-key |\n| 阶跃星辰 | https://platform.stepfun.com/interface-key |\n| 美团 LongCat | https://longcat.chat/platform/ |\n| OpenRouter | https://openrouter.ai/settings/keys |\n"}, "1846bd703be8f9e9d4827f34668e42a13c5f73ab": {"t": 1785749389.2783804, "n": 15009, "h": "799fbeccb77ce7ab", "c": "# LiteLLM 国内大模型配置笔记\n\n> 整理时间：2026-03-29（最后更新：2026-03-29）\n\n---\n\n## 一、平台选型说明\n\n### 入选标准\n- 国内可直连，无需代理\n- 编程 / 自动化能力及格线以上\n- 提供 OpenAI 兼容 API 或 LiteLLM 原生支持\n- 官方文档相对完善\n\n### 排除平台及原因\n\n| 平台 | 排除原因 |\n|------|---------|\n| 百度文心 ERNIE | 认证方式非标准（需先换取 access_token），LiteLLM 无原生支持 |\n| 讯飞星火 Spark | 核心 API 基于 WebSocket，不兼容 OpenAI REST 格式 |\n| 腾讯混元 Hunyuan | API 需企业实名认证，个人开发者门槛高 |\n| 百川 Baichuan | 官方文档不完善，模型更新滞后 |\n| 零一万物 01.ai | 文档有限，近期无明显模型更新 |\n\n---\n\n## 二、各平台详细信息\n\n### 1. DeepSeek\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.deepseek.com |\n| API 文档 | https://api-docs.deepseek.com/ |\n| 控制台 / API Key | https://platform.deepseek.com/api_keys |\n| API Base | `https://api.deepseek.com` |\n| LiteLLM 前缀 | `deepseek/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `deepseek-chat` | `deepseek-chat` | DeepSeek V3，综合能力强，编程首选 |\n| `deepseek-reasoner` | `deepseek-reasoner` | DeepSeek R1，思维链推理，适合复杂逻辑 |\n\n**配置示例：**\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY\n```\n\n---\n\n### 2. 阿里云 DashScope / 通义千问（Qwen）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://dashscope.aliyun.com |\n| 模型列表文档 | https://help.aliyun.com/zh/model-studio/getting-started/models |\n| API 文档 | https://help.aliyun.com/zh/model-studio/developer-reference/use-qwen-by-calling-api |\n| 控制台 / API Key | https://dashscope.console.aliyun.com/apiKey |\n| API Base（OpenAI 兼容模式） | `https://dashscope.aliyuncs.com/compatible-mode/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是（需使用 compatible-mode 端点） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `qwen3-max` | `qwen3-max` | 旗舰模型，Qwen3 系列最强，支持思考模式 |\n| `qwen-plus` | `qwen-plus` | 均衡性价比，综合能力强 |\n| `qwen-turbo` | `qwen-turbo` | 快速响应，低延迟场景 |\n\n**注意事项：**\n- LiteLLM 有 `dashscope/` 原生前缀，但各版本 model ID 映射不稳定，推荐用 `openai/` + `api_base` 更可靠\n- 需使用 **compatible-mode** 子域名，而非 dashscope 原始接口\n\n**配置示例：**\n```yaml\n- model_name: qwen3-max\n litellm_params:\n model: openai/qwen3-max\n api_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n api_key: os.environ/DASHSCOPE_API_KEY\n```\n\n---\n\n### 3. Moonshot / Kimi（月之暗面）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.moonshot.cn |\n| API 文档 | https://platform.moonshot.cn/docs/intro |\n| 模型列表 | https://platform.moonshot.cn/docs/intro#模型列表 |\n| 控制台 / API Key | https://platform.moonshot.cn/console/api-keys |\n| API Base | `https://api.moonshot.cn/v1` |\n| LiteLLM 前缀 | `moonshot/`（原生支持） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `moonshot-v1-128k` | `moonshot-v1-128k` | 128K | 长上下文，适合大型代码库分析 |\n| `moonshot-v1-32k` | `moonshot-v1-32k` | 32K | 均衡选择 |\n| `moonshot-v1-8k` | `moonshot-v1-8k` | 8K | 快速响应 |\n\n**注意事项：**\n- 较新的 kimi-k2 系列模型（kimi-k2-0905-preview 等）可能尚未进入 LiteLLM moonshot/ 前缀映射，若需使用需改为 `openai/` + api_base 方式\n\n**配置示例：**\n```yaml\n- model_name: moonshot-v1-128k\n litellm_params:\n model: moonshot/moonshot-v1-128k\n api_key: os.environ/MOONSHOT_API_KEY\n```\n\n---\n\n### 4. 智谱 AI / GLM\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.zhipuai.cn |\n| 模型文档 | https://bigmodel.cn/dev/howuse/model |\n| API 参考 | https://bigmodel.cn/dev/api/normal-model/glm-5 |\n| 控制台 / API Key | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| API Base | `https://open.bigmodel.cn/api/paas/v4` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `glm-5` | `glm-5` | 旗舰，200K 上下文，Agentic 能力强 |\n| `glm-4.6` | `glm-4.6` | 高性能，均衡选择 |\n| `glm-4.5-flash` | `glm-4.5-flash` | 速度优先，低成本 |\n\n**注意事项：**\n- LiteLLM 有 `zhipuai/` 原生前缀，但仅稳定映射旧版 GLM-4 模型 ID\n- GLM-5、GLM-4.6 等新模型需用 `openai/` + `api_base` 方式调用\n\n**配置示例：**\n```yaml\n- model_name: glm-5\n litellm_params:\n model: openai/glm-5\n api_base: https://open.bigmodel.cn/api/paas/v4\n api_key: os.environ/ZHIPUAI_API_KEY\n```\n\n---\n\n### 5. 字节跳动 Doubao / Volcengine（豆包）\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.volcengine.com/product/doubao |\n| 模型列表文档 | https://www.volcengine.com/docs/82379/1330310 |\n| API 文档 | https://www.volcengine.com/docs/82379/1302009 |\n| 控制台 / API Key | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| API Base | `https://ark.cn-beijing.volces.com/api/v3` |\n| LiteLLM 前缀 | `openai/` + api_base（见注意事项） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `doubao-seed-2-0-pro` | `doubao-seed-2-0-pro-260215` | 最新旗舰，综合推理能力最强 |\n| `doubao-seed-1.6` | `doubao-seed-1.6-250615` | 支持思维链模式 |\n| `doubao-seed-code` | `doubao-seed-code` | 代码专用模型 |\n\n**注意事项：**\n- LiteLLM 有 `volcengine/` 原生前缀，但该前缀要求传入 **Endpoint UUID**（控制台部署后生成），而非可读 model ID\n- 使用可读 model ID 时，需改为 `openai/` + `api_base` 方式\n- model ID 含日期版本号（如 `-260215`），新版本发布后需手动更新\n\n**配置示例：**\n```yaml\n- model_name: doubao-seed-2-0-pro\n litellm_params:\n model: openai/doubao-seed-2-0-pro-260215\n api_base: https://ark.cn-beijing.volces.com/api/v3\n api_key: os.environ/ARK_API_KEY\n```\n\n---\n\n### 6. MiniMax\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.minimaxi.com |\n| 模型介绍 | https://platform.minimax.io/docs/guides/models-intro |\n| API 文档 | https://platform.minimax.io/docs/api-reference/text/chatcompletion-v2 |\n| 控制台 / API Key | https://platform.minimax.io/user-center/basic-information/interface-key |\n| API Base | `https://api.minimax.io/v1` |\n| LiteLLM 前缀 | `minimax/`（原生支持） |\n| OpenAI 兼容 | 是（同时支持 Anthropic SDK 兼容模式） |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 说明 |\n|----------------|--------------|------|\n| `minimax-m2.7` | `MiniMax-M2.7` | 最新旗舰（2026-02），默认推荐 |\n| `minimax-m2.5` | `MiniMax-M2.5` | 228.7B 参数，192K 上下文 |\n\n**注意事项：**\n- model ID 大小写敏感，必须保留大写 `MiniMax-M2.7`\n\n**配置示例：**\n```yaml\n- model_name: minimax-m2.7\n litellm_params:\n model: minimax/MiniMax-M2.7\n api_key: os.environ/MINIMAX_API_KEY\n```\n\n---\n\n### 7. 阶跃星辰 Stepfun\n\n| 项目 | 内容 |\n|------|------|\n| 官网 | https://www.stepfun.com |\n| 模型列表文档 | https://platform.stepfun.com/docs/llm/modeloverview |\n| API 文档 | https://platform.stepfun.com/docs/llm/text |\n| 控制台 / API Key | https://platform.stepfun.com/interface-key |\n| API Base | `https://api.stepfun.com/v1` |\n| LiteLLM 前缀 | `openai/` + api_base（无原生前缀） |\n| OpenAI 兼容 | 是 |\n\n**入选模型：**\n\n| model_name 别名 | 实际 model ID | 上下文窗口 | 说明 |\n|----------------|--------------|-----------|------|\n| `step-3.5-flash` | `step-3.5-flash` | 256K | 旗舰推理模型 |\n| `step-2-mini` | `step-2-mini` | 32K | 轻量快速，低成本自动化 |\n\n**配置示例：**\n```yaml\n- model_name: step-3.5-flash\n litellm_params:\n model: openai/step-3.5-flash\n api_base: https://api.stepfun.com/v1\n api_key: os.environ/STEPFUN_API_KEY\n```\n\n---\n\n## 三、LiteLLM Proxy 配置经验\n\n### 3.1 Provider 前缀选型策略\n\nLiteLLM 支持两种方式接入模型：\n\n**① 原生 Provider 前缀**（推荐，有专属处理逻辑）\n```yaml\nmodel: deepseek/deepseek-chat # 自动解析 api_base、处理特殊参数\nmodel: moonshot/moonshot-v1-128k\nmodel: minimax/MiniMax-M2.7\n```\n\n**② `openai/` 前缀 + 自定义 `api_base`**（通用兜底方案）\n```yaml\nmodel: openai/qwen3-max\napi_base: https://dashscope.aliyuncs.com/compatible-mode/v1\n```\n\n选型原则：\n- 优先使用原生前缀，LiteLLM 会处理该 provider 的特殊参数（如 thinking、stream_options）\n- 若原生前缀的 model ID 映射不稳定（如 zhipuai/、dashscope/），改用 `openai/` + api_base\n- 若 LiteLLM 完全无该 provider 支持（如 Stepfun），只能用 `openai/` + api_base\n\n### 3.2 关键配置字段说明\n\n```yaml\nmodel_list:\n - model_name: my-alias # 对外暴露的别名，客户端用这个名字调用\n litellm_params:\n model: provider/model-id # 实际路由目标\n api_base: https://... # 仅 openai/ 前缀需要\n api_key: os.environ/KEY # 推荐用环境变量，不要硬编码\n rpm: 100 # 可选：每分钟请求限制\n```\n\n### 3.3 `drop_params: true` 的重要性\n\n不同平台支持的参数集不同，例如：\n- `stream_options` 仅 OpenAI 原生支持\n- `thinking` 参数仅 DeepSeek Reasoner / Claude 支持\n- 部分平台不支持 `frequency_penalty`\n\n建议在 `litellm_settings` 中开启：\n```yaml\nlitellm_settings:\n drop_params: true\n```\n效果：自动丢弃当前 provider 不支持的参数，避免 400 报错。\n\n### 3.4 多 Key 负载均衡\n\n同一 `model_name` 配置多个条目，LiteLLM 自动在它们之间负载均衡：\n```yaml\n- model_name: deepseek-chat\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_1\n\n- model_name: deepseek-chat # 同名 = 自动负载均衡\n litellm_params:\n model: deepseek/deepseek-chat\n api_key: os.environ/DEEPSEEK_API_KEY_2\n```\n\n### 3.5 环境变量加载\n\nconfig.yml 中使用 `os.environ/VAR_NAME` 引用环境变量：\n```yaml\napi_key: os.environ/MY_API_KEY\n```\n\n启动前需确保变量已加载：\n```bash\nsource .env && litellm --config config.yml\n# 或\nexport $(cat .env | xargs) && litellm --config config.yml\n```\n\n### 3.6 常用验证命令\n\n```bash\n# 健康检查\ncurl http://localhost:4000/health\n\n# 查看所有可用模型\ncurl http://localhost:4000/v1/models \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\"\n\n# 测试调用\ncurl http://localhost:4000/v1/chat/completions \\\n -H \"Authorization: Bearer $LITELLM_MASTER_KEY\" \\\n -H \"Content-Type: application/json\" \\\n -d '{\n \"model\": \"deepseek-chat\",\n \"messages\": [{\"role\": \"user\", \"content\": \"write hello world in Python\"}]\n }'\n```\n\n### 3.7 Doubao model ID 含版本日期\n\n豆包模型 ID 包含日期后缀（如 `doubao-seed-2-0-pro-260215`），字节跳动发布新版本后需要手动更新 config.yml 中的 model ID。建议定期查看官方文档：https://www.volcengine.com/docs/82379/1330310\n\n### 3.8 Fallback 链配置语法\n\nLiteLLM 支持三种 fallback 类型，在 `router_settings` 下配置：\n\n```yaml\nrouter_settings:\n # 通用 fallback：任何错误（5xx、限流、超时）都触发\n fallbacks:\n - primary-model:\n - fallback-model-1\n - fallback-model-2\n\n # 上下文超限专用 fallback（不会触发通用 fallback）\n context_window_fallbacks:\n - primary-model:\n - large-context-model\n\n # 内容安全拒绝专用 fallback\n content_policy_fallbacks:\n - primary-model:\n - permissive-model\n```\n\n注意：\n- `fallbacks` 列表中每个元素必须是已在 `model_list` 中定义的 `model_name`\n- 同名 `model_name` 的多个条目会做负载均衡，而非 fallback\n- `num_retries` 控制触发 fallback 前对当前模型的重试次数\n- `request_timeout` 超时同样触发 fallback\n\n### 3.9 免费模型双路策略（OpenRouter + 直连混合）\n\n免费模型使用中的核心矛盾：\n- **OpenRouter** :free 模型：无额度上限，但严格限速（20 req/min，200 req/day）\n- **直连平台**（DashScope、LongCat、Volcengine）：额度有限但速率宽松\n\n最优 Fallback 排列策略：\n\n```\nOpenRouter主力 → 直连平台高额度 → OpenRouter备份 → 直连平台次级 → ...\n```\n\n例如（编码链）：\n1. OpenRouter Qwen3-Coder（最强，速率耗尽后才失败）\n2. DashScope qwen3-coder 直连（100万 token，速率宽松）\n3. LongCat-Lite 直连（50M token/天，几乎无限）\n4. OpenRouter LongCat-Lite（OR 路径备份）\n5. 继续交替...\n\n这样可以在 OpenRouter 限速时无缝切换到直连，直连额度用完时再切回 OR 的其他模型。\n\n### 3.10 各平台免费额度对比\n\n| 平台 | 免费方式 | 额度 | 有效期 | 备注 |\n|------|---------|------|--------|------|\n| OpenRouter `:free` | 永久免费模型 | 无上限 | 永久 | 20 req/min，200 req/day |\n| 阿里云百炼 | 新用户赠送 | 100万 token/模型 | 90天 | 仅中国大陆账号 |\n| 美团 LongCat | 每日刷新 | 500K token/天（Lite 为 5000万） | 每日 | 可申请提额到 500万/天 |\n| 火山引擎 Doubao | 新用户一次性 | 50万 token + 100元券 | 一次性 | 需实名认证 |\n\n---\n\n## 四、OpenRouter 免费模型清单（2026-03，共 27 个）\n\n| 模型 ID | 参数 | 上下文 | 适合场景 |\n|---------|------|--------|---------|\n| `qwen/qwen3-coder:free` | 480B MoE | 262K | 代码生成（最强） |\n| `qwen/qwen3-next-80b-a3b-instruct:free` | 80B | - | Agentic / RAG |\n| `qwen/qwen-2.5-coder-32b-instruct:free` | 32B | - | 代码专项 |\n| `qwen/qwen-2.5-72b-instruct:free` | 72B | - | 通用 |\n| `qwen/qwen3-4b:free` | 4B | - | 轻量 |\n| `google/gemini-2.5-flash:free` | - | 1M | 多模态通用 |\n| `meta-llama/llama-4-maverick:free` | MoE | 256K | 通用聊天 |\n| `meta-llama/llama-3.3-70b-instruct:free` | 70B | 131K | GPT-4 级别 |\n| `openai/gpt-oss-120b:free` | 120B | - | OpenAI 开源 |\n| `openai/gpt-oss-20b:free` | 20B | - | 轻量 OpenAI |\n| `nvidia/nemotron-3-super-120b-a12b:free` | 120B | 262K | 长文档 |\n| `stepfun/step-3.5-flash:free` | MoE | 256K | 推理 |\n| `minimax/minimax-m2.5:free` | 228.7B | 192K | 通用 |\n| `z-ai/glm-4.5-air:free` | - | - | 智谱 GLM |\n| `mistralai/mistral-small-3.1-24b-instruct:free` | 24B | - | Function Calling |\n| `google/gemma-3-27b-it:free` | 27B | - | 轻量通用 |\n| `google/gemma-3-12b-it:free` | 12B | - | 超轻量 |\n| `meituan/longcat-flash-lite:free` | MoE | 327K | 工具调用 |\n| `deepseek/deepseek-r1:free` | - | 128K | 深度推理 |\n| `deepseek/deepseek-v3:free` | - | - | 通用强 |\n| `nousresearch/hermes-3-llama-3.1-405b:free` | 405B | - | 大参数 |\n| `nvidia/nemotron-3-nano-30b-a3b:free` | 30B | - | 轻量 |\n| `nvidia/nemotron-nano-12b-v2-vl:free` | 12B | - | 视觉 |\n| `nvidia/nemotron-nano-9b-v2:free` | 9B | - | 超轻量 |\n| `google/gemma-3-4b-it:free` | 4B | - | 极轻量 |\n| `google/gemma-3n-e2b-it:free` | 2B | - | 极轻量 |\n| `google/gemma-3n-e4b-it:free` | 4B | - | 极轻量 |\n\n> 注：OpenRouter 免费模型列表变化频繁，以 https://openrouter.ai/models?q=free 实时为准\n\n---\n\n## 五、国际平台（config-global.yml）\n\n### 5.1 平台概览\n\n| 平台 | LiteLLM 前缀 | API Base（自动） | ENV |\n|------|-------------|----------------|-----|\n| Anthropic | `anthropic/` | api.anthropic.com | ANTHROPIC_API_KEY |\n| Google Gemini | `gemini/` | generativelanguage.googleapis.com | GOOGLE_API_KEY |\n| OpenAI | `openai/` | api.openai.com/v1 | OPENAI_API_KEY |\n| Mistral | `mistral/` | api.mistral.ai/v1 | MISTRAL_API_KEY |\n| Groq | `groq/` | api.groq.com/openai/v1 | GROQ_API_KEY |\n\n### 5.2 各平台模型详情\n\n**Anthropic Claude**\n- 文档：https://docs.anthropic.com/en/docs/about-claude/models/overview\n- `claude-opus-4-6` — 旗舰，1M ctx，128K output，最强推理编程，成本高\n- `claude-sonnet-4-6` — 均衡首选，1M ctx，64K output，日常编码\n- `claude-haiku-4-5-20251001` — 极速轻量，200K ctx，高频低成本场景\n\n**Google Gemini**\n- 文档：https://ai.google.dev/gemini-api/docs/models\n- `gemini-2.5-pro` — 旗舰推理，超长上下文，多模态，复杂任务\n- `gemini-2.5-flash` — 最佳价格/性能比，速度快\n- `gemini-2.0-flash` — 稳定快速，低成本，高频调用\n- 注意：`gemini-2.5-flash` 在 OpenRouter 上**不是**免费模型（$0.30/$2.50）\n\n**OpenAI**\n- 文档：https://platform.openai.com/docs/models\n- `o3` — 深度推理，复杂算法/数学/架构，慢但准\n- `o4-mini` — 快速推理，编程/数学，性价比高于 o3\n- `gpt-4o` — 旗舰通用，多模态\n- `gpt-4o-mini` — 轻量快速，批处理场景\n\n**Mistral AI**\n- 文档：https://docs.mistral.ai/getting-started/models/models_overview/\n- `mistral-large-latest` — 旗舰，256K ctx，function calling 强\n- `codestral-latest` — 代码专用，补全/生成首选\n- `mistral-small-latest` — 轻量均衡，低成本通用\n\n**Groq（超快推理）**\n- 文档：https://console.groq.com/docs/models\n- `llama-3.3-70b-versatile` — 综合最强，~280 tokens/sec\n- `llama-3.1-8b-instant` — 超快 8B，~560 tokens/sec\n- 适合：实时流式、简单补全，质量低于上方其他平台\n\n### 5.3 国际平台编程能力排名（2026-03）\n\n1. `claude-opus-4-6` — 复杂推理 + Agent 最强\n2. `claude-sonnet-4-6` — 日常编码最优性价比\n3. `gemini-2.5-pro` — 多模态 + 超长上下文\n4. `o3` — 深度数学/算法推理\n5. `gpt-4o` — 通用多模态\n6. `o4-mini` — 快速推理编程\n7. `mistral-large-latest` — 欧洲最强\n8. `codestral-latest` — 代码专项\n9. `gemini-2.5-flash` — 速度优先\n10. `gpt-4o-mini` — 低成本通用\n11. `groq-llama-3.3-70b` — 超快但质量有限\n\n---\n\n## 六、快速参考：各平台 API Key 获取入口\n\n| 平台 | API Key 控制台 |\n|------|--------------|\n| Anthropic | https://console.anthropic.com/settings/keys |\n| Google Gemini | https://aistudio.google.com/app/apikey |\n| OpenAI | https://platform.openai.com/api-keys |\n| Mistral | https://console.mistral.ai/api-keys |\n| Groq | https://console.groq.com/keys |\n| DeepSeek | https://platform.deepseek.com/api_keys |\n| 通义千问 | https://dashscope.console.aliyun.com/apiKey |\n| Moonshot | https://platform.moonshot.cn/console/api-keys |\n| 智谱 GLM | https://bigmodel.cn/usercenter/proj-mgmt/apikey |\n| 豆包 / Ark | https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey |\n| MiniMax | https://platform.minimax.io/user-center/basic-information/interface-key |\n| 阶跃星辰 | https://platform.stepfun.com/interface-key |\n| 美团 LongCat | https://longcat.chat/platform/ |\n| OpenRouter | https://openrouter.ai/settings/keys |\n"}}}} |