Skip to content

LLM API 路由支持 #18

@Zanetach

Description

@Zanetach

场景描述:
在多 LLM(大语言模型)混合部署的环境中,若仅依赖单一 LLM 的 API 服务,一旦该服务出现以下情况:

  • API 调用失败(如网络异常、服务宕机)
  • 配额耗尽(如免费额度用完、QPM/TPM 限流)
  • 响应超时或返回错误
    将导致正在进行的编码任务或自动化流程被迫中断,严重影响开发效率与系统稳定性。

为提升系统的容错性与可用性,建议配置多个 LLM API(如 OpenAI、Anthropic、Google Gemini、本地部署的 Llama 系列等),并引入智能路由机制:

  • 系统可实时检测各 LLM 服务的健康状态与配额余量,自动选择当前可用且性能最优的 LLM 执行请求,从而确保任务连续、稳定地运行,避免因单点故障导致整个项目停滞。

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions