LiteLLM：多模型网关、配额与降级
源码仓库 · 有用请 Star

LiteLLM：多模型网关、配额与降级

虚拟密钥、租户配额与降级，把现有 Java 客户端接到同一网关

基于 LiteLLM 官方文档，以及 2026-11-12 官方镜像 main-stable 的 Admin UI 实测（模拟上游、PostgreSQL 16，无厂商密钥）。侧栏显示 v1.169.0，同一次成功响应头为 x-litellm-version: 1.109.0 · 在线阅读版

2026-11-12

第一篇 为什么平台需要网关

业务服务里不该直接握着模型密钥 把 LiteLLM Proxy 跑起来

第二篇 密钥、配额与租户

虚拟密钥 团队预算与限流 租户隔离停在网关的哪一层

第三篇 路由与韧性

别名、部署和业务看见的模型名 降级、重试和负载

第四篇 接到现有平台

把 AgentScope 和 Spring AI 接到同一入口 把调用轨迹接到 Langfuse 生产边界