产品介绍
LiteLLM 是什么？
LiteLLM 是开源模型调用库和网关，通过统一的 OpenAI 格式接口连接 100 多种大语言模型。它支持 OpenAI、Anthropic、Vertex AI、Bedrock、Ollama 和 Azure OpenAI 等服务，减少针对不同供应商重复开发接口的工作。
开发者既可在应用中直接使用 Python SDK，也可部署自托管代理作为组织级 LLM 网关。SDK 统一返回结构和供应商错误，路由器支持重试、故障转移和负载均衡。代理还提供虚拟密钥、预算、集中日志、护栏、缓存和管理界面。
如何使用 LiteLLM
- 安装
litellm软件包；需要网关时安装 proxy 扩展。 - 设置所选模型供应商的凭据。
- 使用带供应商前缀的模型名和 OpenAI 风格消息调用
completion()。 - 需要重试、回退或负载均衡时配置 Router。
- 需要集中接入时启动代理，并让 OpenAI 兼容客户端指向其地址。
核心功能
- 统一模型接口： 通过一致的 OpenAI 风格格式调用 100 多种模型。
- Python SDK： 支持生成、嵌入、图像生成、流式输出等端点。
- 路由： 在多个模型部署间提供重试、回退和负载均衡。
- 统一错误： 把供应商错误映射为 OpenAI 兼容异常类型。
- 可观测性： 通过回调连接 Langfuse、MLflow 和 Helicone 等工具。
- 自托管网关： 提供虚拟密钥、预算、日志、护栏、缓存和管理功能。
使用场景
- 多供应商应用： 在同一种调用方式后切换或组合模型服务。
- 弹性推理： 在模型故障时自动回退或分配流量。
- 集中治理： 通过代理管理密钥、预算、日志和护栏。
- 成本统计： 使用回调收集响应成本和用量。
常见问题
LiteLLM 只是 Python 库吗？
不是。它还包含用于集中模型访问的自托管 OpenAI 兼容代理。
现有 OpenAI 客户端能使用该网关吗？
可以。文档说明 OpenAI 兼容客户端可直接把基础地址改为 LiteLLM 代理。
