LiteLLM
LiteLLM：用于管理和访问100多个OpenAI格式LLM的LLM网关。
LiteLLM 介绍
这是什么 LiteLLM?
LiteLLM是一个大型语言模型网关（OpenAI代理），设计用于管理100多个LLM的身份验证、负载均衡和费用跟踪，同时保持OpenAI格式。它简化了使用OpenAI、Azure、Cohere、Anthropic、Replicate和Google等提供商的LLM API的过程。LiteLLM为所有LLM API提供一致的输出和异常处理，并支持所有模型的日志和错误跟踪。它提供费用跟踪、批处理API、护栏、模型访问、预算、LLM可观测性、速率限制、提示管理、S3日志和透传端点等功能。
如何使用 LiteLLM?
通过调用chatGPT格式的LLM API（completion(model, messages)）使用LiteLLM。它为所有LLM API提供一致的输出和异常。您可以部署LiteLLM开源版本，或尝试LiteLLM企业版以获得更多功能。
为什么选择 LiteLLM?
如果你想要一个轻量级、易于集成和使用的语言模型，选择它。它非常适合需要简单而有效的AI后端的开发者。
LiteLLM 功能特点
AI API
- ✓支持100多个LLM的网关
- ✓兼容OpenAI的API
- ✓费用跟踪和预算管理
- ✓LLM回退
- ✓负载均衡
- ✓速率限制
- ✓提示管理
- ✓日志和错误跟踪
常见问题
价格
开源版
$0
免费
企业版
联系报价
为大量开发者和项目提供LLM访问。包括企业支持、自定义SLA、JWT认证、单点登录和审计日志。
LiteLLM 标签
选择评分
