LiteLLM
LiteLLM: Gateway LLM para gerir e aceder a mais de 100 LLMs em formato OpenAI.
Please wait while we load the page
LiteLLM é um Gateway LLM (Proxy OpenAI) concebido para gerir autenticação, balanceamento de carga e acompanhamento de gastos em mais de 100 LLMs, mantendo o formato OpenAI. Simplifica o uso de APIs LLM de vários fornecedores como OpenAI, Azure, Cohere, Anthropic, Replicate e Google. Oferece saídas consistentes e exceções para todas as APIs LLM, juntamente com registo e acompanhamento de erros para todos os modelos. Fornece funcionalidades como acompanhamento de custos, lotes de API, guardrails, acesso a modelos, orçamentos, observabilidade LLM, limitação de taxa, gestão de prompts, registo S3 e endpoints pass-through.
Use o LiteLLM chamando APIs LLM usando o formato chatGPT - completion(model, messages). Fornece saídas consistentes e exceções para todas as APIs LLM. Pode implementar o LiteLLM open source ou experimentar o LiteLLM Enterprise para mais funcionalidades.
Escolha isto se quiser um modelo de linguagem leve, fácil de integrar e usar. É perfeito para programadores que precisam de um backend de IA simples mas eficaz.
Gratuito
Para dar acesso a LLM a um grande número de desenvolvedores e projetos. Inclui Suporte Enterprise, SLAs personalizados, Autenticação JWT, SSO e Registos de Auditoria.
Página de estacionamento de domínios que apresenta nomes de domínio à venda e serviços relacionados.