LiteLLM
LiteLLM: Puerta de enlace LLM para gestionar y acceder a más de 100 LLMs en formato OpenAI.
Please wait while we load the page
LiteLLM es una puerta de enlace LLM (proxy de OpenAI) diseñada para gestionar la autenticación, el balanceo de carga y el seguimiento de gastos en más de 100 LLMs, manteniendo el formato de OpenAI. Simplifica el uso de APIs LLM de varios proveedores como OpenAI, Azure, Cohere, Anthropic, Replicate y Google. LiteLLM ofrece salidas y excepciones consistentes para todas las APIs LLM, junto con registro y seguimiento de errores para todos los modelos. Proporciona funciones como seguimiento de costos, API por lotes, reglas de seguridad, acceso a modelos, presupuestos, observabilidad LLM, limitación de tasa, gestión de prompts, registro en S3 y puntos finales de paso.
Use LiteLLM llamando a las APIs LLM usando el formato chatGPT - completion(model, messages). Proporciona salidas y excepciones consistentes para todas las APIs LLM. Puede desplegar LiteLLM de código abierto o probar LiteLLM Enterprise para más funciones.
Elige esto si quieres un modelo de lenguaje ligero que sea fácil de integrar y usar. Es perfecto para desarrolladores que necesitan un backend de IA simple pero efectivo.
Gratis
Para dar acceso a LLM a un gran número de desarrolladores y proyectos. Incluye soporte Enterprise, SLA personalizados, autenticación JWT, SSO y registros de auditoría.
Generador de ideas de regalos impulsado por IA basado en características del destinatario y ocasión.