LiteLLM
(0 de 5)0 Sauvegardé
LiteLLM : passerelle LLM pour gérer et accéder à plus de 100 LLMs au format OpenAI.
Site webContact pour tarificationGratuitAPI IAOutils de développement IAGrands modèles de langage (LLM)Modèles IA open source
Please wait while we load the page
LiteLLM est une passerelle LLM (proxy OpenAI) conçue pour gérer l'authentification, l'équilibrage de charge et le suivi des dépenses pour plus de 100 LLMs, tout en conservant le format OpenAI. Il simplifie l'utilisation des API LLM de divers fournisseurs comme OpenAI, Azure, Cohere, Anthropic, Replicate et Google. LiteLLM offre des sorties et exceptions cohérentes pour toutes les API LLM, ainsi que la journalisation et le suivi des erreurs pour tous les modèles. Il propose des fonctionnalités telles que le suivi des coûts, les lots API, les garde-fous, l'accès aux modèles, les budgets, l'observabilité LLM, la limitation de débit, la gestion des invites, la journalisation S3 et les points de terminaison pass-through.
Utilisez LiteLLM en appelant les API LLM avec le format chatGPT - completion(modèle, messages). Il fournit des sorties et exceptions cohérentes pour toutes les API LLM. Vous pouvez déployer LiteLLM en open source ou essayer LiteLLM Enterprise pour plus de fonctionnalités.
Choisissez ceci si vous voulez un modèle de langage léger, facile à intégrer et à utiliser. Il est parfait pour les développeurs ayant besoin d'un backend IA simple mais efficace.
Gratuit
Pour donner accès aux LLM à un grand nombre de développeurs et projets. Inclut support entreprise, SLA personnalisés, authentification JWT, SSO et journaux d'audit.
Aucun produit disponible
