LiteLLM
(0 de 5)0 Gespeichert
LiteLLM: LLM-Gateway zur Verwaltung und zum Zugriff auf 100+ LLMs im OpenAI-Format.
WebsitePreis auf AnfrageKostenlosKI-APIKI-EntwicklertoolsGroße Sprachmodelle (LLMs)Open-Source-KI-Modelle
Please wait while we load the page
LiteLLM ist ein LLM-Gateway (OpenAI-Proxy), das entwickelt wurde, um Authentifizierung, Lastverteilung und Ausgabeverfolgung über 100+ LLMs zu verwalten, während das OpenAI-Format beibehalten wird. Es vereinfacht die Nutzung von LLM-APIs verschiedener Anbieter wie OpenAI, Azure, Cohere, Anthropic, Replicate und Google. LiteLLM bietet konsistente Ausgaben und Ausnahmen für alle LLM-APIs sowie Logging und Fehlerverfolgung für alle Modelle. Es bietet Funktionen wie Kostenverfolgung, Batch-API, Schutzmechanismen, Modellzugang, Budgets, LLM-Überwachung, Ratenbegrenzung, Prompt-Management, S3-Logging und Pass-Through-Endpunkte.
Verwenden Sie LiteLLM, indem Sie LLM-APIs im ChatGPT-Format aufrufen - completion(model, messages). Es bietet konsistente Ausgaben und Ausnahmen für alle LLM-APIs. Sie können LiteLLM als Open Source bereitstellen oder LiteLLM Enterprise für mehr Funktionen ausprobieren.
Wählen Sie dies, wenn Sie ein leichtgewichtiges Sprachmodell möchten, das einfach zu integrieren und zu verwenden ist. Es ist perfekt für Entwickler, die ein einfaches, aber effektives KI-Backend benötigen.
Kostenlos
Für den Zugang zu LLMs für eine große Anzahl von Entwicklern und Projekten. Beinhaltet Enterprise-Support, benutzerdefinierte SLAs, JWT-Authentifizierung, SSO und Audit-Logs.
Keine Produkte verfügbar
