LiteLLM
LiteLLM：OpenAI形式で100以上のLLMを管理・アクセスするためのLLMゲートウェイ。
LiteLLM 紹介
とは何か LiteLLM?
LiteLLMはOpenAI形式を維持しつつ、100以上のLLMの認証、負荷分散、支出追跡を管理するLLMゲートウェイ（OpenAIプロキシ）です。OpenAI、Azure、Cohere、Anthropic、Replicate、GoogleなどのLLM APIの利用を簡素化し、一貫した出力と例外処理、ログ記録とエラートラッキングを提供します。コスト追跡、バッチAPI、ガードレール、モデルアクセス、予算管理、LLM可観測性、レート制限、プロンプト管理、S3ログ、パススルーエンドポイントなどの機能があります。
使い方 LiteLLM?
chatGPT形式のcompletion(model, messages)でLLM APIを呼び出してLiteLLMを使用します。すべてのLLM APIで一貫した出力と例外を提供します。LiteLLMはオープンソースで展開可能で、より多機能なLiteLLM Enterpriseも利用可能です。
選ぶ理由 LiteLLM?
軽量で統合と使用が簡単な言語モデルを求めているならこれを選んでください。シンプルで効果的なAIバックエンドが必要な開発者に最適です。
LiteLLM 特徴
AI API
- ✓100以上のLLM用ゲートウェイ
- ✓OpenAI互換API
- ✓コスト追跡と予算管理
- ✓LLMフォールバック
- ✓負荷分散
- ✓レート制限
- ✓プロンプト管理
- ✓ログ記録とエラートラッキング
よくある質問?
価格
オープンソース
0ドル
無料
エンタープライズ
価格はお問い合わせ
多数の開発者とプロジェクトにLLMアクセスを提供。エンタープライズサポート、カスタムSLA、JWT認証、SSO、監査ログを含む。
LiteLLM タグ
評価を選択
