オートアリーナ
LLMジャッジを使用したGenAIシステムの自動対決評価のためのオープンソースツール。
オートアリーナ 紹介
とは何か オートアリーナ?
AutoArenaはLLMジャッジを用いてGenAIシステムの対決評価を自動化するオープンソースツールです。異なるLLM、RAG設定、プロンプトの比較リーダーボードを迅速かつ正確に生成できます。カスタムジャッジのファインチューニングも可能で、信頼性の高い評価を支援します。
使い方 オートアリーナ?
`pip install autoarena`でローカルにインストールし、生成AIシステムの入力（ユーザープロンプト）と出力（モデル応答）を定義します。LLMジャッジを使って対決評価を実行し、システムをランク付けします。AutoArena Cloud（autoarena.app）でチームと協力も可能です。
選ぶ理由 オートアリーナ?
手間なく確実に仕事をこなすツールを探しているならこれを選んでください。シンプルで信頼性が高く、作業をより簡単かつ迅速にします。
オートアリーナ 特徴
AI Developer Tools
- ✓LLMジャッジによる自動対決評価
- ✓LLM、RAG設定、プロンプト比較のリーダーボード生成
- ✓カスタムジャッジのファインチューニング
- ✓Eloスコアと信頼区間計算
- ✓GitHubとのCI/CD連携
- ✓並列化、ランダム化、レート制限対応
よくある質問?
価格
オープンソース
無料
Apache-2.0ライセンスのAutoArenaアプリケーションに無制限アクセス。学生、研究者、趣味者、非営利向け。セルフホスト型。
プロフェッショナル
ユーザーあたり月額60ドル
オープンソースの全機能。クラウドホストのautoarena.appでチームコラボレーション。基礎モデルAPIより10%以上精度の高いファインチューニング済みジャッジモデル利用可能。2週間無料トライアル。
エンタープライズ
お問い合わせ
プロフェッショナルの全機能。AWS、GCP、Azure、社内インフラでのプライベートオンプレミス展開。SSOと企業向けアクセス制御。優先的な機能要望、バグ修正、製品ロードマップ協力。企業向け請求・支払いオプション。
オートアリーナ タグ
評価を選択
