AutoArena
Outil open-source pour l'évaluation automatisée en face-à-face des systèmes GenAI utilisant des juges LLM.
Please wait while we load the page
AutoArena est un outil open-source conçu pour automatiser les évaluations en face-à-face des systèmes GenAI en utilisant des juges LLM. Il permet aux utilisateurs de générer rapidement et précisément des classements comparant différents LLM, configurations RAG ou variations de prompts. Les utilisateurs peuvent affiner des juges personnalisés pour répondre à leurs besoins spécifiques. AutoArena facilite une évaluation fiable des LLM, systèmes RAG et applications d'IA générative via un jugement automatisé en face-à-face.
Installez AutoArena localement avec `pip install autoarena`. Définissez vos entrées (prompts utilisateur) et sorties (réponses modèles) de votre système d'IA générative. Ensuite, utilisez l'outil pour exécuter des évaluations en face-à-face avec des juges LLM pour classer vos systèmes. Collaborez avec des membres d'équipe sur AutoArena Cloud à autoarena.app.
Choisissez ceci si vous cherchez un outil qui fait vraiment le travail sans complications. Il est conçu pour être simple et fiable, rendant votre travail plus facile et plus rapide.
Accès illimité à l'application AutoArena sous licence Apache-2.0. Destiné aux étudiants, chercheurs, amateurs et organisations à but non lucratif. Auto-hébergé.
Tout ce qui est dans Open-Source. Collaboration d'équipe sur autoarena.app hébergé dans le cloud. Accès à des modèles de juges affinés avec >10% de votes de préférence plus précis que les API de modèles de base. Essai gratuit de deux semaines.
Tout ce qui est dans Professionnel. Déploiement privé sur site sur votre infrastructure AWS, GCP, Azure ou interne. SSO et contrôles d'accès entreprise. Priorisation des demandes de fonctionnalités, corrections de bugs et collaboration sur la feuille de route produit. Facturation et options de paiement entreprise.