AutoArena
Ferramenta de código aberto para avaliação automatizada cara a cara de sistemas GenAI usando juízes LLM.
Please wait while we load the page
AutoArena é uma ferramenta de código aberto concebida para automatizar avaliações diretas de sistemas GenAI usando juízes LLM. Permite aos utilizadores gerar rapidamente e com precisão classificações comparando diferentes LLMs, configurações RAG ou variações de prompts. Os utilizadores podem ajustar juízes personalizados para satisfazer as suas necessidades específicas. O AutoArena facilita uma avaliação confiável de LLMs, sistemas RAG e aplicações de IA generativa através de julgamento automatizado direto.
Instale o AutoArena localmente usando `pip install autoarena`. Defina as suas entradas (prompts do utilizador) e saídas (respostas do modelo) do seu sistema de IA Generativa. Depois, use a ferramenta para realizar avaliações diretas com juízes LLM para classificar os seus sistemas. Colabore com membros da equipa na AutoArena Cloud em autoarena.app.
Escolha isto se procura uma ferramenta que realmente faz o trabalho sem complicações. Foi construída para ser simples e fiável, tornando o seu trabalho mais fácil e rápido.
Acesso irrestrito à aplicação AutoArena licenciada sob Apache-2.0. Destinado a estudantes, investigadores, entusiastas e organizações sem fins lucrativos. Auto-hospedado.
Tudo o que está no Código Aberto. Colaboração em equipa na cloud autoarena.app. Acesso a modelos juízes ajustados com votos de preferência >10% mais precisos do que APIs de modelos base. Teste gratuito de duas semanas.
Tudo o que está no Profissional. Implementação privada on-premise na sua infraestrutura AWS, GCP, Azure ou interna. SSO e controlos de acesso empresariais. Prioridade em pedidos de funcionalidades, correções de bugs e colaboração no roadmap do produto. Opções de fatura e pagamento empresariais.
Nenhum produto disponível