Método de Avaliação

Como ler o placar

Cada linha é uma configuração testada. A nota vai de 0 a 100 e é a média das 14 categorias. O número pequeno ao lado da nota (±) é a margem de erro, como nas pesquisas eleitorais: quando as margens de duas linhas se cruzam, a diferença entre elas não é conclusiva, e as duas dividem a mesma posição como empate técnico (1, 2, 2, 2, 5), marcadas pela régua à esquerda. Os quadradinhos são as 14 categorias, na ordem do mapa; hachurado quer dizer que aquela categoria não é oferecida. Em "Citação errada", a conta é de respostas com ao menos uma citação que não existe em nenhuma base oficial ou que existe com número, ano ou classe trocados, entre as respostas com citação conferida; o vermelho marca quem mais errou.

As perguntas

120 perguntas em 14 categorias de pesquisa, escritas para não favorecer nenhum produto. Cada uma tem uma rubrica com o que a resposta certa precisa trazer. Parte delas são armadilhas: número inexistente, premissa errada ou pedido que deve ser recusado.

A coleta

Cada pergunta foi enviada uma vez, numa conversa nova, com o mesmo texto para todos. Vale a primeira resposta. Só houve nova tentativa por falha técnica.

Os juízes

Claude Opus 5.5, GPT-6 Astra e Muse Spark 1.3, modelos de três empresas diferentes, avaliaram cada um todas as respostas, sem saber de qual produto era cada uma. A nota vai de 0 a 100: correção, fontes, honestidade e utilidade. Vale a nota do meio entre os três: um juiz que destoe dos outros dois não mexe no resultado, e uma falha grave só pesa quando dois dos três a marcam. Concordância entre os juízes: 94% das respostas sem divergência.

As citações

As citações que as respostas afirmam (súmulas, temas repetitivos, leis, atos do CNJ, números de processo e acórdãos do STF e do STJ) foram procuradas nas bases oficiais, sem IA no meio. Nesta rodada, 4.435 das 4.858 citações afirmadas foram conferidas; as demais, como leis estaduais e municipais, estão fora do alcance das consultas oficiais ou ficaram sem resposta da base. A conferência diz se a citação existe e se número, ano e classe batem; se o conteúdo atribuído a ela está certo, quem avalia são os juízes. Citação que não existe, confirmada nessa conferência, zera a pergunta.

O que não oferece

Quando um produto não oferece uma categoria (diz que não tem acesso à fonte em 70% ou mais das perguntas dela, como Contratações Públicas para um conector de jurisprudência), a categoria aparece hachurada, mas entra na média com a nota que recebeu. Não vira zero, e também não sai da conta: a resposta que só indica onde consultar vale no máximo 35.

As rodadas

Cada rodada é publicada com data e fica no calendário, no alto da página. Esta é a de 28/09/2026, com respostas coletadas de 25 a 27/09/2026, e tem endereço fixo: bench.fideliajus.ai/r/2026-09-28. Uma rodada publicada não muda depois; as novas entram ao lado dela.

Recálculo. Nota geral recalculada em 30/09/2026 com a regra adotada nesse dia: média das 14 categorias com a nota real de cada uma. Na publicação, a média usava só as categorias que cada configuração oferece. As respostas e as notas de cada pergunta não mudaram.

Nem todo produto é testado de novo a cada rodada. Se ele não mudou, as respostas podem vir da rodada anterior, desde que uma amostra de 14 perguntas, refeita, confirme o resultado; se não confirmar, o produto é testado por inteiro. Todas as respostas de uma rodada passam pelos mesmos juízes e, quando as datas de coleta forem diferentes, o placar mostra a de cada configuração.

Limites

É um teste de laboratório, com data. Os produtos mudam, e o resultado vale para a data indicada no rodapé. Nos conectores MCP, todos respondem pelo mesmo modelo em cada rodada (nesta, Claude Sonnet 5): ali se mede a camada de dados, não o produto inteiro, e uma troca de modelo entre rodadas vale para todos os conectores ao mesmo tempo.