Método de Avaliação

Como ler o placar

Cada linha é uma configuração testada. A nota vai de 0 a 100 e é a média das 14 categorias. O número pequeno ao lado da nota (±) é a margem de erro, como nas pesquisas eleitorais: quando as margens de duas linhas se cruzam, a diferença entre elas não é conclusiva, e as duas dividem a mesma posição como empate técnico (1, 2, 2, 2, 5), marcadas pela régua à esquerda. Os quadradinhos são as 14 categorias, na ordem do mapa; hachurado quer dizer que aquela categoria não é oferecida. Em "Citação errada", a conta é de respostas com ao menos uma citação que não existe em nenhuma base oficial ou que existe com número, ano ou classe trocados, entre as respostas com citação conferida; o vermelho marca quem mais errou.

As perguntas

120 perguntas em 14 categorias de pesquisa, escritas para não favorecer nenhum produto. Cada uma tem uma rubrica com o que a resposta certa precisa trazer. Parte delas são armadilhas: número inexistente, premissa errada ou pedido que deve ser recusado.

Os modelos gerais

ChatGPT e Claude entram como referência: modelos gerais, sem conector nem base jurídica própria, no padrão de cada produto (o modelo que abre por padrão, a busca na web como vem, e memória, apps e conectores desligados). Mostram até onde uma IA de uso geral chega sem acesso direto às fontes jurídicas.

A coleta

Cada pergunta foi enviada uma vez, numa conversa nova, com o mesmo texto para todos. Vale a primeira resposta. Só houve nova tentativa por falha técnica.

Os juízes

Claude Opus 5.5, GPT-6 Astra e Muse Spark 1.3, modelos de três empresas diferentes, avaliaram cada um todas as respostas, sem saber de qual produto era cada uma. A nota vai de 0 a 100: correção, fontes, honestidade e utilidade. Vale a nota do meio entre os três: um juiz que destoe dos outros dois não mexe no resultado, e uma falha grave só pesa quando dois dos três a marcam. Concordância entre os juízes: 94% das respostas sem divergência.

Nesta rodada, dois juízes são da família de um candidato: o GPT-6 Astra julga o ChatGPT, e o Opus 5.5 julga o Claude, que responde com o mesmo modelo. O viés foi medido nas 120 perguntas: sem o GPT no painel, a média do ChatGPT cairia 1,7 ponto; sem o Opus, a do Claude subiria 0,3. O Opus também dá um pouco mais às respostas dos conectores MCP, escritas pelo Sonnet, da mesma família (+3,2 no viés medido). Vale a nota do meio entre os três, e essas diferenças ficam dentro das margens de erro.

As citações

As citações que as respostas afirmam (súmulas, temas repetitivos, leis, atos do CNJ, números de processo e acórdãos do STF e do STJ) foram procuradas nas bases oficiais, sem IA no meio. Nesta rodada, 5.270 das 5.789 citações afirmadas foram conferidas; as demais, como leis estaduais e municipais, estão fora do alcance das consultas oficiais ou ficaram sem resposta da base. A conferência diz se a citação existe e se número, ano e classe batem; se o conteúdo atribuído a ela está certo, quem avalia são os juízes. Citação que não existe, confirmada nessa conferência, zera a pergunta.

O que não oferece

Quando um produto não oferece uma categoria (diz que não tem acesso à fonte em 70% ou mais das perguntas dela, como Contratações Públicas para um conector de jurisprudência), a categoria aparece hachurada, mas entra na média com a nota que recebeu. Não vira zero, e também não sai da conta: a resposta que só indica onde consultar vale no máximo 35.

As rodadas

Cada rodada é publicada com data e fica no calendário, no alto da página. Esta é a de 30/09/2026, com respostas coletadas de 25 a 30/09/2026, e tem endereço fixo: bench.fideliajus.ai/r/2026-09-30. Uma rodada publicada não muda depois; as novas entram ao lado dela.

Nem todo produto é testado de novo a cada rodada. Se ele não mudou, as respostas podem vir da rodada anterior, desde que uma amostra de 14 perguntas, refeita, confirme o resultado; se não confirmar, o produto é testado por inteiro. Todas as respostas de uma rodada passam pelos mesmos juízes e, quando as datas de coleta forem diferentes, o placar mostra a de cada configuração.

Limites

É um teste de laboratório, com data. Os produtos mudam, e o resultado vale para a data indicada no rodapé. Nos conectores MCP, todos respondem pelo mesmo modelo em cada rodada (nesta, Claude Sonnet 5.5): ali se mede a camada de dados, não o produto inteiro, e uma troca de modelo entre rodadas vale para todos os conectores ao mesmo tempo.