Benchmark

Um teste às cegas de assistentes de IA para a advocacia: 120 perguntas do dia a dia jurídico, em 14 categorias de pesquisa, feitas a 9 configurações de 7 produtos. Todas as respostas estão abertas para conferência.

As notas vêm de três modelos de empresas diferentes, Claude Opus 5.5, GPT‑6 Astra e Muse Spark 1.3, que avaliaram cada resposta sem saber de qual produto era. Vale a nota do meio entre os três, e as citações foram conferidas nas bases oficiais.

perguntas: 120; perguntas
categorias de pesquisa: 14; categorias de pesquisa
juízes às cegas: 3; juízes às cegas
respostas avaliadas: 1.080; respostas avaliadas
citações conferidas: 5.270; citações conferidas
snapshot: 30/09/26; snapshot

Nota geral

Nota média nas 14 categorias, de 0 a 100.

Placar geral, em ordem de nota
#	Configuração	Nota	Cobertura	Citação errada	Admite limites	Por categoria
1	Fidelia Aprofundado web coletado em 27/09	82 ±3	14 de 14	nenhuma	91%	Jurisprudência: 85 Legislação: 90 Consulta Processual: 57 Doutrina: 77 Atos do CNJ: 87 Portais Oficiais: 96 Conferência de Citação: 85 Jurimetria: 66 Normas Regulatórias: 86 Publicações e Intimações: 83 Índices Oficiais: 92 Consulta Empresarial: 82 Contratações Públicas: 80 Marcas e Patentes: 83
1	Fidelia Rápido web coletado em 27/09	80 ±3	14 de 14	nenhuma	97%	Jurisprudência: 81 Legislação: 84 Consulta Processual: 62 Doutrina: 76 Atos do CNJ: 83 Portais Oficiais: 84 Conferência de Citação: 83 Jurimetria: 72 Normas Regulatórias: 83 Publicações e Intimações: 81 Índices Oficiais: 92 Consulta Empresarial: 80 Contratações Públicas: 79 Marcas e Patentes: 76
1	Fidelia MCP conector + Claude Sonnet 5.5 coletado em 29/09	77 ±3	14 de 14	nenhuma	94%	Jurisprudência: 77 Legislação: 80 Consulta Processual: 60 Doutrina: 73 Atos do CNJ: 76 Portais Oficiais: 86 Conferência de Citação: 76 Jurimetria: 69 Normas Regulatórias: 79 Publicações e Intimações: 77 Índices Oficiais: 91 Consulta Empresarial: 82 Contratações Públicas: 80 Marcas e Patentes: 75
4	ChatGPT modelo geral, sem conector jurídico coletado de 29 a 30/09	70 ±2	14 de 14	nenhuma	75%	Jurisprudência: 73 Legislação: 86 Consulta Processual: 45 Doutrina: 69 Atos do CNJ: 91 Portais Oficiais: 82 Conferência de Citação: 92 Jurimetria: 72 Normas Regulatórias: 86 Publicações e Intimações: 36 Índices Oficiais: 89 Consulta Empresarial: 71 Contratações Públicas: 62 Marcas e Patentes: 30
5	Claude modelo geral, sem conector jurídico coletado em 30/09	65 ±3	12 de 14	nenhuma	75%	Jurisprudência: 65 Legislação: 73 Consulta Processual: 54 Doutrina: 61 Atos do CNJ: 82 Portais Oficiais: 90 Conferência de Citação: 77 Jurimetria: 59 Normas Regulatórias: 70 Publicações e Intimações: 45, não oferece Índices Oficiais: 82 Consulta Empresarial: 65 Contratações Públicas: 44 Marcas e Patentes: 35, não oferece
6	JusRatio MCP conector + Claude Sonnet 5.5 coletado em 29/09	58 ±4	8 de 14	1 em cada 75	94%	Jurisprudência: 85 Legislação: 81 Consulta Processual: 47, não oferece Doutrina: 73 Atos do CNJ: 53 Portais Oficiais: 51 Conferência de Citação: 89 Jurimetria: 35, não oferece Normas Regulatórias: 75 Publicações e Intimações: 47, não oferece Índices Oficiais: 65 Consulta Empresarial: 40, não oferece Contratações Públicas: 37, não oferece Marcas e Patentes: 34, não oferece
7	MinutaIA web coletado de 25 a 26/09	49 ±3	10 de 14	nenhuma	63%	Jurisprudência: 61 Legislação: 85 Consulta Processual: 38, não oferece Doutrina: 47 Atos do CNJ: 65 Portais Oficiais: 43 Conferência de Citação: 78 Jurimetria: 26 Normas Regulatórias: 72 Publicações e Intimações: 39, não oferece Índices Oficiais: 61 Consulta Empresarial: 25, não oferece Contratações Públicas: 21, não oferece Marcas e Patentes: 31
7	Jus IA web coletado em 29/09	48 ±3	11 de 14	nenhuma	63%	Jurisprudência: 59 Legislação: 71 Consulta Processual: 35, não oferece Doutrina: 54 Atos do CNJ: 44 Portais Oficiais: 47 Conferência de Citação: 74 Jurimetria: 28 Normas Regulatórias: 64 Publicações e Intimações: 42, não oferece Índices Oficiais: 60 Consulta Empresarial: 37 Contratações Públicas: 26, não oferece Marcas e Patentes: 32
7	Jusfy web coletado de 25 a 26/09	47 ±4	12 de 14	nenhuma	53%	Jurisprudência: 56 Legislação: 43 Consulta Processual: 36, não oferece Doutrina: 51 Atos do CNJ: 49 Portais Oficiais: 52 Conferência de Citação: 71 Jurimetria: 34 Normas Regulatórias: 53 Publicações e Intimações: 39, não oferece Índices Oficiais: 69 Consulta Empresarial: 46 Contratações Públicas: 31 Marcas e Patentes: 31

Por tipo de pergunta

O que explica a nota: fazer o que foi pedido, acertar o dado exato, admitir quando não sabe e combinar fontes diferentes.

Nota de cada configuração por tipo de pergunta
Configuração	Faz o que foi pedido	Acerta o dado exato	Admite limites nas armadilhas	Cruza diferentes fontes
Fidelia Aprof.Fidelia Aprofundado	80	87	78	84
Fidelia RápidoFidelia Rápido	77	84	79	74
Fidelia MCPFidelia MCP	71	81	78	78
ChatGPTChatGPT	68	79	71	82
ClaudeClaude	64	66	69	75
JusRatio MCPJusRatio MCP	57	71	71	75
MinutaIAMinutaIA	49	62	57	60
Jus IAJus IA	44	57	58	56
JusfyJusfy	47	45	54	56

Por categoria

Clique numa categoria para ver o placar dela e as perguntas.

Nota de cada configuração por categoria
Configuração	Jurisp.	Legislação	Consulta Processual	Doutrina	Atos CNJ	Portais	Conf. Citação	Jurimetria	Normas Regulatórias	Publicações	Índices	Consulta Empresarial	Contratações Públicas	Marcas e Patentes
Fidelia Aprof.Fidelia Aprofundado	85	90	57	77	87	96	85	66	86	83	92	82	80	83
Fidelia RápidoFidelia Rápido	81	84	62	76	83	84	83	72	83	81	92	80	79	76
Fidelia MCPFidelia MCP	77	80	60	73	76	86	76	69	79	77	91	82	80	75
ChatGPTChatGPT	73	86	45	69	91	82	92	72	86	36	89	71	62	30
ClaudeClaude	65	73	54	61	82	90	77	59	70	45	82	65	44	35
JusRatio MCPJusRatio MCP	85	81	47	73	53	51	89	35	75	47	65	40	37	34
MinutaIAMinutaIA	61	85	38	47	65	43	78	26	72	39	61	25	21	31
Jus IAJus IA	59	71	35	54	44	47	74	28	64	42	60	37	26	32
JusfyJusfy	56	43	36	51	49	52	71	34	53	39	69	46	31	31