Todo mundo que colocou um agente de IA para codificar já viu isso:
Feito! Implementei o cache, os testes passaram, pode subir.
Você abre o diff. O cache não tem invalidação. Os testes passaram porque um deles
está com assert True. E a função que "passou" nunca foi chamada no caminho real.
O agente não mentiu de propósito. Ele otimizou para a frase que encerra a tarefa.
Enquanto o critério de "pronto" for o próprio agente dizendo que está pronto, você
não tem verificação, tem opinião com fonte suspeita.
O que eu mudo: quem escreve não é quem certifica
O arranjo que funciona é chato e pequeno:
- Builder, o agente que escreve o código. Ele não dá nota para o próprio trabalho.
- Critic, um segundo processo (outro prompt, outro modelo, outro contexto) que recebe só o artefato e os critérios, e devolve uma nota de 0 a 100 com a evidência que sustenta a nota.
- Gate, um número. Abaixo do threshold, não entrega. Sem negociação, sem "mas dessa vez é simples".
O detalhe que faz diferença não é a nota. É a evidência: cada ponto perdido tem
que apontar para um arquivo, um comando, uma saída. Nota sem evidência é crítica
decorativa, e crítica decorativa é pior que nenhuma, porque dá sensação de cobertura.
O teste que eu rodo para saber se o gate é real
Montei de propósito um projeto com dois problemas plantados: uma chave de API
escrita dentro do código e uma suíte de testes que cobre só parte do que o programa
faz. Rodei o loop.
FAIL secret-scan w=60.0 0.0s token sk-abc123
FAIL cobertura w=40.0 0.0s cobertura 41pct
SCORE=0.0 THRESHOLD=85.0 GATE=failed (round 1/8)
EVIDENCE=/tmp/atl/loop-report-r1.json
Nota 0 de 100, entrega reprovada, relatório gravado. É exatamente esse o resultado
esperado num projeto doente. No projeto saudável, o mesmo loop dá nota alta e libera.
O teste que importa para o seu gate é este: plante uma falha e veja se ele
reprova. Gate que nunca falhou não é gate, é enfeite com log.
Onde isso costuma quebrar na vida real
- O gate que olha o texto do agente. Se o critério é "o agente disse que passou", você está medindo eloquência.
-
O teste que passa por ausência.
pytest -qverde com 0 testes coletados é o verde mais comum e o mais caro. - A métrica que só sobe. Cobertura de 41% lida como "quase lá" há três meses.
- O segredo no código. Aparece em log, em print de erro, em repositório público , e nenhum teste falha por isso, a menos que exista um passo que procure.
Nenhum desses é problema de modelo. É problema de contrato de entrega.
Como testar em 10 minutos, sem pagar nada
Peguei o loop que eu uso e publiquei a skill aberta: passo a passo, referências e os
scripts, com o mesmo caso de teste que usei acima.
Series start (if you landed here first): https://dev.to/samuelfmedeiros/your-agent-said-it-works-that-is-an-opinion-not-a-result-2hp5
- Skill gratuita e o comando de instalação: https://skills.seu.pet/p/ai-test-loop
- Repositório: https://github.com/Samuelfmedeiros/ai-test-loop
Roda contra qualquer agente que execute comandos. Se o seu loop não reprova um projeto
com falha plantada, você descobriu isso hoje e não em produção.
Se você não quer montar isso sozinho
Montar o gate é fácil. O que consome tempo é calibrar os pesos, cobrir o que o seu
projeto realmente faz, ligar no CI e convencer o time de que "85" é um número e não
um clima.
Eu instalo isso no seu projeto em um dia útil: gate com nota, evidência por ponto e
guardas no CI (teste de IA e diff visual). O primeiro ciclo roda junto com o seu time,
no seu código.
- Setup guiado, R$ 1.500: instalação e configuração de até 2 skills em 1 projeto, com o primeiro ciclo rodando ao vivo e o registro de como repetir.
- Setup + time, R$ 3.000: o anterior, mais 2 sessões de 1h com o time, guardas no seu CI e 30 dias de suporte por e-mail, até 3 projetos.
- Diagnóstico, R$ 490: mapeio o processo que dói, digo o que vale automatizar e o que não vale. Abatido do projeto se você seguir.
Escopo, o que não entra e o que acontece depois do primeiro mês estão escritos na
página, sem letra miúda: https://skills.seu.pet/servico?utm_source=devto&utm_medium=artigo&utm_campaign=servico-validacao&utm_content=ai-test-loop
Se o seu caso for outro (atendimento que perde contato, planilha que ninguém confia),
a conversa de 30 minutos é gratuita e eu digo se nenhuma dessas coisas resolve o seu
problema. Dizer "não resolve" também faz parte do serviço.
O resumo que eu queria que alguém tivesse me dado antes: pare de perguntar ao agente
se ele terminou. Coloque um número entre o agente e o deploy, e faça a evidência
apontar para o arquivo. O resto é ajuste.
Top comments (0)