← Voltar ao radar pergunta aberta
RAG genérico sem avaliação
Evitar prometer busca confiável enquanto não houver um conjunto de perguntas e respostas que meça a recuperação.
Uma demonstração de RAG pode parecer convincente mesmo quando recupera o trecho errado. Sem perguntas de referência, a equipe não sabe se uma mudança melhorou o sistema ou apenas mudou a aparência da resposta.
O próximo passo vem antes da arquitetura: escolher exemplos reais e definir o que conta como resposta suficiente.
Quais cinco perguntas não podem falhar no seu caso de uso?
Responder nas Discussões histórico da decisão
- Evitar por enquanto
Registro inicial recomenda pausar o uso até existir um conjunto de avaliação do domínio.