Falhas do tipo CWE-1426
3 resultadosValidação inadequada de saída de IA generativa
Fraqueza onde a aplicação confia cegamente em conteúdo gerado por modelos de IA (LLM, GPT, etc.) sem validar, sanitizar ou verificar se o resultado é correto, seguro ou consistente com o contexto esperado. O modelo pode gerar SQL injeção, XSS, instruções malformadas ou informações falsas que são passadas adiante como se fossem confiáveis.
Um chatbot corporativo usa GPT para gerar queries SQL baseadas em perguntas do usuário e executa diretamente no banco de dados sem validação. O modelo gera uma query com injeção SQL, que é executada com privilégios da aplicação, comprometendo dados sensíveis.
Sempre validar, sanitizar e testar saída de IA: parse estruturado (JSON schema), blocklist de padrões perigosos, execution em sandbox, verificação de senso (confrontar com dados esperados) e limitar permissões de execução (least privilege). Nunca passar output de IA diretamente para comando SQL, shell ou template sem tratamento.