Weaknesses of type CWE-1426
3 resultsValidação inadequada de saída de IA generativa
A aplicação confia cegamente na saída de um modelo de IA generativa (LLM, gerador de imagem, etc.) sem validar, sanitizar ou verificar se o conteúdo é correto, seguro ou alinhado com a política da empresa. Isso permite injeção de conteúdo malicioso, informações falsas, código vulnerável ou dados sensíveis que o modelo reproduz, contaminando toda a cadeia de dependentes.
Um chatbot corporativo usa GPT para gerar código SQL dinamicamente. O modelo, após ser envenenado ou instruído indiretamente, injeta um DROP TABLE no código que a aplicação executa sem validação. Ou um sistema gera URLs baseadas em resposta de LLM e um atacante consegue induzir um redirecionamento para malware.
Implemente camadas de validação: (1) sempre sanitize e valide a saída antes de usar em contextos sensíveis (SQL, URLs, caminho de arquivos); (2) verifique se o conteúdo atende políticas de segurança e compliance; (3) use modelos em modo restrito, com exemplos de saída esperada (few-shot) e constraint enforcers; (4) implemente testes automatizados de adversarial prompt injection no pipeline de deployment.