Fallos del tipo CWE-1426
3 resultadosValidação inadequada de saída de IA generativa
É a falha em validar, sanitizar ou verificar o conteúdo gerado por modelos de IA (como LLMs) antes de usá-lo em contextos sensíveis. O modelo pode produzir dados malformados, enganosos ou injetáveis que o aplicativo processa como confiável, causando execução de código, exposição de dados ou comportamento não intencional.
Um chatbot integrado ao sistema gera um comando SQL baseado em entrada do usuário. Se o app executa direto a saída do modelo sem validação, um prompt bem crafted faz o modelo gerar um SQL injection que compromete o banco de dados. Outro caso: um prompt que induz o modelo a retornar senhas ou tokens que o app então armazena ou transmite.
Sempre valide, sanitize e limite a saída de modelos IA: verifique sintaxe, tamanho, caracteres permitidos; use templates ou validação de esquema; nunca execute comandos diretos (SQL, shell, etc.) sem parameterização; aplique rate limits e monitoramento de comportamentos anômalos da IA; considere sandboxing da saída. Trate modelos generativos como entrada não confiável.