Falhas do tipo CWE-1039
3 resultadosDetecção inadequada de perturbações adversariais em sistemas de reconhecimento automático
É a falha de um sistema de reconhecimento automático (visão computacional, processamento de áudio, etc.) em detectar ou neutralizar entradas intencionalmente modificadas para enganar o modelo. Um atacante introduz pequenas perturbações — imperceptíveis ao humano — que fazem o sistema classificar errado, comprometendo a confiabilidade da decisão automatizada.
Um sistema de detecção facial em câmeras de segurança recebe uma imagem de rosto com ruído adversarial calculado; o modelo falha em reconhecer a pessoa correta ou aceita um impostor. Ou um filtro de áudio em call center não detecta que a voz foi ligeiramente alterada por adversário para burlar autenticação.
Implemente validação robusta do modelo contra perturbações (treine com exemplos adversariais, use técnicas de defesa como normalização e detecção de anomalias de entrada). Combine o modelo com verificações adicionais (fallback manual, checks de coerência) e monitore desvios anormais nas taxas de acerto para alertar sobre possíveis ataques em tempo real.