Fallos del tipo CWE-1039
3 resultadosDetecção inadequada de perturbações adversariais em mecanismos de reconhecimento automatizado
A fraqueza ocorre quando um sistema de reconhecimento automatizado (visão computacional, reconhecimento de voz, classificação de imagens) não detecta ou não lida adequadamente com entradas ligeiramente modificadas de forma adversarial. Um atacante pode manipular dados de entrada (imagens com ruído, áudio distorcido) de forma a enganar o modelo, fazendo-o classificar incorretamente sem que o sistema identifique a manipulação.
Um sistema de reconhecimento facial treinado não detecta quando uma imagem foi sutilmente alterada por um algoritmo adversarial, permitindo que uma foto modificada seja aceita como autêntica. Ou um modelo de detecção de malware classifica um executável como legítimo após pequenas perturbações nos bytes, pois não foi treinado para detectar essas modificações.
Implemente validação robusta dos modelos contra perturbações adversariais (teste com adversarial examples durante desenvolvimento), adicione camadas de detecção que identifiquem inconsistências ou anomalias nas entradas, e use técnicas como adversarial training ou input sanitization para aumentar a resiliência do sistema.