Weaknesses of type CWE-1039
3 resultsDetecção inadequada de perturbações adversariais em mecanismos de reconhecimento automatizado
A fraqueza ocorre quando um sistema de reconhecimento automático (visão computacional, classificação, detecção) não detecta ou não trata adequadamente entradas maliciosamente modificadas (adversarial inputs). Pequenas perturbações imperceptíveis ou mudanças sutis na entrada podem enganar o modelo e fazer com que ele classifique incorretamente, compromitendo a segurança da aplicação que depende desse reconhecimento.
Um sistema de reconhecimento facial usado em controle de acesso aceita uma foto ligeiramente distorcida ou com ruído adicionado (imperceptível ao olho humano) que engana o modelo e libera acesso para pessoa não autorizada. Ou um sistema de detecção de objetos em veículos autônomos falha ao reconhecer placas de trânsito que foram sutilmente modificadas.
Implemente validação robusta do modelo através de testes adversariais durante desenvolvimento; use técnicas de hardening como treinamento adversarial, ensemble de modelos e detecção de anomalias na entrada; estabeleça salvaguardas humanas quando a confiança do modelo for baixa ou comportamento anômalo for detectado.