adversarial sample

 

같은 팬더 사진임에도 불구하고 긴팔원숭이라고 인식하도록 만든 noiise를 합성하게 되면 왼쪽의 그림의 팬더는 팬더로 인식하고, 오른쪽 그림의 팬더는 긴팔원숭이로 모델이 인식하게 된다. 오른쪽과 같은 샘플을 adversarial sample 이라고하고, 이러한 행위를 딥 네트워크가 인식하는 것을 방해하기 위한 행위라고 하여, adversarial attack 이라고 부릅니다.

 

Adversarial sample에서 가장 중요한 사실은, 사람이 서로 차이를 인지하지 못할 만큼 비슷하게 생긴 두 샘플이 딥 네트워크의 시각에서는 서로 매우 다른 샘플일 수 있다는 점입니다. 또 한 가지 중요한 사실은, 이 sample들은 자연계에는 존재하기 어려운 샘플이며, 특정 목적을 가지고 인위적으로 생성할 때 비교적 쉽게 얻을 수 있다는 사실입니다. 이 점들을 종합해보면, 학습하는 과정에서 필요한 경우, adversarial sample을 다수 만들어낼 수 있음을 알 수 있습니다.

 

 

 

 

https://blog.mathpresso.com/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%88%EA%B7%A0%ED%98%95%EC%97%90-%EB%8C%80%EC%9D%91%ED%95%98%EA%B8%B0-2-83173db9d45a

데이터 불균형에 대응하기 — 2