SMOTE for imbalanced image dataset

imbalance 배치를 만들어서 학습을 시키는 와중, gpu 1장으로 다 돌아가지 않아서 OOM메모리 에러가 발생헀다.. 

 

다른 해결 방법을 찾아야겠다. 

 

SMOTE 방법  !

 

일단 image imbalanced data 문제에서 해결방법은 4가지로 볼 수 있다. 

 

1. class weight 접근법

2. under-sampling 접근법

3. data augmentation for minority 클래스

4. Synthetic Minority Over-sampling Technique(SMOTE)

 

클래스 웨이트 접근방법의 경우는 마지막의 계산 부분에서 weight를 주는 것이기 때문에 이번 방법에는 제외하고 나머지 방법을 써서 해보겠다. 

 

SMOTE는 Oversampling technique로 minority 클래스에 대해서 synthetic sample을 발생시키는 방법이다. 

영어의 정의를 그대로 가져오면 

''By definition SMOTE is an oversampling technique that generates synthetic samples from the minority class.''

 

class-balanced or nearly class-balanced training set 을 만드는 역할을 한다. 

 

SMOTE는 단순한 오버샘플링보다 더 성능이 잘나오는 것으로 알려져있는데, images에서는 주로 사용을 많이 안하고 structured data 구조적인 데이터에서 주로 사용되는 방법이다. 

 

https://medium.com/swlh/how-to-use-smote-for-dealing-with-imbalanced-image-dataset-for-solving-classification-problems-3aba7d2b9cad