Group Normalization vs Batch Normalization

 

Channel Height Weight Nums

 

Batch Norm

배치 단위로 정규화하는 것으로 batch 의 크기에 영향을 많이 받는다.

데이터를 정규화하게 되면 활성화 함수의비선형과 같은 특징을 잃게 되는데 이러한 문제를 완화하기 위해 shift와 scale을 사용한다. (비선형의 성질을 보존하기 위함)

 

 

Layer Norm

입력 데이터의 (1회) 반복마다 평균과 표준편차를 구한다. 

 

 

Batch Normalization vs Layer Normalization 

하나의 이미지에서 동작하며, 평균/분산이 다른 데이터와 독립적으로 계산된다. 

 

 

Instance Norm

각 훈련 이미지의 각 채널에 대한 평균/분산을 계산한다. Style Transfer를 위해 고안된 방법이기 때문에 style transfer에서 배치 정규화를 대체하여 많이 사용하고 GANs에서 배치 정규화를 대체하여 사용된다. 

 

Group Norm

레이어 정규화와 인스턴스 정규화의 중간쯤의 성격으로 채널을 그룹지어 그룹단위로 정규화하는 방법이다. 즉 입력데이터에 대해 각각의 채널을 그룹으로 나누고 이 그룹을 기준으로 평균과 표준편차를 계산하여 정규화한다. 따라서 배치 크기와는 상관없이 동작한다. 

 

 

 

 

 

 

 

 

출처 :https://a292run.tistory.com/entry/Different-Types-of-Normalization-in-Tensorflow-1,https://umbum.dev/223