Channel Height Weight Nums Batch Norm 배치 단위로 정규화하는 것으로 batch 의 크기에 영향을 많이 받는다. 데이터를 정규화하게 되면 활성화 함수의비선형과 같은 특징을 잃게 되는데 이러한 문제를 완화하기 위해 shift와 scale을 사용한다. (비선형의 성질을 보존하기 위함) Layer Norm 입력 데이터의 (1회) 반복마다 평균과 표준편차를 구한다. 하나의 이미지에서 동작하며, 평균/분산이 다른 데이터와 독립적으로 계산된다. Instance Norm 각 훈련 이미지의 각 채널에 대한 평균/분산을 계산한다. Style Transfer를 위해 고안된 방법이기 때문에 style transfer에서 배치 정규화를 대체하여 많이 사용하고 GANs에서 배치 정규화를 대체하여 사..
