Tensorflow Weight Initializer

 

 

 

 

평균 0, 분산 1 weight initialization 방법 

weight_init = tf.keras.initializaers.RandomNormal()

 

Xavier Initialization (평균 0, 분산 2/Channel_in + Channel_out)으로 구성된 분포로 random한 weight 초기화 방법)

weight_init = tf.keras.initializaers.glorot_uniform()

He initialization 

weight_init = tf.keras.initializaers.he_uniform()

 

 

케라스 레이어의 initial random weight 설정하는 방식 

보통은 kernel initializer/ bias_initializer를 사용한다. 

 

model.add(Dense(64,
                kernel_initializer='random_uniform',
                bias_initializer='zeros'))

<사용하는 방법 >

RandomUniform 

keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

균등분포에 따라 텐서를 생성하는 초기값 설정기이다. 

 

minval : 난수 값 생성할 범위의 하한선, maxval: 난수값 생성할 범위의 상한선

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

출처 :https://studyeong.blogspot.com/2020/02/tensorflow-2-5-weight-initialization.html

[Tensorflow] 2-6. Weight Initialization

 

https://keras.io/ko/initializers/

Initializers - Keras Documentation