SILVER

💪🏻Training a model from a scratch(모델을 처음부터 학습) : 정확도는 아주 느리게 올라가고 overfitting 될 가능성이 크다 trainable params, non-trainable params를 출력해보면 학습가능한 파라미터의 수가 훨씬 큼을 알 수 있다. 로스값은 1~4사이값에 있고 train accruacy 0.6, valid accruacy는 0.2수준에 머문다. from tensorflow.keras.applications import EfficientNetB0 with strategy.scope(): inputs = layers.Input(shape=(IMG_SIZE, IMG_SIZE, 3)) x = img_augmentation(inputs) outputs =..

최적화(optimization): train data에서 최고의 성능을 얻으려고 모델을 조정하는 과정( 옵티마이저가 한다) 일반화(Generalization): 훈련된 모델이 처음 보는 데이터에서 얼마나 잘 수행되는지를 의미 Overfitting epoch가 진행되면서 train loss는 계속 감소하지만 test loss는 증가하기 시작함. 모델이 너무 복잡함 Underfitting epoch가 진행될수록 train loss , test loss 가 모두 좋지 않음. 훈련 데이터에 특화된 패턴을 학습하기 시작하여 새로운 데이터에 대해서 잘못된 판단을 하는 경우 https://ysyblog.tistory.com/111 [Deep Learning][딥러닝] DNN 성능개선 Deep Neural Networ..

Bayesian Optimiation 불필요한 하이퍼 파라미터 반복 탐색을 줄여 보다 빠르게 최적 파이퍼 파라미터를 찾을 수 있다. 베이지안 최적화는 알려지지 않은 목적 함수를 최대(혹은 최소)로 하는 최적해를 찾는 기법이며, 본 알고리즘은 1)Surrogate 모델과 2)Acquisition 함수로 구성되어있다. (방법론적 배경) 전통적인 머신러닝 모델들은 튜닝하는데에 필요한 하이퍼파라미터의 수가 많지 않기 때문에 cross validaiton grid search를 통해 일반화 성능을 관찰하고 하이퍼파라미터를 결정하는 수가 많았지만, 최근 앙상블 계열이나 많이 사용하고 있는 딥러닝 모델들은 모델 자체의 학습시간이 길 뿐만 아니라 하이퍼파라미터의 수가 많기때문에 기존의 방법으로 search를 하기에는 ..

케라스 튜너에는 1. RandomSearch The basic and least efficient approach, Random Search doesn’t learn from previously tested hyperparameter combinations. It simply samples hyperparameter combinations from a search space randomly. 2. Hyperband Hyperband tuner is an optimized version of random search tuner which uses early-stopping to speed up the hyperparameter tuning process. The main idea is to fit a la..

같은 팬더 사진임에도 불구하고 긴팔원숭이라고 인식하도록 만든 noiise를 합성하게 되면 왼쪽의 그림의 팬더는 팬더로 인식하고, 오른쪽 그림의 팬더는 긴팔원숭이로 모델이 인식하게 된다. 오른쪽과 같은 샘플을 adversarial sample 이라고하고, 이러한 행위를 딥 네트워크가 인식하는 것을 방해하기 위한 행위라고 하여, adversarial attack 이라고 부릅니다. Adversarial sample에서 가장 중요한 사실은, 사람이 서로 차이를 인지하지 못할 만큼 비슷하게 생긴 두 샘플이 딥 네트워크의 시각에서는 서로 매우 다른 샘플일 수 있다는 점입니다. 또 한 가지 중요한 사실은, 이 sample들은 자연계에는 존재하기 어려운 샘플이며, 특정 목적을 가지고 인위적으로 생성할 때 비교적 쉽게 ..