Deep learning/Error 8

Keras Tuner hyperband only trains 2 epochs

아니 학습이 tuner initial epoch : 0 tuner epoch : 2 총 2 epoch 까지밖에 안되길래 찾아봣는데 원래 이런방식이라는 stack overflow ... 그전에 했을때는 max epoch = 50까지 넣으면 25부터 시작해서 알아서 해주던데 또 방법을 찾아보자 왜그랬냐 봤더니 hyperband tuner는 초반에 작은 epoch로 학습을 한다음에 좋은거를 찾아서 더 훈련시키기 때문이라고 한다. 이전에 돌린 걸 보면 76 Trial이 있고 그래서 max epoch = 50으로 설정해두니까 25부터 알아서 학습을 더 진행한 것 같다. 지금 돌리고 있는 코드도 여러번 trial을 시도하다 보면 나중에는 더 많은 epoch로 학습을 진행하지 않을까 하는 예상... 실제로 테스트 해..

Deep learning/Error 2021.08.25

RuntimeError : Model-building function did not return a valid Keras Model instance, found None

RuntimeError: Model-building function did not return a valid Keras Model instance, found None 케라스 튜너 에러 해결 방법 ! 오늘 이걸로 몇시간을 회사에서 시간을 보냈는지,,,, Error 를 마주해서 못풀면 너무 너무 답답하다,,, 이 글을 보는 모든 분들은 바로바로 해결하고 넘어가셨으면 좋곘다 : ) 아니 아무리 구글링해도 from tensorflow.keras import layers, models 로 바꿔서 하라는데 긍까 from keras import layers, models로 하면 안된다고함 !! 근데 keras -> tensorflow.keras로 바꿔도 에러가 뜸 # builder 생성하여서 학습하기 간단하게 de..

Deep learning/Error 2021.08.23

Error : Running pip as the 'root' user can result in broken permission and conflicting behaviour with the system package manager

sudo pip install 을 할뻔했지만 시스템이 망가질 수도 있다는 구글링을 통해서 해결방법을 찾는중,,, keras-tuner를 설치하기 위해서 docker container안에서 저 명령어를 쳤을때 저렇게 나왔다. 방법을 구글링해보니 계속 virtual environment에서 하라고 하는데 내가 지금 실행하고 있는 환경은 도커이기 때문에 도커 컨테이너 들어가기전 서버 terminal에서 설치하고 컨테이너안으로 들어가보니까 설치가 되어있는 것을 확인할 수 있었다. 해결 ~!

Deep learning/Error 2021.08.20

ERROR: OOM when allocating tensor with shape

1. 배치사이즈가 큰가? - data imbalance 로더로 바꿔주는 코드를 짜서 [837,22,456,456,3] 중에 필자의 경우 22가 배치사이즈이다. 10으로 수정했음에도 불구하고 숫자만 바뀌고 같은 에러가 뜸. 다른 방법을 찾아봐야겠다. 2. 할당된 GPU에서 다른 문제는 없는가 ? 여기서 필자는 1번 GPU를 설정하여 docker container로 작업을 진행중이다. 여기서 저 문제는 GPU메모리가 어디엔가 다른 곳에 할당되고 있는 것이다. 그래서 도커를 빠져나와서 nvidia-smi 로 확인해보면 1번 필자가 할당된 메모리에서 3줄이 있는데, 그 중 python으로 보이는 680396 PID번호를 죽여주면 된다. sudo kill 680396 watch -n 1 nvidia-smi 다시 ..

Deep learning/Error 2021.07.27

Error : Too many values to unpack

: 설정한 변수의 개수와 리턴해주는 변수의 개수가 차이가 날때 발생한다. 보통 sess.run , model.fit 이후 값을 리턴 받을때에 자주 발생한다. 예를 들면, sess.run([a,b,c])와 같은 값을 실행시켰을 때는 리턴 받는 개수를 3개로 맞추어 줘야한다 내 에러의 경우에는 값이 loss, accuracy, f1_score 까지 model.fit 에서 출력하도록 만들었기 때문에 loss, acc 두 개의 매개변수만 받았기 때문에 총 3개의 매개변수를 지정해서 값을 출력하여 주면 에러가 없어질 것이다 에러가 사라졌다 !

Deep learning/Error 2021.07.06

Error : logits and labels must have the same shape

ValueError: logits and labels must have the same shape (() vs (39, )) 이 에러,,, 너무 많이 봐서 진절머리가 난다 입사하고 초반에는 이해도가 떨어져서 한참 헤맸었는데 다시 나타난 에러,, one-hot encoding으로 금방 해결할 수 있었다. 이 글을 읽는 다른 분들은 나처럼 삽질을 하지 않았으면 하는 마음에 정리해본다. 구글링을 아무리해도 loss function을 바꿔라 ! 라는 말밖에 없는데,,, 그게 문제가 아니라 로스를 계산할 수 있는 shape로 맞춰주지 않았기때문에 오류가 뜬거였다... 계산을 못하니까 ! from tensorflow.keras.utils import to_categorical train_labels = [0,1,2..

Deep learning/Error 2021.07.01