SILVER

https://wikidocs.net/84446

Voting - 다른 알고리즘 model을 조합해서 사용 - 서로 다른 알고리즘이 도출해낸 결과물에 대해 최종 투표하는 방식을 통해 최종 결과를 선택 1. hard vote : 결과물에 대한최종값을 투표 ex) 분류를 예측한 값이 1, 0, 0, 1, 1 이었다고 하면 1이 3표 0이 2표를 받았기 때문에 Hard voting 에서는 1이 최종값으로 예측함. 2. soft vote : 최종 결과물이 나올 확률값을 다 더해서 최종 결과물에 대한 각각의 확률을 구하여 최종값 도출. soft vote가 hard vote 보다 더 합리적이라는 것이 대세 ex) class 0이 나올 확률이 (0.4, 0.9, 0.9, 0.4, 0.4) 이었고 class 1이 나올 확률이 (0.6, 0.1, 0.1, 0.6, 0...

서버에서 도커 열고 도커이미지로 컨테이너 생성해서 안에있는 이미지들을 예측하는 프로세스다. 근데 도커를 여는데에만 약 15초가 걸리고 모델 로드는 약 4초가 걸렸다. 왼쪽은 각 배치 수행시간 오른쪽은 누적 수행시간이다. 여기서 문제는 첫번째 배치의 수행시간이 첫번째사진에서는 약 78초 오른쪽 사진에서는 약 4초가 걸린다. 첫번째 배치를 열어줄때는 model.predict코드를 보면 make_predict_fucnction()코드 때문에 시간이 오래 걸릴 수 있지만 마지막 배치의 경우 어떠한 이유때문에 수행시간의 차이가 있는지 더 찾아봐야 할 것 같다. 1) model.predict(X) ouput을 numpy로 변환 2) model(X, training = False) ouput을 텐서플로 객체 그대로 ..

[tensorflow 2.4.1 ubuntu 20.04 cudnn 8.0 cuda 11.0] 에서 도커 환경설정 방법이다. docker pull ubuntu:20. docker run -it ubuntu:20.04 # 모듈/패키지 정보 업데이트 root@d44139ec9a260:/# apt-get update # 필수 모듈/패키지 설치 root@44139ec9a260:/# apt-get install -y net-tools wget git-core vim sudo kmod build-essential cmake pkg-config unzip # python 3.8 conda 설치 스크립트 다운로드 root@44139ec9a260:/# cd /root root@44139ec9a260:/# https://r..

2021-10-20 11:44:14.662895: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory 2021-10-20 11:44:14.662970: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'libcublas.so.11'; dlerror: libcublas.so.11: ..

프로토 타입 배포를 위해 도커 컨테이너 세팅을 새로 하고 나왔던 에러 ubuntu 18.04에서 tensorflow-gpu 이미지를 받은게 아니라 ubuntu18.04이미지를 다운 받은 후에 컨테이너 안에서 pip install tensorflow-gpu==2.4.0 코드로 실행시키고 을 받고 다시 실행 시켜주니까 에러가 안뜬다. 또 다른 해결방법으로는 os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' 다음과 같은 코드를 tensorflow를 Import 하기 전에 띄워주면 Not creating XLA devices, tf_xla_enable_xla devices not set 이 에러 뿐 아니라 tensorflow 를 import 시킬 때 나왔던 모든 메세지들이 나타나지 않았다.

내가 보려고 정리하는 글 1) :set nu 문장 번호 추가 2) G :코드 제일 끝 3) gg :코드 제일 마지막 4) dd :커서가 있는 줄 삭제 5) 10dd 현재 줄부터 10개줄의 삭제 (물론 숫자 10은 원하는 숫자로 변경가능) :1,.d 첫번째 줄부터 현재줄까지 삭제 :.,$d 현재줄부터 마지막줄까지 삭제 :10,40d 10번째 줄부터 40번째 줄 까지 삭제

Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source. Collecting package metadata (repodata.json): done Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: - failed tensorflow 를 설치하는 와중에 뜬 에러 설치를 중간에 Conto..

2021. 01. MicroSoft에서 발표한 딥러닝 앙상블 기법의 이론적 근거가 되는 논문 "Three mysteries in deep learning: Ensemble, knowledge distillation, and self-distillation" 컵퓨터 비전 데이터셋에서 모델은 객체를 여러관점을 통해서 분류하는데, 예를 들어 자동차 이미지를 헤드라이트, 바퀴, 창문의 특징을 통해서 분류할 수 있다. 신경망은 random seed 값에 따라서 이러한 관점 중 일부 집합만 빠르게 학습하여 클래스를 분류한다. 즉, 모델이 헤드라이트 하나만 사용해서 자동차를 분류해도 정확도 면에서 충분할수 있다. 이러한 상황에서 앙상블은 큰 힘을 발휘한다 ! 개별신경망들이 각자 다른 관점으로 특징을 학습하고 개체를 ..