SILVER

  • 홈
  • 태그
  • 방명록

Language/python 1

너무 큰 데이터 처리

tf.data.Dataset 은 tensorflow 훈련 데이터를 다룰 때 아주 편리하다. padding, batch, shuffle, map 기능을 다 제공하고 있기 떄문이다. from_tensor_slices를 쓰면 numpy array를 바로 Dataset으로 변환해준다. 근데 변환하려는 전체 데이터를 메모리에 올릴 수 있는 크기가 아니면, 메모리 에러가 뜬다,, OOM ! --> Dataset의 from_generator를 사용해보자 : 이 방법은 메모리에 다 데이터를 로딩하는 것이 아니라 필요할 때만 python generator를 통해서 데이터를 가져오기 때문에 메모리 사용량을 줄일 수 있다는 것이 특징이다. 실제로는 데이터를 로딩하지 않는 방식이기 때문에 ! 찾아보니까 from_tensor_..

Language/python 2021.08.17
이전
1
다음
더보기
프로필사진

SILVER

  • 분류 전체보기 (129)
    • About Me (0)
    • Language (60)
      • C# (41)
      • GoLang (6)
      • python (1)
      • React (10)
      • NextJs (1)
      • Django (1)
    • Algorithm (2)
    • Deep learning (43)
      • Error (8)
      • 환경세팅 (4)
      • Studying (15)
    • Education (1)
    • Design Pattern (3)

Tag

bayesian optimization, Brightness, c#, c##PointToScreen, class imbalance #, dat file, grid search, ins, isns, labels,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바