Hyperband (Successive halving Algorithm 보완한 알고리즘)

케라스 튜너에는 

 

1. RandomSearch

The basic and least efficient approach, Random Search doesn’t learn from previously tested hyperparameter combinations. It simply samples hyperparameter combinations from a search space randomly.

 

 

2. Hyperband

Hyperband tuner is an optimized version of random search tuner which uses early-stopping to speed up the hyperparameter tuning process. The main idea is to fit a large number of models for a small number of epochs and to only continue training for the models achieving the highest accuracy on the validation set.

 

3. BayesianOptimization

Bayesian Optimization works same as Random Search, by sampling a subset of hyperparameter combinations. But there is a key difference between them which makes this Bayesian guy smarter than Random Search.

 

4. Sklearn

 

이렇게 총 4가지의 튜너가 있다. 

 

The key difference is that it doesn’t sample hyperparameter combinations randomly; it follows a probabilistic approach. It picks already tested combinations and uses this data to sample the next combination.

 

가장 큰 차이점은 하이퍼파라미터의 조합을 랜덤하게 샘플하지 않는다는 것이다. 이것은 확률론적 접근이다. 이미 테스트된 조합으로 선택해서 다음 조합을 샘플링한다. 

 

 

 

Hyperband는 Successive Halving Algorithm을 보완한 알고리즘이다. 하이퍼밴드를 이해하기 위해서는 SHA를 이해하는 것이 필요하다. 

 

 

제한된 시간 안에서 최소의 Loss값을 갖는 모델의 하이퍼 파라미터 구성을 찾는 것이 목표이다. 

이름처럼 연속 분할 알고리즘이다. 연속/ 분할/ 알고리즘 (Successive/ Halving / Algorithm)

 

총 탐색에 소요되는 버짓을 설정하고 n개의 하이퍼 파라미터 설정을 랜덤하게 뽑은(Sk) 다음에 S0의 모델들에 동일한 버짓을 할당한다(rk)

중간 loss 를 기준으로, 성능이 좋지 않은 하이퍼 파라미터 설정을 반만큼 버린다(SK+1) 하나의 하이퍼 파라미터 설정이 남을 때까지 반복한다. 

 

https://pod3275.github.io/paper/2019/05/23/Hyperband.html

Hyperband; A Novel Bandit-Based Approach to Hyperparameter Optimization 정리