Bayesian Optimiation
불필요한 하이퍼 파라미터 반복 탐색을 줄여 보다 빠르게 최적 파이퍼 파라미터를 찾을 수 있다. 베이지안 최적화는 알려지지 않은 목적 함수를 최대(혹은 최소)로 하는 최적해를 찾는 기법이며, 본 알고리즘은 1)Surrogate 모델과 2)Acquisition 함수로 구성되어있다.
(방법론적 배경) 전통적인 머신러닝 모델들은 튜닝하는데에 필요한 하이퍼파라미터의 수가 많지 않기 때문에 cross validaiton grid search를 통해 일반화 성능을 관찰하고 하이퍼파라미터를 결정하는 수가 많았지만, 최근 앙상블 계열이나 많이 사용하고 있는 딥러닝 모델들은 모델 자체의 학습시간이 길 뿐만 아니라 하이퍼파라미터의 수가 많기때문에 기존의 방법으로 search를 하기에는 한계가 있다. 그렇기 때문에 Bayesian optimiazation 방법은 Hyperparameter tuning을 진행할때에 기존의 grid search, random search를 대체하는데에 사용가능하다.
(주된 사용) 하이퍼파라미터가 너무 많으면 동작하기 어렵기 때문에 20개이하의 하이퍼파라미터의 경우에서 큰 도움이 될 수 있다.
1. Surrogate Model
: 지금까지 확보된 데이터와 평가지표의 숨겨진 관계를 모델링하는 surrogate model
: 사전에 정해진 몇개의 파라미터 집합안에서 일반화 성능을 예측하는 surrogate model
종류 ) Gaussian process regression - 모델 일반화성능 , 불확실성에 관련된 분포를 내뱉는 함수. Gaussian Process Regression은 출력값 Y가 Gaussian Process를 따른다는 가정하에 Regression을 진행하는 모델로 일반적인 linear regression과 다르게 출력값에 대해 구간추정이 가능한 모델이다.
2. Acquisition 함수
: 다음 탐색할 지점을 결정하는 acquisition 함수
종류 ) Maximum expected improvement - 성능이 향상될 것으로 기대되는 max값을 찾는 함수
Uploaded by Notion2Tistory v1.1.0