Ensemble - hard vote , soft vote

Voting

- 다른 알고리즘 model을 조합해서 사용

- 서로 다른 알고리즘이 도출해낸 결과물에 대해 최종 투표하는 방식을 통해 최종 결과를 선택

 

1. hard vote : 결과물에 대한최종값을 투표

ex) 분류를 예측한 값이 1, 0, 0, 1, 1 이었다고 하면 1이 3표 0이 2표를 받았기 때문에 Hard voting 에서는 1이 최종값으로 예측함.

 

2. soft vote : 최종 결과물이 나올 확률값을 다 더해서 최종 결과물에 대한 각각의 확률을 구하여 최종값 도출. soft vote가 hard vote 보다 더 합리적이라는 것이 대세 

ex) class 0이 나올 확률이 (0.4, 0.9, 0.9, 0.4, 0.4) 이었고 class 1이 나올 확률이 (0.6, 0.1, 0.1, 0.6, 0.6) 이었다면 class0이 나올 최종 확률은  (0.4+0.9+0.9+0.4+0.4) / 5 = 0.44, class 1이 나올 최종 확률은 (0.6+0.1+0.1+0.6+0.6) / 5 = 0.4 가 되기 때문에 앞선 Hard Vote의 결과와는 다른 결과 값이 최종 으로 선출되게 됩니다.

 

보통 대회에서 soft vote 방식이 더 성능 결과가 좋기 때문에 더 합리적인 방법이다. 

 

Bagging (Bootstrap Aggregating)

투표방식 - 같은 알고리즘 내에서 다른 sample 조합 사용 

 

Boosting

- 이전 오차를 보완하며 가중치 부여

 

Stacking 

- 여러 모델을 기반으로 meta 모델