목록Gradient boosting (1)

Hello Data

[머신러닝] Gradient Boost 공부해보기 (GBM)

지난번에는 Boosting이 무엇인지에 대해서 알아보고 Adaptive Boosting 에 대해서도 공부해보았다. 그리고 이번에는 Gradient Boosting 에 대해서 공부해보려고 한다. Gradient Boosting이란? 일단 직관적으로 어떤 기법인지 생각해보았을 때 배경이 되는 것은 역시 Boosting일 것이고(Sequential) 모델들을 부스팅하는 과정에서 하는 업데이트 방식을 Gradient를(경사하강법)사용하는 것이 아닐까 생각이 된다. (Adatpive Boosting에서는 gradient를 사용하는 것이 오차에 대해서 추가적인 가중치를 부과함으로써 모델을 업데이트하였다.) 이를 잘 설명해주는 것이 위 이미지라고 생각한다. Regression모델을 한번 생각해보았을 때 첫번째 ite..
머신러닝 2023. 2. 5. 16:58
이전 Prev 1 Next 다음