[WEEK 14] 멋쟁이사자처럼 AI 스쿨 14주차

14주차에는 scikit-learn에서 제공하는 부스팅 모델과 scikit-learn이 아닌 라이브러리에서 제공하는 부스팅 모델을 익히고 회귀 문제에 적용해봤다. 또한 랜덤서치를 이용한 하이퍼파라미터 튜닝을 통해 모델의 성능 향상을 도모했다.

이번주의 키워드로 GradientBoosting, XGBoost, LightGBM, CatBoost, 랜덤서치, 익명화된 데이터, 하이퍼파라미터 튜닝을 선정한다.

학습 내용 요약 - 각 세부 사항은 TIL 작성

사이킷런의 앙상블 회귀 모델 GradientBoostingRegressor를 이용해 회귀 문제를 경험했다. RandomizedSearchCV의 결과로 구한 best_estimator_를 활용했으며 kaggle에 제출 후 GridSearchCV로 얻은 점수와 비교했다.
DAY 58

[DAY 58] 머신러닝으로 자전거 수요 예측 - GradientBoostingRegressor, RandomizedSearchCV

수 백개 이상의 변수를 가진 익명화된 데이터셋을 다루어봤다. 사이킷런이 아닌 라이브러리(xgboost, lightgbm)의 부스팅 회귀 모델을 활용했다.
DAY 59

[DAY 59] 메르세데스 벤츠 테스팅 시간 예측 - XGBoost, LightGBM

부스팅 알고리즘 중 최근에 발표된 CatBoost를 활용했다. 랜덤서치를 이용해서 하이퍼파라미터 튜닝을 하는 과정에서 CatBoost에서는 랜덤서치가 모델의 메소드로 동작한다는 특징을 알게 되었다.
DAY 60

[DAY 60] CatBoost, 하이퍼파라미터 튜닝

여러 부스팅 알고리즘을 경험해서 색다르고 좋았다. 최적의 하이퍼파라미터를 찾을 수 있는 랜덤서치는 활용도가 매우 높을 것 같다.