3-(2) 부스팅은 어떤 특징을 가진 앙상블 기법인가요?

(2) 부스팅은 어떤 특징을 가진 앙상블 기법인가요? 토픽에서 배운 AdaBoost 이외의 부스팅 모델에는 무엇이 있는지에 대해 구글 등을 활용하여 직접 리서치해보고, 각 부스팅 모델의 특징, 장단점에 대해 말해주세요.

# 들어가며

예시 답안 (코드잇 제공)

부스팅(Boosting)은 여러 약한 학습기(weak learners)를 결합하여 강력한 학습기(strong learner)를 만드는 앙상블 기법입니다. 부스팅 모델은 순차적으로 학습을 진행하며, 각 단계에서 이전 모델의 오류를 줄이는 방식으로 성능을 향상시킵니다. AdaBoost 외에 자주 사용되는 부스팅 기법으로는 XGBoost, LightGBM, CatBoost가 있습니다. < XGBoost > Gradient Boosting의 확장판으로, 정규화(term regularization)와 같은 고급 기능을 추가하여 과적합을 방지 장점: 높은 성능, 빠른 학습 속도, 분산 컴퓨팅 지원 단점: 복잡한 하이퍼파라미터 튜닝 필요, 상대적으로 높은 메모리 사용량 < LightGBM > Microsoft에서 개발한 알고리즘으로, 대용량 데이터와 고차원 데이터에 최적화. 장점: 빠른 학습 속도와 낮은 메모리 사용량, 높은 정확도를 자랑합니다. 단점: 작은 데이터셋이나 범주형 데이터가 많은 경우에는 성능이 저하될 수 있습니다. < CatBoost > Yandex에서 개발한 알고리즘으로, 범주형 데이터를 효율적으로 처리할 수 있도록 설계. 장점: 범주형 데이터를 별도의 전처리 없이도 잘 처리하며, 높은 예측 성능과 과적합 방지 기능을 가지고 있습니다. 단점: 다른 부스팅 알고리즘에 비해 학습 속도가 느릴 수 있으며, GPU 설정이 필요할 수 있습니다