부스팅

1 개요

boosting

부스팅

• 단순한 모델들(일반적으로 트리)을 다수 사용하여 순차적으로 천천히 학습함

매개변수

B	트리 개수	너무 크면 과적합 교차-검증으로 결정
λ	learning rate	B와는 역관계 흔히 0.01 또는 0.001
d	트리의 분할 수	흔히 1 (가장 간단한 트리)

2 구현체

• Orange
• Weka
• jboost
• Scikit-learn
• R 패키지 GBM
• R 패키지 adabag
• R 패키지 xgboost

3 같이 보기

• 그레디언트 부스팅
• 배깅
• 로지스틱 회귀
• 교차-검증
• 머신러닝
• 뉴럴 네트워크
• 서포트 벡터 머신
• 앙상블 학습법

4 참고

• 영어 위키백과 "Boosting (machine learning)"
• 위키백과 "부스팅"
• 다음백과 "부스팅"
• 네이버백과 "부스팅"