Lasso

1 개요[ | ]

lasso (least absolute shrinkage and selection operator), Lasso, LASSO, lasso regression
라쏘, Lasso 회귀

벌점화 회귀/정칙화 회귀의 일종
L1 정칙화를 적용한 회귀분석

관련성이 낮은 특성의 가중치를 0으로 유도하여 모델에서 해당 특성을 배제한다.

"올가미(lasso)". 관련 있는 특성만 선택적하여 남긴다.

통계모델의 예측 정확도와 해석 가능성을 향상시키기 위해, 변수 선택과 정칙화를 모두 수행하는 회귀분석 방법
1986년 지구물리학 문헌에서 소개되었다.
그외 별개로 1996년에 Robert Tibshirani가 재발견하여 이 용어를 만들고 성능에 대한 통찰을 제시하며 대중화시켰다.
Lasso는 원래 선형회귀용으로 공식화되었는데, 리지 회귀와 베스트 부분집합 선택과의 관계, 라쏘 계수 추정과 소프트 스레시홀딩과의 연결 등에 진전이 있었다.
또한, 표준 선형회귀 등에서 공변량에 공선성이 있는 경우에도 계수 추정치가 고유할 필요가 없음을 보여준다.
원래 선형회귀에 대해 정의되었지만, 일반화된 선형모델, 일반화된 추정 방정식, 비례 위험 모델, M- 추정기 등 다양한 통계모델에도 적용가능하다.
Lasso의 부분집합 선택기능은 제약조건의 형태에 따라 달라지며 기하학, 베이지안 통계, 볼록공간 분석 측면 등 다양한 해석이 가능하다.
리지 회귀에 비해 노이즈(극단치)에 강하다.
라쏘는 basis pursuit denoising(BPDN)와도 밀접한 관련이 있다.

2 일반화[ | ]

3 정칙화 파라미터 선택[ | ]

파라미터는 축소(shrinkage)의 강도와 변수 선택과 관련이 있고, 잘 선택해야 예측 정확도와 해석가능성을 향상시킬 수 있다.
정칙화가 너무 강하면 중요한 변수가 모델에서 제외되고 계수가 과도하게 축소되어 예측력이 떨어질 수 있다.
파라미터 선택에는 교차-검증이 흔히 활용된다.
다만, 작은 표본에서는 BIC나 AIC 같은 정보기준이 성능이 덜 유동적이고 계산속도가 빨라서 교차-검증보다 선호될 수 있다.
정보기준은 유효 파라미터 수 / 자유도에 페널티를 주는 동시에 모델의 표본 내 정확도를 최대화하여 추정량의 정칙화 파라미터를 선택한다.
Zou et al. (2007)은 0에서 멀어지는 파라미터의 수를 세어 유효 자유도를 측정할 것을 제안했다.
Kaufman과 Rosset (2014), Janson et al. (2015)는 자유도 접근 방식에 결점이 있다고 봤는데, 정칙화 파라미터에 의해 더 큰 페널티를 받는 경우에도 모델의 자유도가 증가할 수 있기 때문이다.
대안으로, 상대적 단순성 측정치를 통해 유효 파라미터 수를 계산할 수 있다(Hoornweg, 2018).
라쏘의 경우, 이 측정치는 다음과 같다.

[math]\displaystyle{ {\displaystyle {\hat {\mathcal {P}}}=\sum _{i=1}^{p}{\frac {|\beta _{i}-\beta _{0,i}|}{{\frac {1}{p}}\sum _{l}|b_{OLS,l}-\beta _{0,l}|}}} }[/math]

정칙화 파라미터가 ∞에서 0으로 감소할 때, 이 측정치는 0에서 p로 단조 증가한다.

4 같이 보기[ | ]

5 참고[ | ]