드롭아웃

1 개요

dilution, dropout, dropout regularization

드롭아웃, 드랍아웃, 드롭아웃 정규화

• 신경망을 학습시키는 데 유용한 정칙화
• 신경망에서 오버피팅을 방지하기 위한 정칙화(regularization) 기법
• 단일 경사 스텝이 일어날 때마다 특정 네트워크 레이어의 유닛을 고정된 개수만큼 무작위로 선택하여 삭제한다.
• 드롭아웃하는 유닛이 많을수록 정규화가 강력해진다.
• 이 방식은 네트워크를 학습시켜 더 작은 네트워크로 이루어진 대규모 앙상블을 모방하도록 하는 방식과 비슷하다.
• 매개변수 수를 줄인다.
• 노드를 삭제하여 입력과 출력 사이의 연결을 제거한다.

2 같이 보기

• 정칙화(regularization)
• 오버피팅
• 컨볼루션 신경망(CNN)

3 참고

• 영어 위키백과 "Dropout (neural networks)"
• https://developers.google.com/machine-learning/glossary?hl=ko#드롭아웃-정규화dropout-regularization
• https://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf 드롭아웃: 신경망의 과적합을 방지하는 간단한 방법