드롭아웃

Jmnote (토론 | 기여)님의 2021년 5월 28일 (금) 02:32 판 (→‎참고)

1 개요

dilution, dropout, dropout regularization
드롭아웃, 드랍아웃, 드롭아웃 정규화
  • 신경망을 학습시키는 데 유용한 정칙화
  • 신경망에서 오버피팅을 방지하기 위한 정칙화(regularization) 기법
  • 단일 경사 스텝이 일어날 때마다 특정 네트워크 레이어의 유닛을 고정된 개수만큼 무작위로 선택하여 삭제한다.
  • 드롭아웃하는 유닛이 많을수록 정규화가 강력해진다.
  • 이 방식은 네트워크를 학습시켜 더 작은 네트워크로 이루어진 대규모 앙상블을 모방하도록 하는 방식과 비슷하다.
  • 매개변수 수를 줄인다.
  • 노드를 삭제하여 입력과 출력 사이의 연결을 제거한다.

2 같이 보기

3 참고

문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}