| 2번째 줄: | 2번째 줄: | ||
;dilution, dropout | ;dilution, dropout | ||
;드롭아웃, 드랍아웃 | ;드롭아웃, 드랍아웃 | ||
* 신경망을 학습시키는 데 유용한 | * 신경망을 학습시키는 데 유용한 정칙화 | ||
* 신경망에서 [[오버피팅]]을 방지하기 위한 | * 신경망에서 [[오버피팅]]을 방지하기 위한 [[정칙화]](regularization) 기법 | ||
* 단일 경사 스텝이 일어날 때마다 특정 네트워크 레이어의 유닛을 고정된 개수만큼 무작위로 선택하여 삭제한다. | * 단일 경사 스텝이 일어날 때마다 특정 네트워크 레이어의 유닛을 고정된 개수만큼 무작위로 선택하여 삭제한다. | ||
* 드롭아웃하는 유닛이 많을수록 정규화가 강력해진다. | * 드롭아웃하는 유닛이 많을수록 정규화가 강력해진다. | ||
| 11번째 줄: | 11번째 줄: | ||
==같이 보기== | ==같이 보기== | ||
* [[ | * [[정칙화]](regularization) | ||
* [[오버피팅]] | * [[오버피팅]] | ||
* [[컨볼루션 신경망]](CNN) | * [[컨볼루션 신경망]](CNN) | ||
2020년 7월 28일 (화) 02:07 판
1 개요
- dilution, dropout
- 드롭아웃, 드랍아웃
- 신경망을 학습시키는 데 유용한 정칙화
- 신경망에서 오버피팅을 방지하기 위한 정칙화(regularization) 기법
- 단일 경사 스텝이 일어날 때마다 특정 네트워크 레이어의 유닛을 고정된 개수만큼 무작위로 선택하여 삭제한다.
- 드롭아웃하는 유닛이 많을수록 정규화가 강력해진다.
- 이 방식은 네트워크를 학습시켜 더 작은 네트워크로 이루어진 대규모 앙상블을 모방하도록 하는 방식과 비슷하다.
- 매개변수 수를 줄인다.
- 노드를 삭제하여 입력과 출력 사이의 연결을 제거한다.
2 같이 보기
3 참고
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}