ReLU

  다른 뜻에 대해서는 정류기 문서를 참조하십시오.

1 개요[ | ]

rectifier, rectified linear unit (ReLU), ReLU activation function
정류선형유닛, 렉티파이드 리니어 유닛, 정류된 선형 유닛 (렐루), 렐루 활성화 함수
  • 입력값이 0보다 작으면 0으로 출력, 0보다 크면 입력값 그대로 출력하는 유닛
  • 입력이 음수 또는 0이면 출력은 0이고, 입력이 양수이면 출력은 입력과 같게 되는 활성화 함수
  • [math]\displaystyle{ f(x)=x^+=\max(0,x) }[/math]
    • 여기서 x는 뉴런에 대한 입력이다.
    • 이것은 램프 함수(ramp function)이라고도 하며, 전기공학의 반파 정류(half-wave rectification)와 유사하다.
  • 이 활성화 함수는 1960년대 후반부터 계층적 신경망에서 시각적 특성 추출의 맥락에서 나타나기 시작했다.
  • 나중에는 강력한 생물학적 동기와 수학적 정당성이 있다고 주장되었다.
  • 2011년에는, 그 이전에 널리 사용된 활성화 함수(예: 로지스틱 시그모이드, 쌍곡탄젠트)보다 심층네트워크를 더 잘 훈련할 수 있는 것으로 확인되었다.
  • 2017년 현재, ReLU는 심층신경망에서 가장 많이 사용되는 활성화 함수이다.
  • ReLU는 심층신경망과 계산신경과학을 기반으로 컴퓨터 비전 및 음성인식에 활용된다.

ReLU and GELU.svg

Rectifier and softplus functions.svg

2 같이 보기[ | ]

3 참고[ | ]

문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}