ReLU

  다른 뜻에 대해서는 정류기 문서를 참조하십시오.

1 개요

rectifier, rectified linear unit (ReLU), ReLU activation function

정류선형유닛, 렉티파이드 리니어 유닛, 정류된 선형 유닛 (렐루), 렐루 활성화 함수

• 입력값이 0보다 작으면 0으로 출력, 0보다 크면 입력값 그대로 출력하는 유닛
• 입력이 음수 또는 0이면 출력은 0이고, 입력이 양수이면 출력은 입력과 같게 되는 활성화 함수 ★
• [math]\displaystyle{ f(x)=x^+=\max(0,x) }[/math]
  • 여기서 x는 뉴런에 대한 입력이다.
  • 이것은 램프 함수(ramp function)이라고도 하며, 전기공학의 반파 정류(half-wave rectification)와 유사하다.
• 이 활성화 함수는 1960년대 후반부터 계층적 신경망에서 시각적 특성 추출의 맥락에서 나타나기 시작했다.
• 나중에는 강력한 생물학적 동기와 수학적 정당성이 있다고 주장되었다.
• 2011년에는, 그 이전에 널리 사용된 활성화 함수(예: 로지스틱 시그모이드, 쌍곡탄젠트)보다 심층네트워크를 더 잘 훈련할 수 있는 것으로 확인되었다.
• 2017년 현재, ReLU는 심층신경망에서 가장 많이 사용되는 활성화 함수이다.
• ReLU는 심층신경망과 계산신경과학을 기반으로 컴퓨터 비전 및 음성인식에 활용된다.

2 같이 보기

• Tobit 모델
• 활성화 함수
• 소프트맥스 함수
• 시그모이드 함수
• 기울기 소실 문제

3 참고

• https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
• http://qiita.com/shima_x/items/8a2f001621dfcbdac028