ReLU

다른 뜻에 대해서는 정류기 문서를 참조하십시오.

1 개요[ | ]

입력값이 0보다 작으면 0으로 출력, 0보다 크면 입력값 그대로 출력하는 유닛
입력이 음수 또는 0이면 출력은 0이고, 입력이 양수이면 출력은 입력과 같게 되는 활성화 함수 ★
[math]\displaystyle{ f(x)=x^+=\max(0,x) }[/math]
- 여기서 x는 뉴런에 대한 입력이다.
- 이것은 램프 함수(ramp function)이라고도 하며, 전기공학의 반파 정류(half-wave rectification)와 유사하다.
이 활성화 함수는 1960년대 후반부터 계층적 신경망에서 시각적 특성 추출의 맥락에서 나타나기 시작했다.
나중에는 강력한 생물학적 동기와 수학적 정당성이 있다고 주장되었다.
2011년에는, 그 이전에 널리 사용된 활성화 함수(예: 로지스틱 시그모이드, 쌍곡탄젠트)보다 심층네트워크를 더 잘 훈련할 수 있는 것으로 확인되었다.
2017년 현재, ReLU는 심층신경망에서 가장 많이 사용되는 활성화 함수이다.
ReLU는 심층신경망과 계산신경과학을 기반으로 컴퓨터 비전 및 음성인식에 활용된다.