활성화 함수

1 개요

activation function

活性化 函數

활성화 함수

• 인공신경망에서 선형변환 후에 적용하는 비선형 함수 또는 항등 함수
• 각 뉴런의 출력신호를 결정하기 위해서 입력(입력신호와 연결가중치를 곱하고 나서 모두 합한 값들)에 적용하는 함수
• 이전 레이어의 모든 입력에 대한 가중합을 구하고 출력값(보통 비선형)을 생성하여 다음 레이어로 전달하는 ReLU, 시그모이드 등의 함수
• 같은 층에서의 뉴런들은 같은 활성화 함수를 가짐

• 인공신경은 1개 이상의 입력을 받고(1개 이상의 수상돌기) 그것들을 총합하여 출력(시냅스)을 생성함

[math]\displaystyle{ \displaystyle{ y = \varphi \left( \sum_{i=1}^m w_{i} x_i + b \right) } }[/math]

• 활성화 함수로는 퍼셉트론이 등장한 1950년대에는 스텝 함수가 많았다.
• 1986년 백 프로퍼게이션 발표 이후, S자 함수가 일반화되었다.
• 현재는 ReLU(렐루) 함수 쪽이 좋다고 한다.
• 활성화 함수는 단조증가함수가 사용되는 일이 많지만 반드시 그래야 한다는 것도 아니다.

방사기저함수 등도 사용된다.

2 같이 보기

• 함수
• 뉴런 (머신러닝)
• ReLU
• 안정성 (머신러닝)
• 활성화
• 인공신경망
• 정류선형유닛(ReLU)
• 로지스틱 함수
• 소프트맥스 함수

3 참고

• 위키백과 "Activation function"
• 다음백과 "활성화 함수"
• 네이버백과 "활성화 함수"