볼록 함수

1 개요[ | ]

convex function
볼록 函數
볼록 함수
  • 함수 그래프의 위쪽 영역이 볼록 집합인 함수
  • 임의의 두 점을 이은 할선이 두 점을 이은 곡선보다 위에 있는 함수
  • 함수의 그래프 위에서 임의의 두 점을 잡을 때에, 곡선이 연결하는 두 점의 아래쪽에 있는 함수
  • 함수의 그래프 위에서 임의의 두 점을 잡을 때에, 곡선 호(弧)가 그 두 점을 연결하는 선분 아래쪽에 있는 함수
  • 볼록 함수의 전형적인 예는 U자 모양의 함수이다.
  • 예를 들어 다음은 모두 볼록 함수이다.

Convex functions.png

  • 그러나 다음 함수는 볼록 함수가 아니다.
  • 그래프의 위쪽 영역이 볼록 집합이 아닌 것을 확인할 수 있다.

Nonconvex function.png

  • 순볼록(strictly convex) 함수는 국소 최저점이 정확히 하나이며, 이 점은 전역 최저점과 일치한다.
  • 고전적인 U자형 함수는 순볼록 함수입니다.
  • 그러나 직선과 같은 볼록 함수는 순볼록 함수가 아니다.
  • 경사하강법 및 그 변형판들은 순볼록 함수의 최저점에 가까운 점을 찾도록 보장한다.
  • 유사하게 확률적 경사하강법 및 그 변형판들은 순볼록 함수의 최저점에 가까운 점을 찾을 가능성이 높지만 항상 보장되지는 않는다.
  • 두 볼록 함수의 합(예: L2 손실 + L1 정규화)은 볼록 함수이다.
  • 심층 모델은 어떠한 경우에도 볼록 함수가 아니다.
  • 그럼에도 볼록 최적화를 위해 설계된 알고리즘은 심층 네트워크에서 비교적 양호한 해를 구할 가능성이 높지만, 이러한 해가 전역 최저점이라는 보장은 없다.

2 같이 보기[ | ]

3 참고[ | ]

문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}