자기 지도 학습

1 개요

self-supervised learning (SSL)

자기 지도 학습

• 인간이 제공한 외부 레이블에 의존하지 않고 데이터 자체를 사용하여 지도 신호를 생성하는 작업으로 모델을 훈련시키는 머신러닝 패러다임

---

• 신경망의 맥락에서 자기 지도 학습은 입력 데이터 내의 고유한 구조나 관계를 활용하여 의미 있는 훈련 신호를 생성하는 것을 목표로 한다.
• SSL 작업은 이를 해결하려면 데이터의 필수 기능이나 관계를 캡처해야 하도록 설계되었다.
• 입력 데이터는 일반적으로 관련 샘플 쌍을 생성하는 방식으로 확대되거나 변환된니다.
• 한 샘플은 입력 역할을 하고 다른 샘플은 감시 신호를 공식화하는 데 사용된다.
• 이러한 증대에는 노이즈 도입, 자르기, 회전, 기타 변형이 포함될 수 있다.
• 자기 지도 학습은 인간이 사물을 분류하는 방법을 배우는 방식을 더욱 밀접하게 모방하고 있다.

---

• 일반적인 SSL 방법은 인공신경망이나 의사결정 목록과 같은 기타 모델을 기반으로 한다.
• 모델은 두 단계로 학습합니다.
• 첫째, 모델 매개변수를 초기화하는 데 도움이 되는 의사 레이블을 사용하는 보조 또는 구실 분류 작업을 기반으로 작업이 해결된다.
• 둘째, 실제 작업은 지도 학습 또는 비지도 학습으로 수행된다.
• 기타 보조 작업에는 마스크된 입력 패턴(검은색으로 마스크된 음성 또는 이미지 부분의 조용한 일시 중지)으로부터 패턴 완성이 포함된다.
• 자기 지도 학습은 오디오 처리에 실용적으로 적용되었다. Facebook 등 여러 기업에서 음성 인식에 사용하고 있다.

2 같이 보기

• 지도학습
• 머신러닝
• 사전훈련
• 파인튜닝

3 참고

• 위키백과 "자기 지도 학습"
• 위키낱말사전 "자기 지도 학습"
• 다음사전 "자기 지도 학습"
• 다음백과 "자기 지도 학습"
• 네이버사전 "자기 지도 학습"
• 네이버백과 "자기 지도 학습"
• 나무위키 "자기 지도 학습"
• 리브레 위키 "자기 지도 학습"