대규모 언어 모델

1 개요

large language model (LLM)

대형 언어 모델, 대규모 언어 모델, 거대 언어 모델

• 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델
• 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다.
• 2018년경에 나타났으며 다양한 작업을 위해 수행된다.
• 이전의 특정 작업의 특수한 지도 학습 모델의 훈련 패러다임에서 벗어나 자연어 처리 연구로 초점이 옮겨졌다.
• 대규모 언어 데이터(인터넷) + 대규모 모델(수많은 파라미터)

2 같이 보기

• PEFT
• 대규모
• 언어 모델
• 표현 학습(representation learning)
• 생성형 AI
• 대규모 데이터
• 자기 지도 학습(self-supervised learning)
• 파운데이션 모델(foundation model)

3 참고

• 영어 위키백과 "Large language model"
• 다음사전 "대규모 언어 모델"
• 다음백과 "대규모 언어 모델"
• 네이버사전 "대규모 언어 모델"
• 네이버백과 "대규모 언어 모델"
• 나무위키 "대규모 언어 모델"
• 리브레 위키 "대규모 언어 모델"
• https://levelup.gitconnected.com/the-brief-history-of-large-language-models-a-journey-from-eliza-to-gpt-4-and-google-bard-167c614af5af