창발적 능력

1 개요

emergent ability, emergent abilities

창발적 능력, 출현적 능력

• 모델이나 시스템이 특정 규모나 복잡성에 도달했을 때 갑자기 나타나는 새로운 능력이나 행동
• 인공지능이 자체적으로 학습을 통해 이전에는 관찰되지 않았던 새로운 능력이나 행동을 개발하는 과정
• 이 개념은 주로 대형 언어 모델(LLM)이나 인공지능 시스템에서 논의되며, 모델이 훈련 데이터나 설계에서 직접적으로 예측되지 않았던 새로운 기능을 수행할 수 있게 되는 현상을 설명한다.
• GPT-3 이상의 모델에서 발생한 창의적 문제 해결 능력

작은 모델에서는 나타나지 않던 논리적 추론, 창의적 글쓰기, 코드 생성 능력이 특정 크기 이상에서 급격히 향상되었다.

• 작은 모델은 새로운 작업을 수행하려면 많은 훈련 데이터가 필요하지만, 대형 모델에서는 몇 개의 예제만 제공해도 학습 없이 새로운 패턴을 인식하고 작업을 수행할 수 있다.
• 문맥 이해와 암묵적 지식 활용: 규모가 작은 모델에서는 단순한 통계적 패턴 인식을 수행하지만, 대형 모델에서는 문맥을 이해하고 암묵적인 지식을 활용하여 정교한 응답을 생성할 수 있다.

2 특징

• 비선형성: 모델 크기나 학습량이 일정 수준을 넘어서야 갑자기 등장하는 능력
• 예측 불가능성: 개발자가 예상하지 못했던 기능이 나타날 수 있음
• 범용성 증가: 특정한 도메인에 한정되지 않고 다양한 작업을 수행할 수 있는 능력으로 발전

3 같이 보기

• 창발
• LLM
• 인공지능