T5

1 개요

Text-To-Text Transfer Transformer (T5)

텍스트-투-텍스트 트랜스퍼 트랜스포

• 자연어 처리 분야에서 다양한 작업을 텍스트 변환의 형태로 통합하는 모델
• 구글 연구팀에 의해 개발되었다.
• 트랜스포머 모델을 기반으로 하여 텍스트 입력을 받아 텍스트 출력을 생성한다.
• T5는 기존의 자연어 처리 모델들이 각기 다른 목적을 위해 다양한 형태로 개발된 것에 대한 대안으로 제시되었다. 이 모델은 자연어 이해(NLU)와 자연어 생성(NLG) 작업을 하나의 통합된 프레임워크 안에서 처리할 수 있도록 고안되었다.
• T5는 인코더-디코더 구조를 가진 트랜스포머 모델을 사용한다. 이 모델은 입력 시퀀스를 인코더를 통해 내부적인 표현으로 변환하고, 이를 디코더가 받아 출력 시퀀스를 생성한다. T5는 이 구조를 사용하여 다양한 자연어 처리 작업을 텍스트-투-텍스트 변환 문제로 재정의한다.
• T5는 대규모의 텍스트 코퍼스를 사용하여 사전 학습을 수행한다. 이 과정에서 다양한 유형의 자연어 이해와 생성 작업을 위한 지식을 습득한다. 또한, 특정 작업에 대한 세부적인 학습을 위해 추가적인 파인 튜닝이 이루어진다.
• T5는 질의 응답, 요약, 번역, 텍스트 분류 등 다양한 자연어 처리 작업에 활용될 수 있다.

2 같이 보기

• 기계번역
• 트랜스포머
• 텍스트-투-텍스트

3 참고

• https://arxiv.org/abs/1910.10683
• https://huggingface.co/models?sort=trending&search=t5
• https://github.com/google-research/text-to-text-transfer-transformer