BERT

1 개요

Bidirectional Encoder Representations from Transformers (BERT)

트랜스포머를 통한 양방향 인코더 표현 (버트)

• NLP 사전-훈련(pre-training) 기법
• 2018년에 Jacob Devlin과 Google 동료들이 만들어 공개했다.
• Google은 사용자 검색을 더 잘 이해하기 위해 BERT를 활용하고 있다(2018년 당시).

---

• 파라미터 사전훈련
• 대규모 데이터셋으로 자기 지도 학습
• 다양한 작업을 위한 범용 아키텍처

2 같이 보기

• 트랜스포머 (머신러닝 모델)
• ALBERT
• Word2vec
• Autoencoder
• Document-term matrix
• Feature extraction
• Feature learning
• Neural network language models
• Vector space model
• Thought vector
• fastText
• GloVe
• TensorFlow

3 참고

• 영어 위키백과 "BERT (language model)"
• https://github.com/google-research/bert ★
• https://huggingface.co/models?sort=downloads&search=bert
• https://huggingface.co/docs/transformers/main/en/model_doc/bert
• http://jalammar.github.io/illustrated-bert/
• https://arxiv.org/abs/1810.04805
• https://github.com/SKTBrain/KoBERT
• http://aiopen.etri.re.kr/service_dataset.php
• https://github.com/KB-Bank-AI/KB-ALBERT-KO
• https://www.youtube.com/watch?v=IwtexRHoWG0 KoreaUniv DSBA - 08-5: BERT (한국어)
• https://www.youtube.com/watch?v=5DQ1hMvlBR8 Attention (9): ELMo and BERT (한국어)
• https://www.youtube.com/watch?v=qlxrXX5uBoU [토크ON세미나] 자연어 언어모델 ‘BERT’ 1강 - 자연어 처리 (NLP) | T아카데미
• https://developers.google.com/machine-learning/glossary?hl=en#bert-bidirectional-encoder-representations-from-transformers