LoRA

  다른 뜻에 대해서는 LoRa (무선 네트워크) 문서를 참조하십시오.

  다른 뜻에 대해서는 LoRA (파인튜닝) 문서를 참조하십시오.

1 개요

low-rank adaptation (LoRA)

저랭크 적응

• 파인튜닝의 재해석 + 적은 수의 파라미터 관리
• 장점: 메모리 절약, 일부 태스크에서 성능 향상

2 같이 보기

• 파인튜닝
• 특이값 분해
• 대규모 언어 모델
• transfer learning
• domain adaptation

3 참고

• https://arxiv.org/abs/2106.09685
• https://huggingface.co/docs/peft/conceptual_guides/lora
• 영어 위키백과 "Fine-tuning (deep_learning)#Low-rank adaptation"
• https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650