(→개요) |
|||
| 19번째 줄: | 19번째 줄: | ||
==참고== | ==참고== | ||
* https://arxiv.org/abs/2106.09685 | * https://arxiv.org/abs/2106.09685 | ||
* https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리 | |||
* https://huggingface.co/docs/peft/conceptual_guides/lora | * https://huggingface.co/docs/peft/conceptual_guides/lora | ||
* {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | * {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | ||
2024년 2월 6일 (화) 21:25 기준 최신판
- 다른 뜻에 대해서는 LoRa (무선 네트워크) 문서를 참조하십시오.
- 다른 뜻에 대해서는 LoRA (파인튜닝) 문서를 참조하십시오.
1 개요[ | ]
- low-rank adaptation (LoRA)
- 저랭크 적응
- PEFT의 일종
- 파인튜닝의 재해석 + 적은 수의 파라미터 관리
- 장점: 메모리 절약, 일부 태스크에서 성능 향상
2 같이 보기[ | ]
3 참고[ | ]
- https://arxiv.org/abs/2106.09685
- https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리
- https://huggingface.co/docs/peft/conceptual_guides/lora
- 영어 위키백과 "Fine-tuning (deep_learning)#Low-rank adaptation"
- https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}