(→개요) |
|||
| (같은 사용자의 중간 판 4개는 보이지 않습니다) | |||
| 2번째 줄: | 2번째 줄: | ||
{{다른뜻|LoRA (파인튜닝)|LoRA}} | {{다른뜻|LoRA (파인튜닝)|LoRA}} | ||
==개요== | ==개요== | ||
;low-rank adaptation (LoRA) | ;[[low-rank]] [[adaptation]] (LoRA) | ||
;저랭크 적응 | ;저랭크 적응 | ||
* [[PEFT]]의 일종 | |||
* 파인튜닝의 재해석 + 적은 수의 파라미터 관리 | * 파인튜닝의 재해석 + 적은 수의 파라미터 관리 | ||
* 장점: 메모리 절약, 일부 태스크에서 성능 향상 | * 장점: 메모리 절약, 일부 태스크에서 성능 향상 | ||
| 18번째 줄: | 19번째 줄: | ||
==참고== | ==참고== | ||
* https://arxiv.org/abs/2106.09685 | * https://arxiv.org/abs/2106.09685 | ||
* https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리 | |||
* https://huggingface.co/docs/peft/conceptual_guides/lora | * https://huggingface.co/docs/peft/conceptual_guides/lora | ||
* {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | * {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | ||
* https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650 | * https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650 | ||
[[분류: PEFT]] | |||
[[분류: 머신러닝]] | [[분류: 머신러닝]] | ||
[[분류: 인공지능]] | [[분류: 인공지능]] | ||
2024년 2월 6일 (화) 21:25 기준 최신판
- 다른 뜻에 대해서는 LoRa (무선 네트워크) 문서를 참조하십시오.
- 다른 뜻에 대해서는 LoRA (파인튜닝) 문서를 참조하십시오.
1 개요[ | ]
- low-rank adaptation (LoRA)
- 저랭크 적응
- PEFT의 일종
- 파인튜닝의 재해석 + 적은 수의 파라미터 관리
- 장점: 메모리 절약, 일부 태스크에서 성능 향상
2 같이 보기[ | ]
3 참고[ | ]
- https://arxiv.org/abs/2106.09685
- https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리
- https://huggingface.co/docs/peft/conceptual_guides/lora
- 영어 위키백과 "Fine-tuning (deep_learning)#Low-rank adaptation"
- https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}