| (같은 사용자의 중간 판 16개는 보이지 않습니다) | |||
| 1번째 줄: | 1번째 줄: | ||
{{다른뜻|LoRa (무선 네트워크)}} | {{다른뜻|LoRa (무선 네트워크)|LoRa}} | ||
{{다른뜻| | {{다른뜻|LoRA (파인튜닝)|LoRA}} | ||
==개요== | ==개요== | ||
; | ;[[low-rank]] [[adaptation]] (LoRA) | ||
;저랭크 적응 | |||
* [[PEFT]]의 일종 | |||
* 파인튜닝의 재해석 + 적은 수의 파라미터 관리 | |||
* 장점: 메모리 절약, 일부 태스크에서 성능 향상 | |||
==같이 보기== | ==같이 보기== | ||
{{z컬럼3| | |||
* [[파인튜닝]] | * [[파인튜닝]] | ||
* [[특이값 분해]] | |||
* [[대규모 언어 모델]] | * [[대규모 언어 모델]] | ||
* [[transfer learning]] | * [[transfer learning]] | ||
* [[domain adaptation]] | * [[domain adaptation]] | ||
}} | |||
==참고== | ==참고== | ||
* https://arxiv.org/abs/2106.09685 | |||
* https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리 | |||
* https://huggingface.co/docs/peft/conceptual_guides/lora | |||
* {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | * {{영어위키백과|Fine-tuning (deep_learning)#Low-rank adaptation}} | ||
* https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650 | |||
[[분류: PEFT]] | |||
[[분류: 머신러닝]] | [[분류: 머신러닝]] | ||
[[분류: 인공지능]] | [[분류: 인공지능]] | ||
2024년 2월 6일 (화) 21:25 기준 최신판
- 다른 뜻에 대해서는 LoRa (무선 네트워크) 문서를 참조하십시오.
- 다른 뜻에 대해서는 LoRA (파인튜닝) 문서를 참조하십시오.
1 개요[ | ]
- low-rank adaptation (LoRA)
- 저랭크 적응
- PEFT의 일종
- 파인튜닝의 재해석 + 적은 수의 파라미터 관리
- 장점: 메모리 절약, 일부 태스크에서 성능 향상
2 같이 보기[ | ]
3 참고[ | ]
- https://arxiv.org/abs/2106.09685
- https://webnautes.tistory.com/2269 LoRA( Low-Rank Adaptation of Large Language Models ) 개념 간단 정리
- https://huggingface.co/docs/peft/conceptual_guides/lora
- 영어 위키백과 "Fine-tuning (deep_learning)#Low-rank adaptation"
- https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}