LoRA（Low-Rank Adaptation of Large Language Models）模型是一種用於大型語言模型（LLM）的微調技術。
這種模型通過在LLM中加入低秩約束，使得模型能夠在保持原有性能的同時，減少需要調整的參數數量。LoRA通過在模型的每一層之間增加一箇低秩更新矩陣來工作，這個矩陣相對於整個模型的參數來說非常小，因此可以顯著減少計算量和存儲需求，同時提高訓練效率。
LoRA不僅適用於語言模型，還可以應用於其他類型的模型，如Stable-Diffusion模型中的交叉關注層，以改善文本到圖像的生成效果。這種技術的使用，使得開發者能夠利用較少的訓練數據和計算資源，實現模型的定製化，非常適合社區使用者和個人開發者。