P-Tuning v2是一種針對預訓練模型（如BERT、GPT）的微調方法，旨在提高模型的泛化能力同時保持原有性能。它通過在預訓練模型的基礎上添加少量可訓練參數來實現這一目標。具體來說，P-Tuning v2在模型的每一層都添加了prompt作為前綴tokens，這些prompt是可學習的參數，能夠影響模型的輸出。這種方法不僅增加了模型的容量，提高了參數效率，而且使得prompt對模型預測產生更直接的影響。
與傳統的微調（fine-tuning）方法相比，P-Tuning v2可以在不存儲所有預訓練參數梯度和最佳化器狀態的情況下進行，從而減少了記憶體消耗。此外，P-Tuning v2在推理過程中只需要一份模型參數，無論任務如何變化，這大大簡化了模型的使用過程。
在自然語言理解（NLU）任務中，P-Tuning v2的性能可以與傳統的微調方法媲美，甚至在某些情況下表現更優。這種方法不僅適用於大規模模型，也適用於中等規模的模型，提高了模型的普適性和效率。