NLU（自然語言理解）模型是一類用於處理和理解人類語言的任務的機器學習和深度學習模型。這些模型能夠執行常見的文本分類、序列標註、信息抽取等任務，使機器能夠像人類一樣理解文本內容。NLU模型可以分為兩大類：
自編碼預訓練模型：如BERT（雙向預訓練Transformer）和RoBERTa（預訓練BERT的衍生模型）。這些模型特別適合處理NLU類任務，如分類和抽取等，因為它們的輸出範圍確定，評價方法相對明確。
自回歸預訓練模型：如GPT（單向預訓練Transformer）和T5（預訓練Transformer的衍生模型）。這些模型特別適合處理NLG類任務，如文本生成、生成式摘要、對話等，因為它們的輸出自由度高，評價方法較難，更具有創造性。
此外，還有一些其他類型的NLU模型，如XLNet（雙向預訓練Transformer）、ALBERT（預訓練BERT的衍生模型）、ELMo（雙層LSTM的預訓練模型）、ULMFit（預訓練LSTM的衍生模型）等。這些模型各有特點，適用於不同的自然語言處理任務。
在Rasa開源項目中，NLU模型用於執行意圖分類、實體提取和回響檢索等任務。Rasa NLU是一個組件，它允許上下文助理理解用戶每句話的意圖，是構建複雜自然對話的必要組成部分。
在自然語言處理領域，"預訓練+精調"的新範式已經開啟，通過添加額外的預訓練損失可以進一步提升泛化性能，以緩解「災難性遺忘」問題。語言模型的容量是實現zero-shot任務遷移的關鍵所在。