CLS token的主要作用是在Transformer模型中學習輸入序列的概括信息。
在各種NLP和視覺任務中，CLS token通常位於輸入序列的開始，用於表示整個序列的內容。在BERT模型中，CLS token被特別設計用於標記序列的開頭，並作為後續分類或預測的依據。
在預訓練過程中，模型會學習CLS token所代表的上下文信息，並將其編碼成一個固定長度的向量。這個向量包含了整個序列的重要特徵或關鍵字，非常適用於文本分類、命名實體識別等下游任務。
此外，CLS token的位置在Transformer模型中是固定的，這有助於保持位置不變性，對於視覺任務中提取全局特徵非常有用。而且，在訓練時共享相同的CLS token對於提高模型的泛化能力也有幫助，因為模型可以學習到與圖像級別相關的特徵，而不僅僅是單個圖像的特徵。