CLIP（Contrastive Language-Image Pre-Training）是一種由OpenAI開發的預訓練模型，旨在匹配圖像和文本。它使用對比學習的方法，通過在大量的網際網路圖像文本對上進行預訓練，CLIP能夠在沒有見過的新類別上進行zero-shot學習，即在沒有任何監督信息的情況下識別新類別。
CLIP模型由兩個主要部分組成：圖像編碼器和文本編碼器。圖像編碼器可以是基於卷積神經網路（CNN）或視覺變換器（ViT）的模型，而文本編碼器則通常是一個基於Transformer的模型。這些編碼器將各自的輸入（圖像或文本）轉換到同一個多模態嵌入空間。在這個空間中，相關的圖像和文本彼此靠近，不相關的則遠離。
在訓練階段，CLIP計算目標圖像和對應文本描述的餘弦相似度，以獲取預測值。它通過最大化正確圖像-文本對的相似度，同時最小化錯誤對的相似度來進行訓練。在推理過程中，CLIP可以將新類別的文本描述作為輸入，通過計算與預訓練數據中圖像的餘弦相似度來進行分類。
CLIP在多種任務中表現出色，包括zero-shot文本-圖像檢索、zero-shot圖像分類、文本→圖像生成任務guidance以及open-domain檢測分割等。它的強大之處在於能夠理解和區分圖像和文本之間的複雜關係，即使在未見過的類別上也能進行有效識別。