DINO是一種自監督學習模型，旨在通過對比學習在大規模無標籤數據集上學習視覺通用表徵。該方法的核心思想是利用自蒸餾技術，通過比較學生模型和教師模型的輸出，以提升表示學習的質量。DINO由Facebook AI於2021年提出，是首個基於Transformer架構的自監督學習模型之一。
DINO的工作原理如下：
模型結構：DINO包含一個學生模型和一個教師模型，兩者具有相同的網路結構但參數不同。學生模型接收所有裁剪後的圖像，而教師模型僅接收全局視角的裁剪圖，以指導學生模型學習從局部到全局的回響。
多尺度裁剪學習：DINO採用多尺度裁剪策略，包括局部視角（small crops）和全局視角（large crops），以增強模型的魯棒性。
動量教師模型：教師模型的權重更新不是直接通過反向傳播，而是通過指數移動平均法，基於學生模型的權重進行更新，這有助於提高模型的穩定性和泛化能力。
防止模型坍塌：為了防止模型坍塌（即網路學習過程中出現的多樣性減少現象），DINO採用了centering和sharpening技術。
DINO不需要人為提供的標籤，而是通過輸入圖像的某種機制讓網路學會理解圖像本身的語義信息。這種方法可以在大規模無標籤數據上進行訓練，從而學習到具有可傳遞性的視覺特徵表示。DINO的名稱由「Distillation」和「NO labels」兩個詞組成，體現了其自蒸餾和無監督學習的特點。
DINO模型的學習過程不僅提高了模型的性能和泛化能力，而且為計算機視覺的其他下游任務（如分類和檢測）提供了有效的圖像特徵表示。