句向量是指能 夠 表徵整 個句子 語 義的向量。目前，通 過BERT模型 結 構 來 實 現句向量是一 種效果 較好的方法。句向量可以 套用 於聚 類、 處理大 規模文本相似度比 較以及 基於 語 義 搜尋的信息 檢索等任 務。例如，在 搜尋系 統中， 輸入查 詢(query) 與匹配文 檔(document)之 間的相似度比 較，或 問答任 務中的 問 題 與答案之 間的 語 義相 關度 計算，都可以 轉化 為 計算 兩個句子的 語 義相似度或相 關度， 並以相 關度最高的 幾個 結果作 為模型的返回 結果。
BERT模型在句子分 類和句子 對回 歸任 務上取得了 state-of-the-art 的表 現，它使用 cross-encoder 結 構， 將 兩個句子拼接 後 輸入模型，通 過 帶有自注意力 機制的 Transformer 網路得到最 終的 預 測值。然而， 這 種 結 構不 適 用於大量句子 對的回 歸任 務，因 為 對於大 規模的 數 據集，如10000 個句子中找出每 個句子最相似的句子，需要 進行 約49995000次的推理 計算， 這是不 現 實的。因此，在 實 際 套用中，通常 會先通 過召回 階段， 將所有文 檔 輸入BERT模型提取出句向量 進行存 儲，而在 實 際使用 時，只需 計算查 詢的句向量，然 後利用 FAISS 等近似最近 鄰 (ANN) 工具 從所有文 檔中召回相 關度最高的 幾個 結果。
Sentence-BERT（SBERT）是一 種改 進型的BERT模型，它能 夠提取 表徵句子 語 義的句向量， 適 用於上述的召回 階段，提高了 檢索效率和 準確性。