勵志

勵志人生知識庫

dssm模型

DSSM模型,全稱Deep Structured Semantic Model,即深層結構語義模型,是一種基於深度神經網路的語義模型。該模型由微軟公司提出,其核心思想是將查詢(query)和文檔(doc)映射到同一維度的語義空間中,通過最大化查詢和文檔語義向量之間的餘弦相似度來訓練模型,從而得到隱含語義模型,實現檢索的目的。

DSSM模型的結構通常分為三層,分別是輸入層、表示層和匹配層。在輸入層,DSSM使用詞袋模型將文本表示為Term Vector形式的Embedding向量。表示層通過word hashing技術降低Term Vector的維度,然後通過全連線層進行語義特徵的提取和維度降低。在匹配層,通過計算查詢與文檔之間的餘弦相似度來衡量它們之間的相關性,並將這種語義相似性轉化為一個後驗機率。

DSSM模型最初套用於自然語言處理NLP)領域中的計算語義相似度任務。由於其核心思想是語義匹配,這與推薦場景中的排序問題相似,因此DSSM模型也被自然地引入到推薦系統中。在推薦領域,DSSM通過構建用戶和物品的兩個獨立子網路,分別得到user embedding和item embedding,因此得名「雙塔模型」。

此外,DSSM模型在訓練時可以利用點擊數據來最大化給定查詢下點擊過的文檔的條件機率。為了適應更大規模的網路檢索,DSSM採用了詞哈希技術來有效縮減模型的規模。實驗結果表明,DSSM模型在網路文檔排序方面明顯優於當時的其它潛在語義模型。DSSM的雙塔結構不僅在搜尋問題中表現出色,而且在推薦系統中也展現了強大的競爭力,被廣泛套用於工業界。