勵志

勵志人生知識庫

分布表示

分布表示(distributional representation)和分散式表示(distributed representation)是兩個相關但不同的概念。

分布表示:

基於分布假設理論,利用共生矩陣來獲取詞的語義表示。

使用詞語的上下文來表示其語義,如Word2vec和基於計數的詞向量表示。

描述的是上下文的機率分布,因此用上下文描述語義的表示方法都可以稱作分布表示。

與之相對的是形式語義表示

分散式表示:

描述的是把文本分散嵌入到另一個空間,一般從高維空間嵌入到低維空間。

把信息分散式地存儲在向量的各個維度中,與之相對的是局部表示,如詞的獨熱表示。

通過矩陣降維或神經網路降維可以將語義分散存儲到向量的各個維度中,因此,這類方法得到的低維向量一般都可以稱作分散式表示。

總結來說,分布表示側重於使用上下文機率分布來描述詞的語義,而分散式表示則側重於將語義信息分散存儲在向量的各個維度中,通過降維技術實現。兩者都是自然語言處理中重要的概念,分別對應了不同的技術方法和理論框架。