多模態融合是一種技術，它涉及將來自不同信息源的多種信息表示方式（如文本、圖像、聲音、視頻等）聯合起來，以進行目標預測（分類或迴歸）。這種融合可以在不同的層次進行，包括傳感器級、特徵級和信息決策級。多模態融合的目的是整合不同模態的信息，以獲得更全面、準確和可靠的信息。它有助於提高模型的準確度，因爲它可以提供更多的信息，滿足對信息的需求。此外，多模態融合還旨在縮小模態間的異質性差異，保持各模態特定語義的完整性，並在深度學習模型中取得較優的性能。多模態融合架構包括聯合架構、協同架構和編解碼器架構，它們通過不同的方式將單模態表示投影到一箇共享語義子空間中，以便能夠融合多模態特徵。