RAG（Retrieval Augmented Generation）是一種利用檢索技術來增強大語言模型（LLM）的技術。它通過從某些數據源檢索信息，並將這些信息作為上下文提供給LLM，從而改進生成的答案。RAG的基本流程包括：
分塊與向量化：將文本數據分割成塊，並使用transformer編碼器模型將這些塊編碼為向量，以便於搜尋。
搜尋索引：為這些向量建立索引，以便於快速檢索。
重排和過濾：對檢索到的信息進行排序和過濾，以提供最相關的上下文給LLM。
查詢轉換：將用戶查詢轉換為模型可以理解的格式。
聊天引擎：用於與用戶進行互動，接收用戶輸入並返回回答。
查詢路由：決定哪些查詢應該被傳送到LLM進行回答。
智慧型體：負責協調各個組件，確保系統的順暢運行。
回響合成：將LLM的輸出與檢索到的上下文合併，生成最終的回答。
RAG的優點在於它結合了檢索技術的準確性和LLM的生成能力，可以在不增加模型大小的情況下提高性能。此外，RAG還支持對特定領域的數據進行檢索，從而提高了答案的相關性和準確性。然而，RAG也面臨一些挑戰，如數據安全性和知識的局限性問題。由於LLM的知識完全源於其訓練數據，對於一些實時性、非公開或離線的數據可能無法獲取，導致模型無法具備這部分知識。此外，對於企業來說，數據安全至關重要，因此在使用RAG時需要考慮到數據的安全性和隱私保護問題。