AI聊天無敏感詞：技術原理與應用實踐
基礎 RAG 技術包括檢索上下文相關信息和結合生成過程兩個階段。通過將用戶查詢轉換為向量進行匹配，RAG 能夠從數據庫中檢索最相關的信息。
在檢索階段，用戶的查詢被轉化為向量形式，以便在向量數據庫中進行匹配。這一步驟確保了檢索到的信息與用戶的需求高度相關。
在增強階段，檢索來的信息與原始查詢一起被嵌入到提示中，這種合成的提示能夠提高生成的準確性。
最終，增強的提示被輸入到大語言模型中，以生成精確的回答，從而實現信息的有效傳遞。
高級 RAG 技術在基礎流程之上，增加了復雜的算法和優化步驟，以進一步提高信息檢索和生成的質量。
分塊是將文本分割成小塊，以便嵌入到向量中進行處理。矢量化則是將文本塊轉化為向量，以便進行相似性搜索。
搜索索引用于高效存儲和檢索向量化的內容，層次索引則通過分層次的方式提高檢索效率，適用于大規模文檔集。
查詢轉換涉及對用戶輸入進行修改，以提高檢索質量。路由則是根據查詢內容，決定使用哪個索引或數據源進行檢索。
分塊是將文檔分割成小塊的過程，確保每個塊都有足夠的上下文以便于后續的矢量化和檢索。
矢量化是將文本塊轉化為向量的過程，使用預訓練的嵌入模型來捕捉文本的語義信息，以便于后續的相似性搜索。
矢量數據庫用于存儲和管理矢量化后的文本塊，支持高效的相似性搜索和檢索。
向量存儲索引用于存儲矢量化的文本塊，通過近似最近鄰算法實現高效檢索。
層次索引通過將文檔分成多個層次來提高檢索效率，適用于需要從大量文檔中快速檢索信息的場景。
假設問題是為每個文本塊生成可能的查詢，以提高檢索效率。HyDE 是一種逆向邏輯的方法，通過生成假設響應來增強檢索。
查詢轉換是使用大語言模型對用戶輸入進行修改，以提高檢索質量和生成的準確性。
路由策略決定了用戶查詢應該發送到哪個索引或數據源進行處理，以確保檢索的效率和準確性。
多文檔檢索涉及在多個文檔中查找相關信息，并將其綜合成一個完整的回答。
在 RAG 中，Agent 負責執行復雜的邏輯操作，通過調用一系列工具和函數來完成指定任務。
響應合成是根據檢索到的上下文生成最終答案的過程，確保回答的準確性和相關性。
微調涉及對編碼器、排序器和大語言模型進行優化，以提高整個 RAG 系統的性能和生成質量。
