擴散模型實戰（五）：采樣過程
【AI驅動】
??在擴散模型實戰（四）：從零構建擴散模型文章中已經介紹了在原始數據集MNIST中添加噪聲以及基于基本的UNet網絡訓練擴散模型，模型已經可以進行預測，但是發現輸入數據噪聲量很大的時候預測的效果并不好，如下圖所示： ...
2024/12/09
擴散模型實戰（四）：從零構建擴散模型
【AI驅動】
本文以MNIST數據集為例，從零構建擴散模型，具體會涉及到如下知識點： 退化過程（向數據中添加噪聲） 構建一個簡單的UNet模型 訓練擴散模型 采樣過程分析 下面介紹具體的實現過程...
2024/12/09
擴散模型實戰（三）：擴散模型的應用
【AI驅動】
擴散只是一種思想，擴散模型也并非固定的深度網絡結構。除此之外，如果將擴散的思想融入其他領域，擴散模型同樣可以發揮重要作用。 在實際應用中，擴散模型最常見、最成熟的應用...
2024/12/09
LLM漫談（四）| ChatDOC：超越ChatPDF性能并支持更多功能的閱讀聊天工具
【AI驅動】
在過去的一年里，ChatGPT的興起催生了許多基于GPT的人工智能工具，其中Chat PDF工具得到了廣泛關注。這些工具對知識密集型專業人員來說尤其有價值，大大提高了生產力。隨著Chat?PDF工具的激增，選擇正確的工具變得至關重要。 ...
2024/12/09
LLM漫談（三）| 使用Chainlit和LangChain構建文檔問答的LLM應用程序
【AI驅動】
一、Chainlit介紹 ? ? ?Chainlit是一個開源Python包，旨在徹底改變構建和共享語言模型（LM）應用程序的方式。Chainlit可以創建用戶界面（UI），類似于由OpenAI開發的ChatGPT用戶界面，Chain...
2024/12/09
FastAPI:高效的Python Web框架的庫
【AI驅動】
1.?為啥選FastAPI？ 寫過Django或Flask的都知道，這倆框架各有各的好。但FastAPI借鑒了它們的優點，還加入了很多現代特性。它基于Python 3.6+的類型提示功能，寫代碼時編輯器直接就能提示哪里寫錯了，不用等到...
2024/12/06
LangChain | 一種語言模型驅動應用的開發框架
【AI驅動】
1. LangChain介紹 LangChain 是一個框架，用于開發由語言模型驅動的應用程序，它使基于AI模型工作和應用構建的復雜部分變的更容易。LangChain可以將LLMs與外部數據源鏈接，也允許LMMs模型間的交互。 ...
2024/12/06
LLM之RAG理論（十二）| RAG和Graph RAG對比
【AI驅動】
最近Graph RAG非常火，它來自微軟的一篇論文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》，論文地址： 和...
2024/12/06
LLM之RAG理論（十一）| 面向生產的RAG應用程序的12種調整策略指南
【AI驅動】
本文對文本RAG涉及到的主要12種關鍵“超參數”進行簡單總結，主要包括攝取階段（數據清洗、數據分塊、embedding模型選擇、元數據過濾、多重索引和索引算法）和推理階段【檢索和生成】（查詢轉換、檢索參數、高級檢索策略、重排序、大模型和Pr...
2024/12/06
LLM之RAG理論（十）| RAT：一種協同CoT和RAG的 AI 提示策略，助力解決長任務推理和生成
【AI驅動】
論文地址： Github地址： Demo地址： 北京大學、加州大學洛杉磯分校和北京通用人工智能研究院的研究人員探索如何在信息檢索的幫助下迭代修改思想鏈提高大型語言模型在長生成任務中的推理和生成能力，同時極大地減輕幻覺。特...
2024/12/06
LLM之RAG理論（九）| 如何在LLM應用程序中提高RAG結果：從基礎到高級
【AI驅動】
如果你正在用LLM（大型語言模型）構建產品或者功能，你可能會使用一種名為RAG（檢索增強生成）的技術。RAG允許用戶將LLM的訓練數據中不可用的外部數據集成到LLM的文本生成過程中，這可以大大減少幻覺的產生，并提高文本響應的相關性。 ...
2024/12/06
LLM之RAG理論（八）| 提高RAG性能的9種技術
【AI驅動】
2023年是迄今為止NLP發展最快的一年。這年，ChatGPT與許多其他大型語言模型層出不窮，包括開源的和閉源的。 ? ? ? ?與此同時，各個行業對個性化和全面運營的RAG的需求也在飆升，每個客戶都渴望擁有自己的量身定制...
2024/12/06
LLM之RAG理論（七）| 高提升RAG檢索的四種方法
【AI驅動】
RAG兩大核心組件：檢索和生成。本文將總結四種提高RAG系統檢索質量的技術：1）子問題查詢引擎（來自LlamaIndex），2）RAG-Fusion、3）RAG-end2end和4）著名的LoRA技巧。 一、LLM對問題進...
2024/12/06
LLM之RAG理論（六）| 高級RAG指南和技巧
【AI驅動】
一、基本RAG介紹 ? ? ? ?基本RAG需要從外部知識數據庫中獲取文檔，然后，將這些文檔與用戶的查詢一起被傳輸到LLM，用于生成響應。從本質上講，RAG包括一個檢索組件、一個外部知識數據庫和一個生成組件。 在基本的R...
2024/12/06
LLM之RAG理論（五）| 使用知識圖譜增強RAG
【AI驅動】
知識圖譜（KG）或任何圖都包括節點和邊，其中每個節點表示一個概念，每個邊表示一對概念之間的關系。本文介紹一種將任何文本語料庫轉換為知識圖譜的技術，本文演示的知識圖譜可以替換其他專業知識圖譜。 一、知識圖譜 ...
2024/12/06
