AI Agent應用——AgentGPT技術詳解
【AI驅動】
背景 由于chatgpt的發展，除了基礎的問答需求，利用chatgpt完成一系列復雜任務的需求也應用而生，產生了很多關于ai agent的應用框架，具體應用如下圖，包括開源和商業的。 得益于llm模型的強大能力，將llm...
2024/12/06
LLM之RAG實戰（十）| 如何構建一個RAG支持的聊天機器人，包括聊天、嵌入和重排序
【AI驅動】
?在人工智能和機器學習不斷發展的環境中，聊天機器人變得越來越復雜，從簡單的基于規則的回復轉變為基于上下文的對話。在這篇博客文章中，我們將深入研究創建一個RAG支持的聊天機器人，該聊天機器人利用先進的NLP模型進行聊天、嵌入和重新排序，并使用...
2024/12/06
LLM之RAG實戰（七）| 使用llama_index實現多模態RAG
【AI驅動】
一、多模態RAG ? ? ? ?OpenAI開發日上最令人興奮的發布之一是GPT-4V API（ ? ? ? 在過去的一年里，大部分應用程序開發都是圍繞文本輸入/文本輸出范式。最典型的例子之一是檢索增強生成（RAG）——將LLM...
2024/12/06
LLM之RAG實戰（四）：Self-RAG如何革命工業LLM
【AI驅動】
盡管LLM（大型語言模型）的模型和數據規模不斷增加，但它們仍然面臨事實錯誤的問題。現有的Retrieval-Augmented Generation (RAG)方法可以通過增強LLM的輸入來減少知識密集任務中的事實錯誤，但可能會影響模型的通...
2024/12/06
LLM之RAG實戰（三）：LlamaIndex解鎖自定義LLM關鍵步驟分塊、索引、查詢介紹
【AI驅動】
一、LLamaIndex介紹 ? ? ? ?LLamaIndex是一個由Jerry Liu創建的Python庫，它可以使用語言模型對大型文檔集進行高效的文本搜索和摘要。開發人員可以使用LLamaIndex快速添加私有/自定義數據，以增...
2024/12/06
LLM之RAG實戰（二）：使用LlamaIndex + Metaphor實現知識工作自動化
【AI驅動】
最先進的大型語言模型（LLM），如ChatGPT、GPT-4、Claude 2，具有令人難以置信的推理能力，可以解鎖各種用例——從洞察力提取到問答，再到通用工作流自動化。然而，他們檢索上下文相關信息的能力有限。檢索增強生成（RAG）系統可以...
2024/12/06
LLM推理部署（七）：FireAttention——通過無損量化比vLLM快4倍
【AI驅動】
Mixtral作為第一個在數萬億tokens上訓練的OSS模型，最近在人工智能社區掀起了波瀾，它支持“混合專家”（MoE），并且訓練和推理速度非常快。 Fireworks AI是第...
2024/12/06
LLM推理部署（六）：TogetherAI推出世界上LLM最快推理引擎，性能超過vLLM和TGI三倍
【AI驅動】
LLM能有多快？答案在于LLM推理的最新突破。 ? ? ? ?TogetherAI聲稱，他們在CUDA上構建了世界上最快的LLM推理引擎，該引擎運行在NVIDIA Tensor Core GPU上。Together推理引擎可以支持10...
2024/12/06
LLM推理部署（五）：AirLLM使用4G顯存即可在70B大模型上進行推理
【AI驅動】
眾所周知，大模型的訓練和推理需要大量的GPU資源，70B參數的大模型需要130G的GPU顯存來存儲，需要兩個A100（顯存為100G）。 在推理過程中，整個輸入序列也需要加載到內存中進行復雜的...
2024/12/06
LLM推理部署（四）：一個用于訓練、部署和評估基于大型語言模型的聊天機器人的開放平臺FastChat
【AI驅動】
FastChat是用于對話機器人模型訓練、部署、評估的開放平臺。體驗地址為： FastChat核心特性包括： 提供了SOTA模型（比如Vicuna，FastChat-T5）的模型權重，訓練代碼，評估代碼； 分...
2024/12/06
LLM推理部署（一）：LLM七種推理服務框架總結
【AI驅動】
自從ChatGPT發布以來，國內外的開源大模型如雨后春筍般成長，但是對于很多企業和個人從頭訓練預訓練模型不太現實，即使微調開源大模型也捉襟見肘，那么直接部署這些開源大模型服務于企業業務將會有很大的前景，本文將介紹七中主流的LLM推理和服務開...
2024/12/06
LLM微調系列：LORA(5)
【AI驅動】
Lora LoRA，英文全稱Low-Rank Adaptation of Large Language Models。 凍結預訓練好的模型權重參數，然后在每個Transformer塊里注入可訓練的層，由于不需要對模型的權重參數重...
2024/12/06
LLM微調（三）| 大模型中RLHF + Reward Model + PPO技術解析
【AI驅動】
本文將深入探討RLHF（Reinforcement Learning with Human Feedback）、RM（reward model）和PPO（Proximal Policy Optimizer）算法的概念。然后，通過代碼演示使用...
2024/12/06
LLM微調（二）| 微調LLAMA-2和其他開源LLM的兩種簡單方法
【AI驅動】
本文將介紹兩種開源工具來微調LLAMA-2。 一、使用autotrain-advanced微調LLAMA-2 ? ? ? ?AutoTrain是一種無代碼工具，用于為自然語言處理（NLP）任務、計算機視覺（CV）任務、語音任務甚...
2024/12/06
擴散模型實戰（二）：擴散模型的發展
【AI驅動】
??擴散模型從最初的簡單圖像生成模型，逐步發展到替代原有的圖像生成模型，直到如今開啟 AI 作畫的時代，發展速度可謂驚人。下面介紹一下2D圖像生成相關的擴散模型的發展歷程，具體如下： 開始擴散：基礎擴散模型的提出與改進； 加速...
2024/12/06
