一、基于Ollama的DeepSeek-R1本地部署實踐

Ollama作為一款開源的大模型管理框架，為AI大模型的本地化部署提供了完整的解決方案。它主要解決了以下兩個核心問題：硬件配置與環境搭建:Ollama通過預置的優化配置，自動適配不同硬件環境，簡化了CUDA、依賴庫等環境配置的復雜度。模型管理與服務部署:提供統一的模型管理接口，支持一鍵式模型下載與部署，極大降低了使用門檻。

Ollama的官網地址是官網，不需要魔法就能訪問，下載速度也是一流，進入官網點擊Download就能完成下載與安裝，如下圖所示。

具體安裝可參考這篇推文：在本地電腦部署自己的 DeepSeek 大模型 AI：小白也能輕松上手

二、基于AnythingLLM的RAG實現

RAG（檢索增強生成）在成功通過本地部署并開放端口服務后，我們已經具備了構建RAG（Retrieval Augmented Generation，檢索增強生成）系統的基礎能力。在當今成熟的大模型生態下，借助現有框架快速實現業務需求已成為主流開發范式。本文將基于AnythingLLM框架實現RAG功能。RAG（檢索增強生成）是一種結合檢索和生成的技術，它在用戶提問時，先從預先準備的數據庫中搜索相關信息，并將檢索到的內容注入到大模型中，提供給大模型進行推理。這種方式相當于為大模型補充外部知識，使其在回答問題時能夠參考更準確、相關的信息，從而提升回答的精準度和可靠性。

RAG結合提示詞工程（Prompt Engineering）的工作流程，整體架構如下：

• 訓練數據 & 領域數據
  • 訓練數據用于LLM（大模型）的預訓練和微調，使其具備基本的推理和生成能力；
  • 領域數據被索引到知識庫，為后續的查詢提供外部信息支持。
• 知識庫 & 檢索器
  • 用戶查詢被送入提示詞工程，解析任務、查詢和樣本信息；
  • 檢索器負責從知識庫中搜索與查詢相關的文檔，獲取輔助信息。
• 增強提示詞 & 生成
  • 搜索到的相關文檔被注入到原始提示詞中，形成一個更豐富、更完整的Prompt；
  • 經過增強的Prompt送入LLM，結合檢索到的信息進行推理和生成。
• 返回結果
  • LLM生成最終的回答，并返回給用戶，實現更精準的問答效果。

以上就是對RAG概念的一個簡單介紹。毋庸置疑，想要從零實現一個RAG框架，勢必少不了一番折騰。幸運的是，如今已有現成的解決方案可供使用——接下來要介紹的AnythingLLM。簡而言之，AnythingLLM是一款All-In-One的AI應用程序，支持在本地構建AI知識庫，并打造屬于自己的智能Agent，讓RAG的實現變得更加輕松高效。

The all-in-one AI application. Any LLM, any document, any agent, fully private.

AnythingLLM支持的能力可以見Features，是絕對新手向友好的AI應用程序，強烈建議大家下載來體驗一下。

使用AnythingLLM構建RAG應用，只需要選定使用的大模型并上傳知識庫就行了，下面我們就一起來實現下。

下載并安裝AnythingLLM

請注意，建議選擇下載桌面版，相比于Ollama，AnythingLLM的下載速度會更慢。此外，在安裝過程中，系統會自動安裝向量數據庫等必要組件，因此下載和安裝的時間通常以小時為單位，請耐心等待。安裝完成后，首次打開時會有一個引導界面，隨意選擇即可，后續可以在設置中隨時重新調整配置。

配置大模型和向量數據庫 打開進入AnythingLLM后，在界面左下角打開設置。

在人工智能提供商-LLM首選項中配置大模型為基于Ollama本地部署的DeepSeek-R1模型。

在人工智能提供商-向量數據庫中將向量數據庫配置為LanceDB。

創建Workspace 點擊新工作區創建一個Workspace。

Workspace是配置知識庫的最小單元，支持獨立配置大模型和向量數據庫。若未進行單獨配置，系統將默認使用全局設置，即人工智能提供商-LLM首選項和人工智能提供商-向量數據庫中預設的大模型與向量數據庫。由于全局配置已完成，此處無需對Workspace進行額外配置。

創建一個Thread開啟聊天 開始聊天之前需要先創建一個Thread。

default是默認Thread。還記得本文要解決的問題是什么嗎，就是我希望大模型可以根據上下文進行回答，假設我一條告警關鍵數據如下所示。那么此時我如果直接問大模型告警編碼為APPLICATION-SECURITY-AUTHORIZATION-ERROR-098的告警，大模型肯定會開始自由發揮，例如我使用如下的Prompt。

大模型的回答如下。

可以明顯觀察到，即使是強大的大模型，在處理組內告警這類高度定制化的場景時，也會出現“一本正經地胡說八道”的現象。這是因為基座大模型的訓練數據中并沒有這些數據，針對這種情況，通常有兩種解決方案：1. 人工標注數據；2. 使用知識庫。在本方案中，我們選擇了使用知識庫。為Workspace添加知識庫 在為Workspace添加知識庫時，只需將在線文檔的網頁地址提供給AnythingLLM，系統會自動將對應地址的HTML文件向量化并存儲到向量數據庫中。除了網頁地址，知識庫的添加還支持多種文件格式，包括txt文本、csv文件以及音頻文件等。點擊Workspace中的以下按鈕即可打開添加頁面：

添加頁面如下所示。

可以上傳文件，也可以指定網頁地址，成功添加的內容會出現在My Documents欄目中，選中My Documents欄目中的內容，點擊Move to Workspace可以將添加的內容加入到當前Workspace中。我這里已經添加過了就不再添加了。最后點擊開始向量化即可將選中內容向量化。我添加的文件如下表所示。以下是基于提供的告警信息和告警示例。告警編碼是隨機生成的，告警描述和處置建議根據常見的運維場景進行搭配。

此時再使用相同Prompt詢問大模型，得到的答案明顯靠譜多了。

隨著告警信息的越來越豐富，以及我們可以不斷調整Prompt做優化，大模型最后給出的告警處置建議會越來越準確。

總結

以上介紹了基于Ollama和AnythingLLM構建RAG：

• 模型部署通過Ollama實現DeepSeek-R1的一鍵式本地部署，其開箱即用的特性支持多種主流大模型；
• RAG實現借助AnythingLLM框架，僅需配置大模型和向量數據庫即可快速搭建RAG系統；
• 生態價值降低AI應用開發門檻；支持私有化部署；提供可視化操作界面。

隨著AI技術的普及，掌握AI工具的使用正在成為開發者的必備技能，其重要性不亞于傳統中間件技術。本方案為小團隊快速構建領域AI應用提供了可行路徑，展現了AI技術落地的實際價值。

【Java】線程池梳理【OpenFeign】OpenFeign 簡介和使用【計算機基礎】原碼、反碼、補碼詳解以上，便是今天的分享，希望大家喜歡，覺得內容不錯的，歡迎「分享」「贊」或者點擊「在看」支持，謝謝各位。

原文轉載自：https://mp.weixin.qq.com/s/cDs4OEwqWlSd-RXxEKFuwA