IT咨詢顧問的關鍵抓手-DeepSeek+企業架構-快速的熟悉和洞察一個新的行業
由開源的推理模型在推理性能上已能對標正式版本。值班場景需要處理大量告警工單，借助實現智能告警處理：通過模型自動識別告警信息，并基于歷史處置記錄生成合理建議。由于告警數據涉及核心業務機密，直接調用云端API存在安全隱患。同時考慮到告警類型動態增加，且同類告警可能存在多種處置方案，最終確定以下技術路線：本地化部署模型：選擇支持開源協議的Ollama框架，相較于閉源的LM Studio更符合數據管控要求；動態知識庫構建：采用技術實現實時知識更新。具體實施方案如下：通過Ollama本地部署DeepSeek-R1推理模型；使用AnythingLLM桌面版搭建RAG系統，其零代碼特性大幅降低實現門檻；建立歷史，支持增量更新處置方案。未來計劃通過提升系統穩定性。
Ollama作為一款開源的大模型管理框架，為AI大模型的本地化部署提供了完整的解決方案。它主要解決了以下兩個核心問題：硬件配置與環境搭建:Ollama通過預置的優化配置，自動適配不同硬件環境，簡化了CUDA、依賴庫等環境配置的復雜度。模型管理與服務部署:提供統一的模型管理接口，支持一鍵式模型下載與部署，極大降低了使用門檻。
Ollama的官網地址是官網，不需要魔法就能訪問，下載速度也是一流，進入官網點擊Download就能完成下載與安裝，如下圖所示。
具體安裝可參考這篇推文：在本地電腦部署自己的 DeepSeek 大模型 AI：小白也能輕松上手
RAG（檢索增強生成）在成功通過本地部署并開放端口服務后，我們已經具備了構建RAG（Retrieval Augmented Generation，檢索增強生成）系統的基礎能力。在當今成熟的大模型生態下，借助現有框架快速實現業務需求已成為主流開發范式。本文將基于AnythingLLM框架實現RAG功能。RAG（檢索增強生成）是一種結合檢索和生成的技術，它在用戶提問時，先從預先準備的數據庫中搜索相關信息，并將檢索到的內容注入到大模型中，提供給大模型進行推理。這種方式相當于為大模型補充外部知識，使其在回答問題時能夠參考更準確、相關的信息，從而提升回答的精準度和可靠性。
RAG結合提示詞工程（Prompt Engineering）的工作流程，整體架構如下：
以上就是對RAG概念的一個簡單介紹。毋庸置疑，想要從零實現一個RAG框架，勢必少不了一番折騰。幸運的是，如今已有現成的解決方案可供使用——接下來要介紹的AnythingLLM。簡而言之，AnythingLLM是一款All-In-One的AI應用程序，支持在本地構建AI知識庫，并打造屬于自己的智能Agent，讓RAG的實現變得更加輕松高效。
The all-in-one AI application. Any LLM, any document, any agent, fully private.
AnythingLLM支持的能力可以見Features，是絕對新手向友好的AI應用程序，強烈建議大家下載來體驗一下。
使用AnythingLLM構建RAG應用，只需要選定使用的大模型并上傳知識庫就行了，下面我們就一起來實現下。
下載并安裝AnythingLLM
請注意，建議選擇下載桌面版，相比于Ollama，AnythingLLM的下載速度會更慢。此外，在安裝過程中，系統會自動安裝向量數據庫等必要組件，因此下載和安裝的時間通常以小時為單位，請耐心等待。安裝完成后，首次打開時會有一個引導界面，隨意選擇即可，后續可以在設置中隨時重新調整配置。
配置大模型和向量數據庫
打開進入AnythingLLM后，在界面左下角打開設置。
在人工智能提供商-LLM首選項中配置大模型為基于Ollama本地部署的DeepSeek-R1模型。
在人工智能提供商-向量數據庫中將向量數據庫配置為LanceDB。
創建Workspace
點擊新工作區創建一個Workspace。
Workspace是配置知識庫的最小單元，支持獨立配置大模型和向量數據庫。若未進行單獨配置，系統將默認使用全局設置，即人工智能提供商-LLM首選項和人工智能提供商-向量數據庫中預設的大模型與向量數據庫。由于全局配置已完成，此處無需對Workspace進行額外配置。
創建一個Thread開啟聊天
開始聊天之前需要先創建一個Thread。
default是默認Thread。還記得本文要解決的問題是什么嗎，就是我希望大模型可以根據上下文進行回答，假設我一條告警關鍵數據如下所示。那么此時我如果直接問大模型告警編碼為APPLICATION-SECURITY-AUTHORIZATION-ERROR-098的告警，大模型肯定會開始自由發揮，例如我使用如下的Prompt。
大模型的回答如下。
可以明顯觀察到，即使是強大的大模型，在處理組內告警這類高度定制化的場景時，也會出現“一本正經地胡說八道”的現象。這是因為基座大模型的訓練數據中并沒有這些數據，針對這種情況，通常有兩種解決方案：1. 人工標注數據；2. 使用知識庫。在本方案中，我們選擇了使用知識庫。為Workspace添加知識庫
在為Workspace添加知識庫時，只需將在線文檔的網頁地址提供給AnythingLLM，系統會自動將對應地址的HTML文件向量化并存儲到向量數據庫中。除了網頁地址，知識庫的添加還支持多種文件格式，包括txt文本、csv文件以及音頻文件等。點擊Workspace中的以下按鈕即可打開添加頁面：
添加頁面如下所示。
可以上傳文件，也可以指定網頁地址，成功添加的內容會出現在My Documents欄目中，選中My Documents欄目中的內容，點擊Move to Workspace可以將添加的內容加入到當前Workspace中。我這里已經添加過了就不再添加了。最后點擊開始向量化即可將選中內容向量化。我添加的文件如下表所示。以下是基于提供的告警信息和告警示例。告警編碼是隨機生成的，告警描述和處置建議根據常見的運維場景進行搭配。
| 告警編碼 | 告警描述 | 處置建議 | 是否有效 |
|---|---|---|---|
| NETWORK-LATENCY-001 | 網絡延遲過高 | 檢查網絡設備狀態，優化網絡配置 | 有效 |
| DISK-USAGE-002 | 磁盤使用率超過90% | 清理磁盤空間或擴展磁盤容量 | 有效 |
| CPU-OVERLOAD-003 | CPU使用率持續超過80% | 檢查高負載進程，優化資源分配 | 有效 |
此時再使用相同Prompt詢問大模型，得到的答案明顯靠譜多了。
隨著告警信息的越來越豐富，以及我們可以不斷調整Prompt做優化，大模型最后給出的告警處置建議會越來越準確。
以上介紹了基于Ollama和AnythingLLM構建RAG：
隨著AI技術的普及，掌握AI工具的使用正在成為開發者的必備技能，其重要性不亞于傳統中間件技術。本方案為小團隊快速構建領域AI應用提供了可行路徑，展現了AI技術落地的實際價值。
【Java】線程池梳理【OpenFeign】OpenFeign 簡介和使用【計算機基礎】原碼、反碼、補碼詳解以上，便是今天的分享，希望大家喜歡，覺得內容不錯的，歡迎「分享」「贊」或者點擊「在看」支持，謝謝各位。
原文轉載自：https://mp.weixin.qq.com/s/cDs4OEwqWlSd-RXxEKFuwA
