模型使用的是Deepseek-R1-Distill-Qwen-32B-GGUF模型

輸出 Tokens大約是每秒36 tokens左如圖所示,(ChatGPT-3.5 每秒生成速度僅為40 個token)

然后使用LM Studio加載模型(下文有詳細的介紹為什么不使用ollama),開啟它的API調用,然后在同一個局域網下的MAC上使用最新版本的Cline來調用(之所以使用MAC是因為我本人不太會也不習慣使用Windows)實際的輸出速度效果可以在下面視頻視頻段落中查看, 如果你查看具體的配置要求,可以看一下這個顯卡和模型對照的天梯圖:KCORES 大語言模型推理專用顯存天梯如果你是筆記本用戶或者是使用AMD顯卡或者顯卡不太行的可以查看這里在本地進行體驗測試:怎么在家用筆記本上輕松部署和使用DeepSeek R1?視頻演示—為什么選擇本地部署DeepSeek R1?—這個問題也是一個讀者朋友在上一篇文章里面的留言留言，我直接把截圖發上來

這里再整理一下：

• 數據安全與隱私保護: 將數據存儲自己的設備上避免數據泄露和隱私風險，對于處理敏感信息的企業和個人尤為重要。
• 降低成本: 避免了云端API調用費用，長期使用成本更低，尤其適合需要頻繁調用LLM的用戶。
• 提升性能: 本地部署可以減少網絡延遲，提高模型響應速度，提升用戶體驗。
• 個性化定制:根據自身需求對本地部署的LLM進行微調和定制。
• 離線可用性: 沒有網絡連接的情況下訪問和使用LLM，這對于某些特定場景至關重要。
• 自定義模型實驗: 提供了更大的自由度來試驗和修改LLM，從而可以更好地滿足個性化需求。
• 減少對外部API的依賴: 獨立運行LLM，無需依賴第三方API，提高了系統的穩定性和可靠性。

為什么是LM Studio不是ollama

LM Studio 是一款專門為本地運行大語言模型(LLM)設計的桌面軟件。它的最大特點是讓復雜的 LLM 部署變得簡單直觀。說再直白一點:它就是一個智能模型的"應用商店"加"播放器"的結合體。

打開軟件后就能看到一個整潔的界面，上面列出了許多熱門的開源模型供你選擇，比如 Llama 2、Vicuna、Mistral,DeepSeek等。選擇模型就像在應用商店下載應用一樣簡單，只需點擊幾下就能完成。軟件會自動判斷你的電腦配置，并推薦適合你硬件條件的模型版本。

更貼心的是，LM Studio 提供了圖形化的設置界面。你可以像調整音響設備一樣，輕松地調節模型運行時使用多少 GPU 或 CPU 資源。還可以設定模型的"性格"- 也就是系統提示(System Prompt)，告訴它應該以什么樣的風格和專業知識來回答問題。

你還能直接通過圖形化界面創建 API調用配置API的調用和查看API的調用日志。

所以你如果是初次接觸本地模型,建議你直接使用這個圖形界面,會方便直觀很多,鏈接地址: https://lmstudio.ai相關問題—如何在配置Cline調用本地模型? 可以查看這里:再見Cursor! Cline+DeepSeek-V3 雙雄組合引爆AI編程| 最強配置方案+代碼實例

原文轉載自：https://mp.weixin.qq.com/s/DmbpOwAsQz4yax78P3mV1g

#你可能也喜歡這些API文章!

一文講透 AI Agent 與 AI Workflow 的區別和深度解析：從自動化到智能化的演進

實測告訴你：DeepSeek-R1 7B、32B、671B差距有多大

6個大模型的核心技術介紹

太強了！各個行業的AI大模型！金融、教育、醫療、法律

在Sealos 平臺的幫助下一個人維護著 6000 個數據庫

通義萬相，開源！

使用Cursor 和 Devbox 一鍵搞定開發環境

DeepSeekMath：挑戰大語言模型的數學推理極限

新型脈沖神經網絡+大模型研究進展！