
國內大模型排名詳解
下載,一步步安裝即可。
CMD命令窗口運行,啟動deepseek-r1模型:
ollama run deepseek-r1:7b
根據自己顯卡大小,選擇對應的參數規模,1.5b最小,可以先用這個來嘗試,完成以后再跑更大的參數模型。
另外有人反饋,任務管理器顯示,大模型在執行的時候,回答很慢,GPU幾乎沒動,全都是CPU在跑。
大概率是安裝了老版本的Ollama,官網下載最新的文件重新安裝即可。
網絡條件允許的話,直接谷歌商店搜索下載,下面介紹的方法國內網絡可用。
打開網站Crx搜搜:
搜索:Page Assist,第一個就是今天主角,本地AI模型的Web UI。
下載到本地,谷歌瀏覽器打開:chrome://extensions/,右上角打開開發者模式,將下載好的crx文件拖入瀏覽器,完成插件的安裝。
瀏覽器上方的擴展程序列表,找到Page Assist插件,點擊進入WebUI界面。
左上角可以選擇ollama的所有本地模型,所以選deepseek-r1:7b就好了。
到這一步就可以流暢地使用deepseek大模型啦。
首次使用是英文版,不太習慣,點擊右上角設置齒輪,【General Settings】,分別選擇【簡體中文】。
依然是右上角設置齒輪,【一般設置】,下方有個【管理網絡搜索】,選擇合適的搜索引擎,總搜索結果默認是2,可以適當調大一些,這樣參考網絡資源的權重更大。
記得點擊保存。
回到聊天頁面,打開聊天框下方的【搜索互聯網】開關,聯網搜索功能就搞定啦。
比如問一個關于《哪吒2》的評價,除了看到思考過程,下方還有列出了引用的數據來源。
現在,完成了本地部署+聯網搜索,還差知識庫…
CMD窗口運行命令:
ollama pull nomic-embed-text
回到設置,【RAG設置】,文本嵌入模型選擇【nomic-embed-text:latest】,保存。
文本嵌入模型的作用是,讓大模型理解我們的文本資料。
左側菜單【管理知識】,【添加新知識】,指定知識的標題,并上傳我們的本地資料,提交。
這里的知識,指的就是知識庫,當狀態是【已完成】,代表大模型已經處理完成了。
回到聊天窗口,右下方就可以選到剛剛添加的知識庫。
提問:
DeepSeek-R1是什么?
本地大模型完美地回答了我們的問題,知識庫搭建完成!
簡單回顧一下,這次的方案:Ollama + Page Assist插件,沒有docker的復雜配置,而且完美地實現了本地部署+聯網搜索+知識庫。
文章轉載自:DeepSeek本地部署+知識庫+聯網搜索,終極版方案,保姆級教程!