安裝 Langchain-Chatchat

在進(jìn)行 OneAPI 的部署之前,需要安裝 Langchain-Chatchat,這是一個(gè)提供自然語(yǔ)言處理能力的 Python 庫(kù)。從 0.3.0 版本起,Langchain-Chatchat 可以通過(guò)簡(jiǎn)單的 pip 命令進(jìn)行安裝。

安裝步驟

確保使用官方 Pypi 源或清華源,這能保證安裝的是最新版本,減少可能的兼容性問(wèn)題。

pip install langchain-chatchat -U

安裝 Langchain-Chatchat

手動(dòng)部署 OneAPI

OneAPI 的手動(dòng)部署過(guò)程需要先下載可執(zhí)行文件,或者從源碼進(jìn)行編譯。以下是詳細(xì)的步驟。

下載與編譯

GitHub 下載最新的 release 版本。

git clone https://github.com/songquanpeng/one-api.git
cd one-api/web/default
npm install
npm run build
cd ../..
go mod download
go build -ldflags "-s -w" -o one-api

運(yùn)行

編譯完成后,運(yùn)行以下命令啟動(dòng) OneAPI。

chmod u+x one-api
./one-api --port 3000 --log-dir ./logs

運(yùn)行 OneAPI

初始化配置與數(shù)據(jù)目錄

從 0.3.1 版本起,Langchain-Chatchat 采用本地 YAML 文件進(jìn)行配置,用戶(hù)可直接修改配置文件來(lái)適應(yīng)特定需求。

配置文件設(shè)置

在配置過(guò)程中,用戶(hù)需要定義 Chatchat 的數(shù)據(jù)目錄。未設(shè)置時(shí),默認(rèn)使用當(dāng)前目錄。

export CHATCHAT_ROOT=/path/to/chatchat_data
set CHATCHAT_ROOT=/path/to/chatchat_data

配置文件結(jié)構(gòu)

模型配置

model_settings.yaml 文件中,用戶(hù)需要選擇合適的模型和嵌入模型。以下是具體配置示例:

DEFAULT_LLM_MODEL: qwen1.5-chat
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

知識(shí)庫(kù)路徑配置

可以在 basic_settings.yaml 中配置知識(shí)庫(kù)的存儲(chǔ)路徑。

KB_ROOT_PATH: D:chatchat-testdataknowledge_base

知識(shí)庫(kù)配置

初始化知識(shí)庫(kù)

在開(kāi)始之前,請(qǐng)確保模型推理框架和對(duì)應(yīng)的嵌入模型已經(jīng)啟動(dòng),并按照之前的步驟完成了模型接入配置。

chatchat kb -r

知識(shí)庫(kù)初始化

啟動(dòng)項(xiàng)目

項(xiàng)目啟動(dòng)后,用戶(hù)可以通過(guò)以下命令進(jìn)行操作。

chatchat start -a

項(xiàng)目啟動(dòng)

本地部署 ChatGLM2-6B

在本地部署 ChatGLM2-6B 時(shí),我們可以參考現(xiàn)有的教程,確保在本地成功部署。

部署步驟

python openai_api.py

本地部署效果

使用 Docker 部署 OneAPI

Docker 提供了一種簡(jiǎn)便的部署方式,只需一條命令即可。

docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Docker 部署

FAQ

什么是 OneAPI?

OneAPI 是一個(gè)集成多種模型和服務(wù)的平臺(tái),旨在提供統(tǒng)一的接口以簡(jiǎn)化模型調(diào)用和管理。

如何配置 OneAPI 的環(huán)境變量?

可以在操作系統(tǒng)的環(huán)境變量設(shè)置中定義 CHATCHAT_ROOT,或者在命令行中使用 export 命令。

為什么我的 OneAPI 啟動(dòng)失敗?

請(qǐng)檢查是否已正確安裝所有依賴(lài)項(xiàng),或者查看日志文件以獲取更多錯(cuò)誤信息。

如何更新 Langchain-Chatchat?

使用 pip 命令 pip install langchain-chatchat -U 來(lái)更新到最新版本。

我可以在任何操作系統(tǒng)上運(yùn)行 OneAPI 嗎?

是的,OneAPI 支持 Windows、macOS 和 Linux 系統(tǒng),確保您的系統(tǒng)滿(mǎn)足基本的硬件和軟件要求即可。

通過(guò)這篇文章,我們?cè)敿?xì)介紹了如何使用 OneAPI 接入對(duì)話模型的完整流程,從環(huán)境配置到模型部署的每個(gè)步驟都有詳細(xì)說(shuō)明。希望對(duì)您有所幫助。

上一篇:

獲取汽車(chē)品牌的API接口及圖片鏈接

下一篇:

智譜清言 API 使用指南
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊(cè)

多API并行試用

數(shù)據(jù)驅(qū)動(dòng)選型,提升決策效率

查看全部API→
??

熱門(mén)場(chǎng)景實(shí)測(cè),選對(duì)API

#AI文本生成大模型API

對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)

#AI深度推理大模型API

對(duì)比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)