如何快速實(shí)現(xiàn)REST API集成以優(yōu)化業(yè)務(wù)流程
基本思路就是文本進(jìn)行拆分，然后embeding成向量，存儲到向量數(shù)據(jù)庫，作為知識庫，然后問答時從知識庫查詢，將查詢到的向量以及匹配的文本，作為背景知識 ，加上固定的prompt，引導(dǎo)llm模型輸出答案，如下代碼所示，{{context}}即為背景知識。
"""
背景知識：
{{context}}
根據(jù)上述已知信息，簡潔和專業(yè)的來回答用戶的問題。
如果無法從中得到答案，請說 “根據(jù)已知信息無法回答該問題” 或 “沒有提供足夠的相關(guān)信息”，
不允許在答案中添加編造成分，答案請使用中文。
問題是：{{question}}
"""除了類似阿里等商業(yè)方案，對于中小企業(yè)，可以考慮輕量級的開源方案。
調(diào)研了幾個開源方案，從部署難易程度上選擇了fastgpt。
FastGPT 是一個基于 LLM 大語言模型的知識庫問答系統(tǒng)，提供開箱即用的數(shù)據(jù)處理、模型調(diào)用等能力。同時可以通過 Flow 可視化進(jìn)行工作流編排，從而實(shí)現(xiàn)復(fù)雜的問答場景。
其技術(shù)棧如下：
fastgpt提供了基礎(chǔ)的docker部署腳本，默認(rèn)用openapi的接口，所以只需要一個openapi的token即可，考慮到openapi對國內(nèi)有限制，可以考慮將服務(wù)器部署到國外服務(wù)器；當(dāng)然也可以申請國內(nèi)llm的token，比如百度文心一言、火星大模型等。
具體參考官方教程，熟悉docker的話，參考說明文檔，修改openapi的token即可，還是比較簡單的。
缺點(diǎn)是fastgpt的web端代碼中不分代碼寫死了，比如有些地方固定用了中文的界面，對于英文應(yīng)用稍顯不足，不過也可以自己修改代碼，編譯之后更新docker容器。
fastgpt的模式是創(chuàng)建應(yīng)用，然后應(yīng)用可以關(guān)聯(lián)知識庫，知識庫通過上傳文檔或者自定義生成，集成分成html鏈接和api 2種方式。
對話接口文檔，主要配置appIDd,chatId和messages內(nèi)容，messages指定role和content。
如果只是簡單應(yīng)用，可以考慮fastgpt，快速簡單。
Langchain-Chatchat主要利用langchain思想實(shí)現(xiàn)的基于本地知識庫的問答應(yīng)用，目標(biāo)期望建立一套對中文場景與開源模型支持友好、可離線運(yùn)行的知識庫問答解決方案。通過使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于langchain框架支持通過基于FastAPI提供的 API 調(diào)用服務(wù)，或使用基于Streamlit的 WebUI 進(jìn)行操作。
quivr構(gòu)建了一個完全可控的知識庫問答平臺，支持docker部署，需要額外部署或者申請Supabase。
用法也比較簡單，定義知識庫，上傳文檔，問答時選定知識庫即可。
文檔支持更豐富，如Text, Markdown, PDF, Powerpoint, Excel, CSV, Word, Audio, Video。
DB-GPT是一個開源的數(shù)據(jù)庫領(lǐng)域大模型框架。目的是構(gòu)建大模型領(lǐng)域的基礎(chǔ)設(shè)施，通過開發(fā)多模型管理、Text2SQL效果優(yōu)化、RAG框架以及優(yōu)化、Multi-Agents框架協(xié)作等多種技術(shù)能力，讓圍繞數(shù)據(jù)庫構(gòu)建大模型應(yīng)用更簡單，更方便。
DB-GPT功能更強(qiáng)大，不僅支持文本問答，還支持圖表展示。
本文章轉(zhuǎn)載微信公眾號@青稞AI
鍵.png)
