為什么上下文長(zhǎng)度很重要

ChatGPT自推出以來(lái)，其強(qiáng)大的對(duì)話(huà)能力和智能化表現(xiàn)吸引了全球關(guān)注。然而，盡管GPT-3.5和GPT-4等大型語(yǔ)言模型（LLM）在生成類(lèi)似人類(lèi)的對(duì)話(huà)方面表現(xiàn)出色，但它們?cè)诩夹g(shù)上仍存在一些局限性，其中一個(gè)關(guān)鍵問(wèn)題就是上下文長(zhǎng)度的限制。

上下文長(zhǎng)度指的是模型在對(duì)話(huà)中能夠記住和處理的歷史信息量。以GPT-4為例，其上下文長(zhǎng)度從4096個(gè)令牌提升到了32768個(gè)令牌。然而，隨著上下文長(zhǎng)度的增加，使用API的成本也會(huì)隨之上升。開(kāi)發(fā)者在構(gòu)建基于LLM的應(yīng)用時(shí)，必須在處理更長(zhǎng)文檔和控制成本之間找到平衡。

此外，簡(jiǎn)單的內(nèi)存管理方法可能無(wú)法應(yīng)對(duì)復(fù)雜的對(duì)話(huà)場(chǎng)景。例如，當(dāng)用戶(hù)在對(duì)話(huà)中切換主題后又返回原主題時(shí)，傳統(tǒng)方法可能無(wú)法提供相關(guān)的歷史上下文。這種局限性主要源于令牌溢出問(wèn)題，即歷史交互超出了模型輸入限制，導(dǎo)致無(wú)法被納入當(dāng)前對(duì)話(huà)。

ChatGPT內(nèi)存項(xiàng)目的解決方案

為了解決上述問(wèn)題，ChatGPT內(nèi)存項(xiàng)目引入了一種基于Redis的自適應(yīng)聊天機(jī)器人的歷史交互存儲(chǔ)為嵌入式向量，系統(tǒng)能夠在嵌入空間中執(zhí)行向量搜索，從而智能地檢索與當(dāng)前消息相關(guān)的歷史記錄。這種方法具有以下優(yōu)勢(shì)：

1. 自適應(yīng)性強(qiáng)：只檢索與當(dāng)前消息相關(guān)的歷史記錄，避免了不必要的信息冗余。
2. 優(yōu)化上下文利用：通過(guò)合并最相關(guān)的歷史交互，提升提示質(zhì)量，同時(shí)避免令牌長(zhǎng)度耗盡。
3. 成本效益高：減少不必要的令牌使用，從而降低API調(diào)用成本。

這種自適應(yīng)內(nèi)存機(jī)制不僅克服了傳統(tǒng)啟發(fā)式緩沖內(nèi)存的限制，還為開(kāi)發(fā)者提供了構(gòu)建高效、智能對(duì)話(huà)系統(tǒng)的可能性。

ChatGPT內(nèi)存項(xiàng)目的架構(gòu)

ChatGPT內(nèi)存項(xiàng)目的核心架構(gòu)基于Redis向量數(shù)據(jù)庫(kù)，利用了以下技術(shù)：

• 向量索引算法：支持FLAT索引和分層導(dǎo)航小世界（HNSW）索引，確保高效的向量搜索。
• 實(shí)時(shí)嵌入CRUD操作：支持嵌入的創(chuàng)建、更新和刪除，方便在生產(chǎn)環(huán)境中動(dòng)態(tài)管理數(shù)據(jù)。
• 并發(fā)會(huì)話(huà)管理：為每個(gè)會(huì)話(huà)隔離歷史記錄，確保用戶(hù)交互的獨(dú)立性和隱私性。

具體流程如下：

1. 用戶(hù)發(fā)送消息后，系統(tǒng)會(huì)將消息與歷史記錄進(jìn)行嵌入化處理。
2. 嵌入向量存儲(chǔ)在Redis數(shù)據(jù)庫(kù)中，并通過(guò)向量搜索檢索相關(guān)歷史記錄。
3. 系統(tǒng)將檢索到的歷史信息與當(dāng)前消息合并，生成優(yōu)化的提示，最終返回給用戶(hù)。

這種架構(gòu)不僅提升了對(duì)話(huà)的個(gè)性化程度，還顯著增強(qiáng)了系統(tǒng)的響應(yīng)能力。

代碼演練

以下是使用ChatGPT內(nèi)存項(xiàng)目的基本步驟：

環(huán)境變量配置

首先，設(shè)置以下環(huán)境變量：

# OpenAI API密鑰
EXPORT OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# Redis數(shù)據(jù)庫(kù)憑據(jù)
EXPORT REDIS_HOST=localhost
EXPORT REDIS_PORT=1234
EXPORT REDIS_PASSWORD=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

創(chuàng)建Redis數(shù)據(jù)存儲(chǔ)連接

from chatgpt_memory.datastore import RedisDataStoreConfig, RedisDataStore

redis_datastore_config = RedisDataStoreConfig(
    host=REDIS_HOST,
    port=REDIS_PORT,
    password=REDIS_PASSWORD,
)
redis_datastore = RedisDataStore(config=redis_datastore_config)

實(shí)例化嵌入客戶(hù)端

from chatgpt_memory.llm_client import EmbeddingConfig, EmbeddingClient

embedding_config = EmbeddingConfig(api_key=OPENAI_API_KEY)
embed_client = EmbeddingClient(config=embedding_config)

創(chuàng)建內(nèi)存管理器

from chatgpt_memory.memory.manager import MemoryManager

memory_manager = MemoryManager(
    datastore=redis_datastore,
    embed_client=embed_client,
    topk=1
)

連接ChatGPT API

from chatgpt_memory.llm_client import ChatGPTClient, ChatGPTConfig

chat_gpt_client = ChatGPTClient(
    config=ChatGPTConfig(api_key=OPENAI_API_KEY, verbose=True),
    memory_manager=memory_manager
)

開(kāi)始交互

conversation_id = None
while True:
    user_message = input("n請(qǐng)輸入您的消息: ")
    response = chat_gpt_client.converse(
        message=user_message,
        conversation_id=conversation_id
    )
    conversation_id = response.conversation_id
    print(response.chat_gpt_answer)

交互示例

未啟用ChatGPT內(nèi)存

當(dāng)內(nèi)存功能未激活時(shí)，模型無(wú)法檢索用戶(hù)在之前交互中提供的信息，即使這些信息僅涉及幾句話(huà)。

啟用ChatGPT內(nèi)存

啟用內(nèi)存功能后，模型能夠記住用戶(hù)的具體細(xì)節(jié)，從而提供更加個(gè)性化的對(duì)話(huà)體驗(yàn)。

下一步

ChatGPT內(nèi)存項(xiàng)目是提升LLM功能的重要工具，為開(kāi)發(fā)者提供了構(gòu)建情境智能AI應(yīng)用的全新可能性。通過(guò)Redis向量數(shù)據(jù)庫(kù)的支持，該項(xiàng)目不僅解決了上下文長(zhǎng)度限制問(wèn)題，還為多種AI用例提供了高效的解決方案。

未來(lái)，ChatGPT內(nèi)存有望成為AI開(kāi)發(fā)生態(tài)系統(tǒng)中的關(guān)鍵組件，推動(dòng)更智能、更高效的對(duì)話(huà)系統(tǒng)的發(fā)展。

原文鏈接: https://redis.io/blog/chatgpt-memory-project/