如何快速實現(xiàn)REST API集成以優(yōu)化業(yè)務(wù)流程
我們可以將其提供給GPT-4V，以提出后續(xù)問題或綜合一致的回答：
示例2：多模態(tài)RAG查詢
? ? ? 我們提出了一個問題，并從整個多模態(tài)RAG pipeline中得到回應(yīng)。SimpleMultiModalQueryEngine首先檢索相關(guān)圖像/文本集，并將其輸入給視覺模型，以便合成響應(yīng)。
from llama_index.query_engine import SimpleMultiModalQueryEngine
query_engine = index.as_query_engine( multi_modal_llm=openai_mm_llm, text_qa_template=qa_tmpl)
query_str = "Tell me more about the Porsche"response = query_engine.query(query_str)生成的結(jié)果+來源如下所示：
[1] https://blog.llamaindex.ai/multi-modal-rag-621de7525fea
[2]?https://github.com/run-llama/llama_index/blob/main/docs/examples/multi_modal/llava_multi_modal_tesla_10q.ipynb
文章轉(zhuǎn)自微信公眾號@ArronAI
鍵.png)
