
API網關如何發展:更輕、更智能、云原生
?浙大和微軟亞洲研究院開源的HuggingGPT,又名JARVIS,它可以根據用戶的自然語言描述的需求就可以自動分析需要哪些AI模型,然后去Huggingface上直接調用對應的模型,最終給出用戶的解決方案。
它的工作流程包括四個階段:
下表展示了HuggingGPT的具體細節:
不同任務的任務規劃評估,如下表所示:
任務規劃的格式是:?[{“task”: task, “id”, task_id, “dep”: dependency_task_ids, “args”: {“text”: text, “image”: URL, “audio”: URL, “video”: URL}}],參數的詳細解釋,如下表所示:
? ? ? 假設我們有如下請求,來看一下HuggingGPT的完整流程:
? ? ? ?請求:請生成一個女孩正在看書的圖片,她的姿勢與example.jpg中的男孩相同。然后請用你的聲音描述新圖片。
可以看到HuggingGPT是如何將它拆解為6個子任務,并分別選定模型執行得到最終結果的。
[1] https://github.com/microsoft/JARVIS
[2] https://huggingface.co/spaces/microsoft/HuggingGPT
[3] https://arxiv.org/abs/2303.17580
[4]?https://twitter.com/DrJimFan/status/1642563455298473986
文章轉自微信公眾號@ArronAI