鍵.png)
GraphRAG:基于PolarDB+通義千問api+LangChain的知識(shí)圖譜定制實(shí)踐
1.3 進(jìn)入PAI NotebookGallery
登錄PAI控制臺(tái)。
在左側(cè)導(dǎo)航欄中,選擇快速開始>NotebookGallery。
在Notebook Gallery頁面,單擊進(jìn)入“LLaMA Factory多模態(tài)微調(diào)實(shí)踐:微調(diào)Qwen2-VL構(gòu)建文旅大模型”教程。
在詳情頁面,您可查看到預(yù)置的LLaMA Factory多模態(tài)微調(diào)實(shí)踐:微調(diào)Qwen2-VL構(gòu)建文旅大模型教程,單擊右上角的在DSW中打開。
在請(qǐng)選擇對(duì)應(yīng)實(shí)例對(duì)話框中,單擊新建DSW實(shí)例。
1.4 創(chuàng)建PAI-DSW實(shí)例
在配置實(shí)例頁面,自定義輸入實(shí)例名稱,例如DSW_LlamaFactory。
說明:
GPU推薦使用 24GB 顯存的 A10(ecs.gn7i-c8g1.2xlarge)或更高配置。※ 支持免費(fèi)試用的資源:
ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge
在配置實(shí)例頁面的選擇鏡像區(qū)域,請(qǐng)確認(rèn)鏡像是否為官方鏡像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在配置實(shí)例頁面,未提及的參數(shù)保持默認(rèn)即可,單擊確認(rèn),創(chuàng)建實(shí)例。
請(qǐng)您耐心等待大約3分鐘左右,當(dāng)狀態(tài)變?yōu)檫\(yùn)行中時(shí),表示實(shí)例創(chuàng)建成功,點(diǎn)擊打開NoteBook。
1.5 運(yùn)行Notebook教程文件
安裝LLaMA Factory
根據(jù)教程指引,依次運(yùn)行命令。
說明:?jiǎn)螕裘钭髠?cè)的運(yùn)行?按鈕表示開始運(yùn)行任務(wù),當(dāng)左側(cè)為?號(hào)時(shí)表明成功運(yùn)行結(jié)束。
下載數(shù)據(jù)集
LLaMA-Factory 項(xiàng)目?jī)?nèi)置了豐富的數(shù)據(jù)集,放在了 data目錄下。您可以跳過本步驟,直接使用內(nèi)置數(shù)據(jù)集。您也可以準(zhǔn)備自定義數(shù)據(jù)集,將數(shù)據(jù)處理為框架特定的格式,放在 data 下,并且修改 dataset_info.json 文件。
本教程準(zhǔn)備了一份多輪對(duì)話數(shù)據(jù)集,運(yùn)行下述命令下載數(shù)據(jù)。
說明:?jiǎn)螕裘钭髠?cè)的運(yùn)行?按鈕表示開始運(yùn)行任務(wù),當(dāng)左側(cè)為?號(hào)時(shí)表明成功運(yùn)行結(jié)束。
2.1 啟動(dòng) Web UI
單擊命令左側(cè)的運(yùn)行?按鈕表示開始運(yùn)行任務(wù),當(dāng)左側(cè)為?號(hào)時(shí)表明成功運(yùn)行結(jié)束。
然后單擊返回的URL地址,進(jìn)入Web UI頁面。
2.2 配置參數(shù)
進(jìn)入 WebUI 后,可以切換語言到中文(zh)。首先配置模型,本教程選擇 Qwen2VL-2B-Chat 模型,微調(diào)方法修改為 full,針對(duì)小模型使用全參微調(diào)方法能帶來更好的效果。
數(shù)據(jù)集使用上述下載的 train.json。
可以點(diǎn)擊「預(yù)覽數(shù)據(jù)集」。點(diǎn)擊關(guān)閉返回訓(xùn)練界面。
設(shè)置學(xué)習(xí)率為 1e-4,訓(xùn)練輪數(shù)為 10,更改計(jì)算類型為 pure_bf16,梯度累積為 2,有利于模型擬合。
在其他參數(shù)設(shè)置區(qū)域修改保存間隔為 1000,節(jié)省硬盤空間。
2.3 啟動(dòng)微調(diào)
將輸出目錄修改為 train_qwen2vl,訓(xùn)練后的模型權(quán)重將會(huì)保存在此目錄中。點(diǎn)擊「預(yù)覽命令」可展示所有已配置的參數(shù),您如果想通過代碼運(yùn)行微調(diào),可以復(fù)制這段命令,在命令行運(yùn)行。
點(diǎn)擊「開始」啟動(dòng)模型微調(diào)。
啟動(dòng)微調(diào)后需要等待一段時(shí)間,待模型下載完畢后可在界面觀察到訓(xùn)練進(jìn)度和損失曲線。模型微調(diào)大約需要 14 分鐘,顯示“訓(xùn)練完畢”代表微調(diào)成功。
選擇「Chat」欄,將檢查點(diǎn)路徑改為 train_qwen2vl,點(diǎn)擊「加載模型」即可在 Web UI 中和微調(diào)后的模型進(jìn)行對(duì)話。
首先點(diǎn)擊下載測(cè)試圖片1或測(cè)試圖片2,并上傳至對(duì)話框的圖像區(qū)域,接著在系統(tǒng)提示詞區(qū)域填寫“你是一個(gè)導(dǎo)游,請(qǐng)生動(dòng)有趣地回答游客提出的問題”。在頁面底部的對(duì)話框輸入想要和模型對(duì)話的內(nèi)容,點(diǎn)擊提交即可發(fā)送消息。
發(fā)送后模型會(huì)逐字生成回答,從回答中可以發(fā)現(xiàn)模型學(xué)習(xí)到了數(shù)據(jù)集中的內(nèi)容,能夠恰當(dāng)?shù)啬7聦?dǎo)游的語氣介紹圖中的山西博物院。
點(diǎn)擊「卸載模型」,點(diǎn)擊檢查點(diǎn)路徑輸入框取消勾選檢查點(diǎn)路徑,再次點(diǎn)擊「加載模型」,即可與微調(diào)前的原始模型聊天。
重新向模型發(fā)送相同的內(nèi)容,發(fā)現(xiàn)原始模型無法準(zhǔn)確識(shí)別山西博物院。
文章轉(zhuǎn)自微信公眾號(hào)@阿里云開發(fā)者
GraphRAG:基于PolarDB+通義千問api+LangChain的知識(shí)圖譜定制實(shí)踐
使用Node.js、Express和MySQL構(gòu)建REST API
天氣API推薦:精準(zhǔn)獲取氣象數(shù)據(jù)的首選
基于自定義數(shù)據(jù)集的微調(diào):Alpaca與LLaMA模型的訓(xùn)練
OAuth和OpenID Connect圖解指南
有哪些新聞媒體提供Open API?
現(xiàn)在做大模型,還有靠譜且免費(fèi)的API接口嗎?
如何運(yùn)用AI提高自己的工作效率?
區(qū)塊鏈API推薦,快速開發(fā)去中心化應(yīng)用
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)