
IT咨詢顧問的關鍵抓手-DeepSeek+企業架構-快速的熟悉和洞察一個新的行業
在測試數學能力的 AIME24 評測集上,以及評估代碼能力的 LiveCodeBench 中,千問 QwQ-32B 表現與 DeepSeek-R1-671B 相當,遠勝于 OpenAI-o1-mini 及相同尺寸的 R1 蒸餾模型。在由 Meta 首席科學家楊立昆領銜的“最難 LLMs 評測榜” LiveBench、谷歌等提出的指令遵循能力 IFEval 評測集、由加州大學伯克利分校等提出的評估準確調用函數或工具方面的 BFCL 測試中,千問 QwQ-32B 的得分均超越了 DeepSeek-R1-671B。
首次使用云原生應用開發平臺 CAP[1] 會自動跳轉到訪問控制快速授權頁面,滾動到瀏覽器底部單擊確認授權,等待授權結束后單擊返回控制臺。
本教程在函數計算中創建的 GPU 函數,函數運行使用的資源按照函數規格乘以執行時長進行計量,如果無請求調用,則只收取閑置預留模式下預置的快照費用,CAP 中的極速模式通過預置實例快照實現毫秒級響應,其技術原理對應函數計算的閑置預留模式,適用于需要快速冷啟動的場景。建議您領取函數計算的試用額度 [2] 抵扣資源消耗,超出試用額度的部分將自動轉為按量計費,更多計費詳情,請參見計費概述 [3]。
創建項目
進入 CAP 控制臺 [4] 單擊基于模板創建開始創建。
部署模板
在搜索欄輸入 QWQ 進行搜索,單擊基于 Qwen-QwQ 推理模型構建 AI 聊天助手,進入模板詳情頁,單擊立即部署。
選擇地域,目前支持 北京、上海、杭州,單擊部署項目,在項目資源預覽對話框中,您可以看到相關的計費項,詳情請見計費涉及的產品 [5]。單擊確認部署,部署過程大約持續 10 分鐘左右,狀態顯示已部署表示部署成功。
說明:選擇地域時,一般是就近選擇地域信息,如果已經開啟了 NAS 文件系統,選擇手動配置模型存儲時,請選擇和文件系統相同的地域。如果您在測試調用的過程中遇到部署異常或模型拉取失敗,可能是當前地域的 GPU 顯卡資源不足,建議您更換地域進行重試。
驗證應用
部署完畢后,點擊 Open-WebUI 服務,在訪問地址內找到公網訪問單擊訪問。在 OpenWebUI 界面體驗 QwQ 模型進行對話。
使用 API 形式進行模型調用,接入線上業務應用。
創建空白項目
進入 CAP 控制臺 [6] 單擊創建空白項目開始創建,并為項目命名。
選擇模型服務
部署模型服務
選擇模型 QwQ-32B-GGUF,目前僅支持杭州地域。
單擊資源配置,QwQ-32B-GGUF 推薦使用 Ada 系列,可直接使用默認配置。您可以根據業務訴求填寫需要的卡型及規格信息。
單擊預覽并部署,在服務資源預覽對話框中,您可以看到相關的計費項,詳情請見計費涉及的產品 [7]。單擊確認部署,該階段需下載模型,預計等待 10~30 分鐘即可完成。
驗證模型服務
單擊調試,即可測試和驗證相關模型調用。
在本地命令行窗口中驗證模型調用。
第三方平臺 API 調用
您可以選擇在 Chatbox [8] 等其他第三方平臺中驗證和應用模型調用,以下以 Chatbox 為例。
您可以使用以下步驟刪除應用,以降低產生的費用。進入項目詳情 > 點擊刪除,會進入到刪除確認對話框。
您可以看到要刪除的資源。默認情況下,云原生應用開發平臺 CAP 會刪除項目下的所有服務。如果您希望保留資源,可以取消勾選指定的服務,刪除項目時只會刪除勾選的服務。
勾選我已知曉:刪除該項目及選中的服務將立刻中斷其所服務的線上業務,并且不可恢復,同時將徹底刪除其所依賴的云產品資源,然后單擊確定刪除。
原文轉載自:https://mp.weixin.qq.com/s/XrI02WSmKvV5od1Ery8HLQ
IT咨詢顧問的關鍵抓手-DeepSeek+企業架構-快速的熟悉和洞察一個新的行業
基于Ollama與AnythingLLM的DeepSeek-R1本地RAG應用實踐
模型引擎的技術債務?一個Deepseek三種API引發的連鎖反應
Windows 上快速部署.NET Core Web 項目
.NET開發者看過來!DeepSeek SDK 集成
LangChain4j實戰-Java AI應用開源框架之LangChain4j和Spring AI
后端開發人員Docker快速入門
生產級滿血版Deepseek-r1 671B部署實例
生產級滿血版Deepseek-r1 671B部署后續問題、調優以及壓測