也有怎么問都不思考,而且每次問問題都等很久才有反應的。

image

我們本篇文章就來詳細說說這個問題。OpenAI API相信開發過大模型的小伙伴們都知道OpenAI API,這是由OpenAI最早定義的一套API標準,其中最著名的就是大家常說的AI對話接口。

原文地址:https://platform.openai.com/docs/api-reference/chat

image

鑒于大模型對外提供的核心能力比較簡單,大多數場景下就是一問一答。所以絕大多數廠商都采用了完全相同或兼容OpenAI API的方式來提供服務,這樣大家在切換模型的時候就會變得非常簡單。Deepseek也不例外,在官方的api平臺,可以看到樣例https://api-docs.deepseek.com/zh-cn/guides/reasoning_model

image

思維鏈的輸出與OpenAI不同,Deepseek最大的貢獻在于完整的向用戶展示了模型的思維鏈為了展示這個思維過程,Deepseek在輸出字段中增加了一個字段。

image

這就導致了目前大家用的各類開源、閉源產品都要重新去適配這個新增的思維鏈字段,進一步出現了上述存在的各式各樣顯示問題,我們挨著說。

原生Deepseek的OpenAI API

我們測試原生Deepseek API,用一個簡單的腳本輸入一個你好,可以看到如下結果,模型輸出了思考的過程和給出的結果,這個與官網上的輸出基本上是類似的。

image

image

目前有不少公司比如騰訊、硅基流動、阿里云等等,都是類似的結構,可以在他們的官網找到詳細說明。

開源工具本地部署

在這里大家常用的ollama、VLLM、SGLang、KTransformer等等開源產品部署出來的Deepseek卻是完全另外一個樣子。

未開啟強制思考模式

image

開啟強制思考模式

image

從這里我們看到不僅我們用開源工具部署的Deepseek-r1不僅沒有reasoning_content,也居然會出現兩種不同的情況。未強制開啟思考模式時,思考內容會在中;強制開啟思考模式時,就只剩下了這也就解釋了文章一開頭說到的,為什么接入了不同的API后,有的顯示思維鏈,有的完全不顯示,有的顯示一半。

解決思路

為了解決這個問題,最好的方法當然是統一API,但是各類工具的研發速度可能沒有那么快,有能力的大佬們可以手搓修改。我這里給出幾個我自己使用的修復思路。

思路一:等

無論你是用的OpenWebUI、chatbox、fastgpt、dify還是客戶端工具,還是ollama、vllm、sglang、KTransformer這種引擎關注他們的最新版本,社區會逐步修復問題。

思路二:手搓

鑒于現在Deepseek的影響力,在api中加入reasoning_content字段幾乎已成為標準所以這里手搓的思路,還是可以把各類的奇怪的OpenAI API中content包含的思考過程重新寫入reasoning_content是一個合理方式。

API版

這里可以使用了一個開源產品叫做one-api,用來把所有模型的接口都轉換為統一的接口。https://github.com/songquanpeng/one-api

image

使用方法也很簡單,只需要安裝好docker,然后用官方給出的命令就能跑起來了。

簡單配置一下,就可以把各種不同的廠商的模型接進去了,以騰訊云為例。

image

本地部署版

本地部署ollama、vllm、sglang的推理引擎部署的大模型,暫時無法使用上述這種方式核心原因是目前包括one-api在內也未在標簽中的思維鏈抽取出來放在reasoning_content中。這里我手搓了一個版本,如果你也遇到了相同的問題,可以用下面這個鏡像來替代官方one-api鏡像。

image

配好了之后,你本地部署的Deepseek也就可以正常輸出啦!代碼我就不公布了,因為這段代碼寫的也著實不怎么樣,社區也不會接納這段代碼,大致思路是在正常輸出的過程中把標簽中的內容抓出來硬塞到reasoning_content中。其實這是一種在屎山上拉新屎的解決方案,但是為了最快解決問題,也是一種無奈之舉。技術債務,其實也就這么形成了。

測試和結論

開放測試一些聰明的同學可能會想到,這個由開源軟件導致產生的技術債務,各個提供API的廠家是怎么解決的呢?我們可以準備一個問題來測試一下:請給我解釋一下這個標簽是啥意思?

Deepseek官方的測試

沒有任何問題,展示完美,還得是官方!鑒于官方的API現在已經關閉了,測試不了只能在界面上進行測試。側面說明了Deepseek是自研的推理引擎,完全不存在這個問題。

image

某廠1 API

我們用chatbox來做測試,可以看到Deepseek-R1直接就中斷了思考,說明他們也是去匹配第一個標簽的,但可以清晰的看到,真實的思考過程并沒有結束。說明大廠的小哥哥也有他的無奈呀~

image

界面上就卡死掉了,多次嘗試也是重復的問題。

image

某廠2 API

嘗試了多次,某廠2貌似用了一種另辟蹊徑的方式屏蔽了標簽?但是多輪對話之后依然出現了思維中斷的問題。

image

但是如果在多輪對話場景下,依然可以誘導模型標簽來中斷思考。

image

我們修改提示詞并進行強調,馬上就原形畢露了。

image

某廠3 界面

深度思考同樣中斷。

image

某廠4 界面

輸出幾乎全部錯亂了,一會在思考,一會沒有思考,一會又開始思考。大概率是把所有全給匹配了。

image

某廠5 APP

已完全錯亂,跟上面一樣。

image

技術債務產生的根本原因

這個問題本質上是由Deepseek模型輸出思維鏈時是按照模板進行輸出的,各大開源推理引擎都是直接輸出到回答內容里面的。如果輸入內容有類似的模板標簽時,就會出現錯亂。雖然這不是什么安全問題,但是顯示的烏七八糟的也會讓用戶迷惑,尤其是在涉及到寫代碼/聯網搜索的時候。我們自己的修復雖然原理上差不多,還是稍微改進了那么一丟丟,用文章上面的docker可以解決這個問題。不完美,算是拋磚引玉,希望有大牛能來推動社區解決這個問題。

image

大家都在看的硬核博主技術分享真·生產級滿血版Deepseek-r1 671B部署實例真·生產級滿血版Deepseek-r1 671B部署實例篇2-后續問題、調優以及壓測本地部署的Deepseek為什么不思考?調優方法來了!

原文轉載自:https://mp.weixin.qq.com/s/J28ivSORY8GBAx2Tz1oO1g

熱門推薦
一個賬號試用1000+ API
助力AI無縫鏈接物理世界 · 無需多次注冊
3000+提示詞助力AI大模型
和專業工程師共享工作效率翻倍的秘密
返回頂部
上一篇
Windows 上快速部署.NET Core Web 項目
下一篇
基于Ollama與AnythingLLM的DeepSeek-R1本地RAG應用實踐
国内精品久久久久影院日本,日本中文字幕视频,99久久精品99999久久,又粗又大又黄又硬又爽毛片
国产激情精品久久久第一区二区| 色哟哟亚洲精品| 国产成人啪午夜精品网站男同| 国产99精品在线观看| 国产乱码一区二区三区| 国产亚洲欧美色| 欧美成人福利视频| 国产亚洲婷婷免费| 欧美xxxx在线观看| 麻豆国产精品官网| 福利电影一区二区三区| 五月天激情综合| 欧美电影一区二区| 亚洲欧美另类图片小说| 成人免费一区二区三区视频 | 欧美成人一区二区三区片免费| 国产精品久久777777| 欧美日韩精品系列| 成人ar影院免费观看视频| 亚洲在线免费播放| 2023国产一二三区日本精品2022| 日韩国产精品久久| 成人av资源下载| 丁香桃色午夜亚洲一区二区三区| 亚洲国产欧美在线人成| 国产亚洲制服色| 欧美电影一区二区| 欧美一级二级三级乱码| 在线不卡免费av| 777色狠狠一区二区三区| 夜夜夜精品看看| 视频一区在线播放| 美女www一区二区| 成人网男人的天堂| 欧日韩精品视频| 欧美一区二区三区的| 日韩一区二区三免费高清| 欧美丰满一区二区免费视频| 欧美日韩国产一级片| 欧美一区二区三区在线电影| 精品国产乱码久久久久久影片| 国产日韩欧美高清在线| 欧美亚洲国产bt| 色综合久久中文综合久久97| 欧美日韩亚州综合| 精品国产乱码久久久久久久| 日韩美女久久久| 国产精品狼人久久影院观看方式| 一区二区三区鲁丝不卡| 美女脱光内衣内裤视频久久网站| 韩国午夜理伦三级不卡影院| 国产69精品一区二区亚洲孕妇| 91蜜桃网址入口| 亚洲色图另类专区| 国产综合久久久久久鬼色| 欧美猛男超大videosgay| 亚洲免费高清视频在线| 91精品国产综合久久久蜜臀图片| 国产精品入口麻豆九色| 毛片一区二区三区| 欧美一二区视频| 老司机精品视频一区二区三区| www.66久久| 日韩三区在线观看| 精品免费视频一区二区| 91超碰这里只有精品国产| 色婷婷精品久久二区二区蜜臂av | 国产蜜臀97一区二区三区| 日韩电影在线一区二区三区| 国产精品不卡一区二区三区| 成人性生交大片免费| 亚洲亚洲人成综合网络| 欧美日韩二区三区| 成人动漫在线一区| 麻豆一区二区三| 亚洲狠狠爱一区二区三区| 欧美日韩国产大片| 国模少妇一区二区三区| 一区二区三区日韩欧美| 久久亚洲综合色| 久久99久久99小草精品免视看| 97国产精品videossex| 国产一区二区看久久| 日本成人在线电影网| 亚洲黄色小说网站| 亚洲午夜一区二区三区| 国产精品视频一区二区三区不卡| 在线区一区二视频| 成人的网站免费观看| 亚洲免费色视频| 欧美性xxxxxx少妇| 午夜久久久久久久久| 91麻豆免费观看| 一区二区三区免费在线观看| 欧美一级二级三级蜜桃| 日韩欧美成人一区| 国产亲近乱来精品视频| 日本久久电影网| 欧美一区二区三区在线看| 国产一区二区h| 午夜电影一区二区| 国内精品国产三级国产a久久| 日韩在线a电影| 懂色一区二区三区免费观看| 国产美女娇喘av呻吟久久| 亚洲视频在线一区观看| 日韩精品一二三区| 亚洲精品一区二区在线观看| 色88888久久久久久影院按摩| 日韩亚洲欧美成人一区| ㊣最新国产の精品bt伙计久久| 舔着乳尖日韩一区| 色香蕉成人二区免费| 国产精品色在线观看| 首页国产欧美久久| 91麻豆国产在线观看| 欧美一区二区在线播放| 日韩国产精品久久久| 亚洲精品免费在线| 色呦呦日韩精品| 92国产精品观看| 国产亚洲污的网站| 国产一区二区三区在线观看精品 | 国产三级精品三级| 国产99久久久国产精品免费看| 免费观看日韩av| 日本一区二区电影| 成人app网站| 一区二区三区国产精品| 日本道免费精品一区二区三区| 久久综合久色欧美综合狠狠| 国产高清精品久久久久| 国产精品丝袜黑色高跟| 国产凹凸在线观看一区二区 | 91福利视频网站| 久久久久久免费网| 欧美日韩成人综合| 秋霞影院一区二区| 中文在线资源观看网站视频免费不卡| 在线视频你懂得一区| 蜜桃久久av一区| 樱桃视频在线观看一区| 精品国产不卡一区二区三区| 在线观看国产日韩| 亚洲二区在线观看| 中文字幕一区在线| 亚洲日本在线观看| 青青草成人在线观看| 亚洲免费在线视频一区 二区| 三级一区在线视频先锋 | 91福利在线免费观看| 精品夜夜嗨av一区二区三区| 成人在线综合网| 懂色av中文一区二区三区| 国产成人精品免费在线| 在线播放视频一区| 一区二区三区视频在线观看| 亚洲在线中文字幕| 中文久久乱码一区二区| 亚洲免费在线视频一区 二区| 一区二区三区在线播放| 一区二区不卡在线视频 午夜欧美不卡在| 国产精品嫩草久久久久| 亚洲激情五月婷婷| 日韩激情视频在线观看| 久久国产精品99久久人人澡| 国产综合久久久久久久久久久久 | 狠狠色丁香久久婷婷综| 久久99精品久久久久久动态图 | 亚洲综合激情网| 日韩va亚洲va欧美va久久| 国产成人精品免费网站| 国模无码大尺度一区二区三区| 99久久99久久精品免费看蜜桃| 欧美特级限制片免费在线观看| 欧美成人三级在线| 久久激情五月婷婷| 欧美电影免费观看完整版| 一区二区在线观看免费视频播放| 日韩制服丝袜先锋影音| 欧美日韩一区二区在线视频| 国产精品色一区二区三区| 成人开心网精品视频| 一区在线观看免费| 色综合亚洲欧洲| 日本大胆欧美人术艺术动态| 欧美日韩国产乱码电影| 高清在线成人网| 国产精品99久久久久| 欧美丰满一区二区免费视频| 亚洲一区在线视频观看| 日韩视频免费观看高清完整版在线观看 | 蜜臀a∨国产成人精品| 亚洲精品在线免费观看视频| 久久99精品国产91久久来源| 欧美v国产在线一区二区三区| 黑人精品欧美一区二区蜜桃| 一区二区国产视频| 中文在线一区二区| 精品粉嫩aⅴ一区二区三区四区|