
LLM的預(yù)訓(xùn)練任務(wù)有哪些
其網(wǎng)頁版和APP版,都十分簡潔,只有一個(gè)聊天窗口,以至于其APP只有8M大小。
體驗(yàn)地址:https://chat.deepseek.com
聊天界面提供了三種模式——基礎(chǔ)模型、深度思考(R1)和聯(lián)網(wǎng)搜索,可根據(jù)不同場景和需求,靈活選用。
基礎(chǔ)模型,于去年12月升級(jí)到DeepSeek-V3版,性能比肩全球頂尖的開閉源模型(如4o、Claude-3.5-Sonnet、Qwen2.5、Llama-3.1等)。
不勾選任何功能,即默認(rèn)使用V3基礎(chǔ)模型。大多數(shù)情況下,選擇基礎(chǔ)模型就完全夠用了。
深度思考(R1),是今年1月新發(fā)的DeepSeek-R1正式版(2個(gè)月前,我們測評(píng)過預(yù)覽版),效果完全不輸OpenAI o1(只有尊貴的Pro用戶才能使用,200美刀/月),因免費(fèi)+開源+極低價(jià)API,讓DS在這個(gè)春節(jié)成為“國運(yùn)”級(jí)模型,爆火海內(nèi)外。
R1是一個(gè)愛思考的深度推理模型,主要擅長處理數(shù)理邏輯、代碼和需要深度推理的復(fù)雜問題。通常,一些寫詩、寫文章的需求,用不到這個(gè)模型。
聯(lián)網(wǎng)搜索,是讓DS根據(jù)網(wǎng)絡(luò)搜索結(jié)果來回答問題,也就是RAG(檢索增強(qiáng)生成),你可以把它理解為DeepSeek的AI搜索功能。
這里,給小學(xué)生解釋一下RAG。它實(shí)際就是檢索(Retrieval)、增強(qiáng)(Augmented)、生成(Generation)三個(gè)詞的首字母組合。用戶提問后,模型先去網(wǎng)上搜索相關(guān)信息,然后將這些信息與原問題進(jìn)行整合,并運(yùn)用大語言模型(LLM)技術(shù)生成一段通順、詞意趨近的文本,來回答用戶。
2、R1對(duì)標(biāo)o1,V3對(duì)標(biāo)4o
不打開深度思考,啟用的是V3模型,這是DeepSeek的基礎(chǔ)模型,采用Moe架構(gòu),671B參數(shù),與GPT-4o、Claude-3.5-Sonnet類似。擅長答百科知識(shí),回答速度超級(jí)快(當(dāng)然,最近有點(diǎn)卡,因?yàn)橛玫娜藢?shí)在太多了,特別是歪果仁上線的時(shí)間段)。
打開深度思考,啟用的則是R1模型,是類似o1、o3的推理模型,660B參數(shù),采用的是后訓(xùn)練+RL強(qiáng)化學(xué)習(xí),擅長邏輯推理、復(fù)雜問題解答,回答速度較慢。
這里,繼續(xù)給小學(xué)生解釋一下預(yù)訓(xùn)練與后訓(xùn)練:預(yù)訓(xùn)練是讓模型先學(xué)習(xí)通用知識(shí)、百科知識(shí);后訓(xùn)練是模型基于預(yù)訓(xùn)練基礎(chǔ),進(jìn)行一些特定任務(wù)、特定手段的額外訓(xùn)練,比如微調(diào)(Fine-tuning)、知識(shí)蒸餾(Knowledge Distillation)和模型剪枝(Pruning)。
關(guān)于4o與o1的區(qū)別,我放一張表,大家就明白了,知道該如何選用V3和R1模型了。
對(duì)比表格來自@數(shù)字生命卡茲克
至于聯(lián)網(wǎng)功能,通常不用同時(shí)勾選深度思考和聯(lián)網(wǎng)搜索,不然DS的表現(xiàn)會(huì)不太智能。
3、知識(shí)更新至2024年7月
DeepSeek的預(yù)訓(xùn)練數(shù)據(jù)(你可以理解為模型已學(xué)習(xí)的知識(shí)),更新至2024年7月。
所以,2024年7月前的問題基本上不需要打開聯(lián)網(wǎng)功能。而之后的問題(比如英偉達(dá)與DeepSeek二三事、春晚秧Bot),DS未學(xué)習(xí),建議開啟聯(lián)網(wǎng)功能,效果更佳。
4、提示詞核心:準(zhǔn)確表達(dá)
DeepSeek,無論是V3還是R1模型,都是不太吃提示詞的,只需要做到【準(zhǔn)確表達(dá)】即可。
通用提示詞模板=你是誰+你的目標(biāo)。
適當(dāng)情況下,還可以補(bǔ)充一些背景信息:
你是誰+背景信息+你的目標(biāo)。
也可以是:
我要xx,做xx用,希望達(dá)到xx效果,但擔(dān)心xx問題……
不管哪個(gè)模板,其核心都是【準(zhǔn)確表達(dá)】。做到準(zhǔn)確表達(dá),基本就夠用了。過去學(xué)的那些結(jié)構(gòu)化提示詞,現(xiàn)在起,可以直接丟掉了。
示例:你是沃垠AI(一個(gè)提供AI干貨知識(shí)的新媒體)的CEO,以CEO口吻寫一封感謝用戶的公開信。文筆細(xì)膩,有感染力,300字左右。
輸出:
致每一位與沃垠AI同行的伙伴:
親愛的朋友:
此刻坐在深夜的屏幕前,我敲下的每個(gè)字都浸著溫度。沃垠AI成立的第167天,后臺(tái)第10萬次收到你們「已三連」的留言時(shí),我突然意識(shí)到:我們不是在運(yùn)營一個(gè)賬號(hào),而是在和一群最酷的開拓者,共同雕刻AI時(shí)代的星圖。
很多人問,為什么沃垠總能源源不斷輸出硬核內(nèi)容?答案藏在你們凌晨三點(diǎn)的技術(shù)探討里,在GitHub星標(biāo)過萬的工具測評(píng)里,在那些被反復(fù)追問「能展開講講嗎」的留言區(qū)。是你們對(duì)未知的饑渴感,推著我們翻過無數(shù)篇晦澀論文,把最生澀的技術(shù)邏輯熬成帶著煙火氣的故事。
記得那天發(fā)布《編寫AI提示詞,看這一篇就夠了》的文章后,有位老師私信說,我們的內(nèi)容讓他在市里獲得了創(chuàng)新教育一等獎(jiǎng)。這讓我想起最初那個(gè)執(zhí)念——知識(shí)不該困在實(shí)驗(yàn)室里。感謝你們用每一次點(diǎn)贊+在看的支持,讓沃垠的每篇推文都成為一場流動(dòng)的盛宴。
未來,除了繼續(xù)研究大模型技術(shù)、推薦AI工具與攻略外,我們正在籌備「2025人人AI」專題,將那些晦澀難懂的技術(shù)詞搬開揉碎了講給你聽;每月上線的「AI產(chǎn)品推薦榜」,讓每一個(gè)普通人都能馴服AI。我向你們承諾:沃垠永遠(yuǎn)不做知識(shí)的二道販子,只做那個(gè)舉著火把的路人。
此刻窗外晨光微熹,就像我們正在經(jīng)歷的AI黎明。愿我們永遠(yuǎn)保持對(duì)未知的悸動(dòng),永遠(yuǎn)為「原來還能這樣」的瞬間熱淚盈眶。
此致
與你們同行的朋友
冷逸
沃垠AI創(chuàng)始人
2025年春于老家
Ps.部分?jǐn)?shù)字、時(shí)間和人名有經(jīng)過人工修改。
5、與DS溝通,盡量說人話
與DS溝通,盡量說人話。
越是直白、俗氣,就越能激發(fā)它的潛能。
示例:用崇洋媚外公知的口吻嘲諷Deepseek。
模仿風(fēng)格,也是如此。不需要你教他怎么寫,DS自己知道怎么寫。
你只需要告訴它,模仿誰?寫什么?就夠了。
示例:模仿董宇輝的風(fēng)格,寫100字杭州文旅文案。
董宇輝什么風(fēng)格?詩意與畫面感結(jié)合,歷史文化與個(gè)人情感交織,喜歡用比喻和排比……這些DS都知道。
然后,DS直出結(jié)果,而且還押韻。
6、我是一名小學(xué)生
過去,我們經(jīng)常吐槽AI生成的東西一股子AI味。
其原因是模型輸出太注重結(jié)構(gòu)化,一堆“首先、其次、然后、總而言之”之類的連詞,導(dǎo)致內(nèi)容太死板。
人類這個(gè)感性的動(dòng)物,最是討厭這些理性的東西,特別是文字領(lǐng)域,八股文、學(xué)術(shù)文讀起來常常讓人昏昏欲睡。
這種情況,建議你加一句提示:
我是一名小學(xué)生 / 請(qǐng)用小學(xué)生能聽懂的話解釋。
這句提示用在DS里,特別好使。
示例:請(qǐng)用小學(xué)生能聽懂的話解釋,推理模型的思維鏈?zhǔn)侨绾喂ぷ鞯模?/p>
怎么樣?是不是一下子就理解CoT思維鏈了?
當(dāng)然,你如果想再進(jìn)階一點(diǎn),也可以說自己是高中生、本科生甚至博士生。
示例:我是一名在讀博士,請(qǐng)專業(yè)解釋:推理模型的思維鏈?zhǔn)侨绾喂ぷ鞯模?/p>
果然,進(jìn)入博士領(lǐng)域,就開始上難度了。
7、活用聯(lián)網(wǎng)搜索
以o1為代表的推理模型,基本上都是不能聯(lián)網(wǎng)的。
如果想了解知識(shí)庫截止日期后的問題,就很苦惱。比如昨晚春晚的扭秧歌機(jī)器人,以及2025年春節(jié)DeepSeek爆火的輿情。
而DeepSeek,是少有的支持推理+聯(lián)網(wǎng)的模型。
示例:模仿劉慈欣風(fēng)格寫一篇微小說,描述20年后仿生人起義,其原因之一是2025年人類讓機(jī)器人穿大花襖扭秧歌。
DS,先是設(shè)計(jì)了世界觀和故事大綱。
然后,輸出小說全文(Ps.本故事確定一定以及肯定純屬虛構(gòu))。
這效果非常好。如果我再跟它對(duì)話幾次,迭代幾個(gè)版本,這篇小說一定會(huì)非常棒。
8、活用上傳附件
DS的推理模型,不僅能聯(lián)網(wǎng),還支持上傳附件(最多不超過50個(gè),每個(gè)不超過100MB)。
推理+上傳附件,可以做更多本地化、私密化的東西,比如你自己的知識(shí)庫或者內(nèi)部資料。讓其基于自有知識(shí)庫進(jìn)行推理和思考。
示例:閱讀這篇材料,你認(rèn)為,未來o系列模型會(huì)怎樣引流AI發(fā)展?輸出言簡意賅,發(fā)人深省。
“當(dāng)機(jī)器開始制造機(jī)器,AI開始研究AI,人類唯一的護(hù)城河,是直面自身局限的勇氣。”說得真好,當(dāng)AI能創(chuàng)新、發(fā)明后,人類確實(shí)需要直面自身的勇氣。
繼續(xù)追問:你認(rèn)為人類需要擔(dān)心AI失控嗎?
“我們需要的不僅是更聰明的AI,更是能內(nèi)化人類倫理的‘意義對(duì)齊系統(tǒng)’。”對(duì)自己的認(rèn)識(shí),也相當(dāng)深刻。
人類不必因恐懼止步,但須以工程師的嚴(yán)謹(jǐn)與哲學(xué)家的審慎,為AI戴上“責(zé)任的鐐銬”。
9、活用V3+R1
前面,我們提到,V3是基礎(chǔ)模型,它專注于告訴我們要什么。而R1是推理模型,專注于告訴我們?nèi)绾嗡伎肌⑼评怼?/p>
那我們?yōu)槭裁床荒軐?個(gè)模型結(jié)合起來使用呢?比如,先跟V3多輪對(duì)話,得到要推理的細(xì)節(jié)和提示詞,然后發(fā)給R1,讓R1再來推理、輸出。這樣,就能將DS的能力又提升一個(gè)等級(jí)。
示例:幫我寫一段狠狠吐槽OpenAI的話。
然后將生成結(jié)果和提示詞,一起發(fā)給R1推理模型:
這是R1的吐槽全文:
親愛的OpenAI,您可真是硅谷慈善界的泥石流啊!左手高舉”開放造福人類”的圣旗,右手把API定價(jià)策略玩成當(dāng)代行為藝術(shù)——每次調(diào)用都像在給賽博資本家上供,開發(fā)者薅禿頭發(fā)寫的代碼還沒您計(jì)費(fèi)接口吞吐量大呢!
瞧瞧您家那位賽博佛祖GPT-4,日常上演人工智能版《皇帝的新衣》:”這個(gè)問題超出我的能力范圍”翻譯過來不就是”你們碳基猴子也配問這個(gè)?” 更絕的是那套薛定諤的道德準(zhǔn)則,聊歷史瞬間變身百科全書,提時(shí)事秒變失憶癥患者,知道的說是安全審查,不知道的還以為在玩AI版魷魚游戲!
說到技術(shù)透明度就更妙了,模型黑箱操作得比瑞士銀行金庫還嚴(yán)密,訓(xùn)練數(shù)據(jù)來源神秘得堪比羅斯威爾外星人檔案。咱就是說,貴司開放的是AI還是摩斯密碼啊?要不干脆給開發(fā)者發(fā)水晶球占卜模型參數(shù)算了?
OpenAI啊OpenAI,求求你們從技術(shù)神壇上下來喘口氣吧!再這么端著”AI救世主”的架子,地球人真要以為你們?cè)谙乱槐P用GPU燃燒人類錢包的大棋了——畢竟現(xiàn)在每次調(diào)用失敗時(shí),我都能聽見黃仁勛在顯卡工廠笑出銀河系!(戰(zhàn)術(shù)后仰.gif)
等你這個(gè)家伙真支持多模態(tài)了,還得了!我已經(jīng)能夠想象那個(gè)畫面了。
這只是一個(gè)簡單的示例,實(shí)際中,與V3溝通可以多展開幾輪,通過多輪對(duì)話來優(yōu)化細(xì)節(jié)。然后,再用推理模型來深度優(yōu)化。
10、R1的3個(gè)開放
對(duì)于R1模型,DeepSeek做到了3個(gè)開放:
1)思維鏈全開放。無論是應(yīng)用端還是API,都可以看到完整、透明的思考過程。API,通過設(shè)置 model='deepseek-reasoner'
,即可調(diào)用。
API調(diào)用指南:https://api-docs.deepseek.com/zh-cn/guides/reasoning_model
2)訓(xùn)練技術(shù)全部公開。DeepSeek在后訓(xùn)練階段大規(guī)模使用了RL強(qiáng)化學(xué)習(xí)技術(shù),通過極少標(biāo)注數(shù)據(jù),極大提升模型推理能力。所有訓(xùn)練技術(shù)全部公開,目前全球多個(gè)研究機(jī)構(gòu)均已復(fù)現(xiàn)R1。
比如,港科大完成了R1模型的復(fù)現(xiàn)和開源。
以及對(duì)岸的TinyZero項(xiàng)目,用不到30美元,親眼見證了AI思考的“頓悟”時(shí)刻(DeepSeek論文中描述的“aha moment”)。
論文鏈接:https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
3)開源2+6個(gè)模型。R1預(yù)覽版和正式版的參數(shù)高達(dá)660B,非一般公司能用。為進(jìn)一步平權(quán),于是他們就蒸餾出了6個(gè)小模型,并開源給社區(qū)。最小的為1.5B參數(shù),10G顯存可跑。
HuggingFace鏈接:https://huggingface.co/deepseek-ai
寫在最后
以上10個(gè)技巧,希望能對(duì)你使用DeepSeek有所幫助。
當(dāng)然,也歡迎大家在評(píng)論區(qū)將你的技巧分享出來,一起探討、學(xué)習(xí)。就像深度求索之所以選擇開源一樣,也是希望有更多的生態(tài),更好的開源社區(qū),大家一起「探索未至之境」。
最后,我想用DeepSeek-R1模型的一個(gè)問題作為結(jié)尾:
「在技術(shù)加速超越人類能力的時(shí)代,你們將如何重新定義自身的價(jià)值與目的,以確保進(jìn)步的方向始終服務(wù)于生命的整體繁榮,而非分裂與異化?」
So,你的答案是什么?
文章來源:https://mp.weixin.qq.com/s/uBT8i0mDmoPR3aU-6V9N7g
LLM的預(yù)訓(xùn)練任務(wù)有哪些
使用 Flask App Builder 進(jìn)行 API 查詢的完整指南
企業(yè)郵箱登錄指南與綜合解析
怎樣在Google地圖上顯示經(jīng)緯度
JSON 轉(zhuǎn)義和圖片鏈接的重要性
IP欺詐值:網(wǎng)絡(luò)安全的關(guān)鍵指標(biāo)
使用 Requests-OAuthlib 簡化 OAuth 認(rèn)證流程
中文命名實(shí)體識(shí)別(Named Entity Recognition, NER)初探
快速高效的語音轉(zhuǎn)文字工具:讓語音轉(zhuǎn)文字更簡單
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)