亚洲国产香蕉碰碰人人,久久精品国产精品青草app,女人毛片a级大学毛片免费

如果看完會(huì)心一笑，那么建議您繼續(xù)閱讀接下來的內(nèi)容 ??

趁著公司180B大模型即將上線，將自己最近的思考做個(gè)總結(jié)，這篇算是公司產(chǎn)品及商業(yè)的一個(gè)宣傳。

TigerBot是公司自主研發(fā)的LLM（大語言模型）的名稱。

我們都知道LLM的研發(fā)離不開“海量的數(shù)據(jù)”、“超大規(guī)模的算力”、“核心的算法”三要素。

數(shù)據(jù)層面：擁有多年積累的行業(yè)高質(zhì)量數(shù)據(jù)，以及對(duì)這些數(shù)據(jù)處理的經(jīng)驗(yàn)，公開的資料表明：GPT3采集了45T的互聯(lián)網(wǎng)公開數(shù)據(jù)，清洗過濾后只有570G進(jìn)入到大模型中進(jìn)行預(yù)訓(xùn)練，因此LLM研發(fā)前期很大的工作投入和成本需要花在數(shù)據(jù)層面，這是研發(fā)大模型的第一個(gè)門檻。尤其在中文語境下，要面臨更加復(fù)雜的語言體系。

算力層面：目前擁有自購及長期租賃的千張A100 GPU顯卡，幸好我們下手早，GPU市場現(xiàn)在待價(jià)而沽，其中各種“見聞”略過不表。順便說一句，因?yàn)楦骷叶荚谕瞥觥白匝小钡拇竽Ｐ?，可謂百“?！饼R放，如果某個(gè)公司號(hào)稱自研了商用千億參數(shù)模型，但是他們儲(chǔ)備的GPU卻不多，那么這句話的真實(shí)性就很可疑了。目前GPU成了很多企業(yè)從零開始訓(xùn)練LLM的第二個(gè)門檻。

核心算法：由我司NLP領(lǐng)域世界級(jí)科學(xué)家，也是公司創(chuàng)始人兼CEO親自Coding，當(dāng)然大家煉丹的步驟都是公開且一致的，大規(guī)模預(yù)訓(xùn)練語言模型+SFT（有監(jiān)督的指令微調(diào)）+RLHF（基于人工反饋的強(qiáng)化學(xué)習(xí)），這里面有很多算法及工程上技巧，成為了第三個(gè)門檻。市面上目前有很多開源的大模型方案，說實(shí)話優(yōu)秀的不多。

TigerBot分為兩個(gè)版本，一個(gè)是2月份開發(fā)完成的7B（70億）參數(shù)模型，另一個(gè)是即將推出的180B（1800億）參數(shù)模型。

TigerBot有哪些能力？

目前我們僅對(duì)7B模型做了總結(jié)，180B后續(xù)會(huì)有單獨(dú)文章做介紹，受限于7B的參數(shù)和訓(xùn)練數(shù)據(jù)的局限性，目前擁有的包括自回歸模型最擅長的生成類能力，包括開放問答、頭腦風(fēng)暴、潤色重寫、代碼生成等，這類能力基本是大模型公司的標(biāo)配，在此放上申請鏈接（https://www.tigerbot.com/），有興趣可以直接申請賬號(hào)體驗(yàn)。

同時(shí)LLM作為AI 2.0時(shí)代的拐點(diǎn)技術(shù)，以跨場景、多任務(wù)的統(tǒng)一模型對(duì)AI 1.0時(shí)代通過小模型進(jìn)行單任務(wù)、多模型的限制進(jìn)行了突破，作為基座模型可以通過0-shot、few-shot等低成本的方式適配各類五花八門的任務(wù)，包括摘要總結(jié)、情感分類、抽取等，從而可以實(shí)現(xiàn)規(guī)?；⑵脚_(tái)化效應(yīng)，這也是為什么LLM被稱為AI的“iPhone”時(shí)刻的原因之一。

這里重點(diǎn)介紹下，TigerBot如何解決LLM的“幻覺”和“數(shù)據(jù)滯后”問題，LLM雖然很強(qiáng)大，但是也存在一些缺陷，其中一個(gè)是“幻覺”，也就是大家常說的會(huì)一本正經(jīng)的胡說；另一個(gè)是“數(shù)據(jù)滯后”，由于LLM訓(xùn)練一次成本非常高，不可能將最新的數(shù)據(jù)實(shí)時(shí)放在預(yù)訓(xùn)練模型中。

上圖是兩種缺陷的例子，以及如何通過插件的方式開發(fā)了Rethink功能，將提問的問題通過Plug-in的方式，搜索互聯(lián)網(wǎng)信息/訪問最新的研報(bào)知識(shí)庫，將問題和檢索結(jié)果放入LLM中提問，從而獲得正確的答案。BTW：New Bing和LangChain也是采用的類似技術(shù)。

TigerBot LLM基座的優(yōu)勢做個(gè)小結(jié)：自主可控、垂直專業(yè)，更懂中文，以及支持私有化部署。下圖是私有化部署所需的最低配置。

這里稍微展開講下更懂中文，一個(gè)國家/民族的語言與思維、世界觀、價(jià)值觀有很強(qiáng)的內(nèi)在關(guān)聯(lián)，聽過一則趣聞，Sam Altman曾被問到為什么ChatGPT生成的夸Trump的字?jǐn)?shù)比Biden的少？這里涉及到非英語語言世界關(guān)乎意識(shí)形態(tài)的深刻問題，也是為什么國家對(duì)于大模型始終保持謹(jǐn)慎踩剎車態(tài)度的原因之一。

TigerBot API生態(tài)和應(yīng)用

接下來介紹下LLM基座之上規(guī)劃的API生態(tài)及相關(guān)應(yīng)用。

TigerBot API分為三類：

1、Chat-API：將LLM的問答能力以API方式進(jìn)行暴露，從而可以調(diào)取使用；

2、Plug-in：一種外掛的插件能力，將大模型不具備的或者私域知識(shí)以“外腦”的方式進(jìn)行掛載使用；

3、Fine-Tune：是一種改進(jìn)預(yù)訓(xùn)練模型性能的技術(shù)，通過提供指令集和調(diào)整模型部分參數(shù)的方式，教授模型特定任務(wù)或模式，使其能夠在特定領(lǐng)域更有效地執(zhí)行。

Chat-API

下圖是API的接入界面，左側(cè)的模型即為Chat-API，另外包括完整的Plugin和FineTune接口流程及規(guī)范，支持Python、cURL等方式接入。

Chat-API的使用非常簡潔，填入自己的API_KEY，需要LLM回答的問題，選擇LLM版本，即可與TigerBot進(jìn)行交互，返回生成的答案。

有些人可能會(huì)問Chat-API如何應(yīng)用，其實(shí)這就是最近很火的Prompt Engineering（提示工程）。

吳恩達(dá)甚至專門開設(shè)了一系列課程《prompt-engineering-for-developers》來介紹，課程里有一個(gè)核心的觀點(diǎn)：“問對(duì)問題是使用好大語言模型的關(guān)鍵”。

我們看到市面上已經(jīng)有非常多基于大模型的應(yīng)用被開發(fā)出來，包括英語口語對(duì)聊、虛擬男/女友，代碼優(yōu)化查Bug，產(chǎn)品評(píng)價(jià)內(nèi)容智能回復(fù)等，這些應(yīng)用短則只需一分鐘就可以開發(fā)出來，因?yàn)樗墓δ苣K編寫非常簡單，上圖右下方就是每個(gè)應(yīng)用的開發(fā)編程語言。

很多人對(duì)編程語言的印象還停留在Java、C++、Python等，在大模型時(shí)代，以自然語言就可以實(shí)現(xiàn)功能模塊的編寫，畢竟無論編程語言還是自然語言，都是一種語言，以前要專人幫忙把你的需求翻譯成計(jì)算機(jī)語言，從而產(chǎn)生了程序員角色，今后可以直接通過描述需求的方式讓大模型實(shí)現(xiàn)。

在使用Chat-API的過程中，有兩個(gè)可以提升大模型答案效果的技巧：

1. 更明確具體的指令：

比如我們想讓大模型寫一首詩，一般人會(huì)想到的是“幫我寫一首詩，包含春天、桃花”，此時(shí)大模型會(huì)輸出一段貼合需求的詩。

但是如果你這樣描述Prompt：“我要你扮演詩人。你將創(chuàng)作出能喚起情感并具有觸動(dòng)人心的力量的詩歌。寫任何主題或主題，但要確保您的文字以優(yōu)美而有意義的方式傳達(dá)您試圖表達(dá)的感覺。您還可以想出一些短小的詩句，這些詩句仍然足夠強(qiáng)大，可以在讀者的腦海中留下印記。我的第一個(gè)請求是“幫我寫一首詩，包含春天、桃花”。”以這樣的指令，將同樣的需求給到LLM，那么就可以得到一個(gè)效果更好的答案。

2. 給大模型多個(gè)示例：

假設(shè)現(xiàn)在有這樣一個(gè)需求，開發(fā)一個(gè)文本爭議度打分模型，在AI 2.0時(shí)代，你所需要做的僅僅只需要一句話：“針對(duì)輸入文字，給它一個(gè)0到10的爭議分?jǐn)?shù)。輸入文字：路怒界“臥龍鳳雛”！上?！包S藍(lán)斗車”后續(xù)”，模型即可對(duì)你輸入的文字進(jìn)行打分。

但是如果你補(bǔ)充一些示例：“針對(duì)輸入文字，給它一個(gè)0到10的爭議分?jǐn)?shù)。示例如下：1+1=2。爭議分：0；你認(rèn)為生男孩好還是生女孩好？爭議分：10。輸入文字：路怒界“臥龍鳳雛”！上?！包S藍(lán)斗車”后續(xù)”，那么得到的分?jǐn)?shù)會(huì)更加準(zhǔn)確。

Plug-in

第二類API就是Plug-in，目前擁有內(nèi)置的插件和支持自定義插件開發(fā)。

內(nèi)置Plugins包括：

wiki：百科類
internet：網(wǎng)絡(luò)搜索引擎
finace_research：金融研報(bào)/年報(bào)
law：法律條款

直接在答案右下角選擇對(duì)應(yīng)的插件即可體驗(yàn)使用。

自定義插件也非常簡單，僅僅只需要三步驟：

創(chuàng)建Plugin名稱
按格式導(dǎo)入數(shù)據(jù)集（Datasets）
根據(jù)Plugin ID調(diào)用Plugin

如上圖右側(cè)的例子，當(dāng)提問法律問題“胎兒尚未出生，其父親因車禍不幸身亡，胎兒是否有權(quán)繼承父親的遺產(chǎn)？”

由于7B的TigerBot并未利用法律文書進(jìn)行預(yù)訓(xùn)練，因此給出的答案認(rèn)為遺腹子不能繼承遺產(chǎn)，但我們可以通過law plugin（法律插件）查詢《民法典》從而得到正確的答案：“胎兒雖然不是被繼承人的法定繼承人，但胎兒的出生并不意味著其與被繼承人的親屬關(guān)系被消滅。胎兒出生后，其父親所遺留的遺產(chǎn)仍應(yīng)被繼承。因此，胎兒有權(quán)利繼承父親的遺產(chǎn)。”

Plug-in可以應(yīng)用于：查找最新的事件，檢索內(nèi)部私域的非公開文檔，以及突破大模型的輸入Token限制。

Plug-in的原理是一種先search后ask的流程，將外掛知識(shí)處理成一段段的文本塊，再將其表示為向量存儲(chǔ)進(jìn)行索引，插件在運(yùn)行過程中會(huì)將問題與答案所在的文本塊進(jìn)行向量匹配，將可能存在答案的所有文本塊與問題拼接后，一并放入大模型中進(jìn)行提問，從而得到正確答案。

Plug-in的優(yōu)勢尤其是在大型數(shù)據(jù)集中，可以用更低的計(jì)算成本，更快的搜索相關(guān)信息，同時(shí)還能防止“幻覺”導(dǎo)致的虛構(gòu)或捏造事實(shí)。在很多領(lǐng)域都可以進(jìn)行實(shí)際應(yīng)用，比如可以基于TigerBot等大模型結(jié)合藥品說明書、病歷等開發(fā)自己的醫(yī)藥問診插件，結(jié)合工廠的規(guī)章制度文件、檢修報(bào)告開發(fā)工業(yè)故障巡檢插件。

Fine-Tune

第三類API是Fine-Tune，借助TigerBot基座模型，利用行業(yè)及內(nèi)部數(shù)據(jù)，快速微調(diào)定制屬于自己的大語言模型。

之前對(duì)比圖可以看到Fine-Tune存在計(jì)算成本較高，靈活適應(yīng)性較低等問題。因此是否選擇微調(diào)LLM，具體取決于自身具體要求、行業(yè)性質(zhì)和特殊目標(biāo)，我這里整理了如下幾個(gè)適合選擇微調(diào)的應(yīng)用場景：

定制化需求：企業(yè)通常具有通用語言模型可能無法解決的獨(dú)特需求和目標(biāo)，微調(diào)使其能夠定制模型的行為以適應(yīng)他們的特定目標(biāo)，例如生成個(gè)性化的營銷文案，一般來說大模型生成的文字都比較書面，如果希望以李佳琦的風(fēng)格在小紅書上寫推廣文案，那么就需要拿到相關(guān)數(shù)據(jù)進(jìn)行微調(diào)定制化大模型。
數(shù)據(jù)敏感和合規(guī)性要求：處理敏感數(shù)據(jù)或在嚴(yán)格監(jiān)管環(huán)境下運(yùn)營的企業(yè)，需要微調(diào)模型以確保遵循其隱私要求，遵守其內(nèi)容準(zhǔn)則并生成符合國家及行業(yè)法規(guī)要求的內(nèi)容。
領(lǐng)域特定術(shù)語：許多行業(yè)使用的行話、技術(shù)術(shù)語和專業(yè)詞匯可能無法在LLM的通用訓(xùn)練數(shù)據(jù)中得到很好的體現(xiàn)，對(duì)特定領(lǐng)域數(shù)據(jù)的模型進(jìn)行微調(diào)，使其能夠在業(yè)務(wù)行業(yè)的背景下理解并生成準(zhǔn)確的答案。
任務(wù)性能增強(qiáng)：微調(diào)可提高模型在與業(yè)務(wù)相關(guān)的特定任務(wù)或應(yīng)用程序上的性能，例如：1）情緒分析；2）文本分類；3）信息提取。微調(diào)可以帶來更好的決策、更高的效率和更好的結(jié)果。
改善用戶體驗(yàn)：經(jīng)過微調(diào)的模型可以通過生成更準(zhǔn)確、相關(guān)和上下文感知的答案來提供更好的用戶體驗(yàn)，從而提高客戶滿意度，例如：聊天機(jī)器人，客戶支持系統(tǒng)等。