API網關如何發展：更輕、更智能、云原生
如果大腦中的每個神經元都有1000個連接，這意味著貓有大約2500億個突觸，狗有5300億個突觸。突觸計數通常似乎可以預測更高的智力，只有少數例外：例如，從技術上講，大象的突觸計數高于人類，但智力較低。
對于智力較低的突觸數量較大，最簡單的解釋是高質量數據量較小。從進化的角度來看，大腦是在數十億年的表觀遺傳學上“訓練”的數據和人類大腦是從比大象更高質量的社會化和通信數據進化而來的，這導致了我們卓越的推理能力。無論如何，突觸數量絕對是重要的。
同樣，自2010年代初以來，人工智能能力的爆炸是更多計算能力和更多數據的結果。GPT-2有15億個連接，這比老鼠的大腦（約100億個突觸）還少。GPT-3有1750億個連接，這在一定程度上接近貓的大腦。
貓大腦大小的人工智能系統會優于比老鼠大腦小的人工智能，這不是很直觀嗎？
2020年，在1750億個參數GPT-3發布后，許多人猜測一個模型在100萬億個參數下的潛在性能約為600倍，因為這個參數計數將與人腦的突觸計數相匹配。2020年，沒有強有力的跡象表明有人在積極研究這種尺寸的模型，但這很有趣。
? ? ? ?最大的問題是，是否可以通過參數計數來預測人工智能的性能？事實證明，答案是肯定的，正如你將在下一頁看到的那樣。
正如Lanrian所說明的那樣，在人類水平的大腦大小與參數計數相匹配的同時，人工智能的表現似乎莫名其妙地達到了人類水平。他對大腦中突觸數量的統計大約是200萬億個參數，而不是通常所說的100萬億個數字，但這一點仍然有效，在100萬億個參數下的表現非常顯著接近最優。
? ? ? ?順便說一句，需要注意的一件重要的事情是，盡管100萬億在性能上略顯次優，但OpenAI正在使用一種工程技術來彌補這一差距。我將在文檔的最后解釋這一點，因為它對OpenAI的構建至關重要。
Lanrian的帖子說明與先前模型之間性能的差距。OpenAI當然有更詳細的指標，它們得出了與Lanrian相同的結論，我將在本文后面展示。
那么，如果人工智能的性能是基于參數計數可預測的，并且大約100萬億個參數就足以滿足人類水平的性能，那么100萬億參數的人工智能模型何時發布？
? ? ? ? GPT-5在2023年末以48的智商實現了原始AGI。
?第一次提到OpenAI正在開發的100萬億參數模型是在2021年夏天，Cerebras公司CEO（Andrew Feldman）在有線采訪中即興提到了Sam Altman是該公司的主要投資者。
Sam Altman在2021年9月舉行的名為AC10的在線會議和問答中對安德魯·費爾德曼的回應。值得注意的是，Sam Altman承認他們的100萬億參數模型計劃。
?僅僅幾周后，人工智能研究人員Igor Baikov就聲稱GPT-4正在接受訓練，并將在12月至2月間發布。我將再次證明，Igor確實掌握了準確的信息。
??Gwern是人工智能界的著名人物——他是一名人工智能研究人員和博客作者。他在推特上給Igor Baikov發了信息（2022年9月），這是他收到的回復。重要的是要記住：“Colossal number of parameters”.“Text”, “audio”, “images”, “possibly video”以及“multimodal”。這來自一個名為“thisisthewayitwillbe”的子版塊，由一位對AGI感興趣的數學教授運營。人工智能愛好者（和一些專家）使用reddit子網站來深入討論人工智能話題，而不是主流話題。
根據Igor Baikov 對“Colossal number of parameters”？的理解，指的是一個100萬億參數模型，5000億參數模型和多達1萬億參數模型已經被訓練了很多次。
? ? ? ?這些來自“rxpu”的推文很有趣，他似乎是一位來自土耳其的人工智能愛好者，因為他們在其他人之前對GPT-4的發布窗口做出了非常相似的聲明（相信我——我每天花很多小時在互聯網上搜索類似的聲明，在他之前沒有其他人做出過具體的聲明）。
? ? ? ?他還提到了“125萬億突觸”GPT-4——然而，他錯誤地將GPT-3的參數計數稱為1萬億。（看起來rxpu確實有內幕信息，但與參數計數混淆了——我稍后將再次說明這一點，并證明rxpu沒有撒謊）。
??這是一個較弱的證據，因為“roon”作為硅谷人工智能研究人員相當引人注目，緊隨其后的是OpenAI首席執行官Sam Altman和推特上的其他OpenAI研究人員。
??2022年11月，我聯系了一位名叫Alberto Romero的人工智能博主。他的帖子似乎在網上傳播得很廣，所以我希望如果我給他發一些關于GPT-4的基本信息，他可能會寫一篇文章，消息就會傳開。
? ? ? ?正如我將在接下來的兩頁中展示的那樣，這次嘗試的結果非常顯著。
? ?Alberto Romero的帖子。一般回復將顯示在下一頁。
?這起100萬億參數泄露事件在網上瘋傳，波及數百萬人，以至于包括首席執行官Sam Altman在內的OpenAI員工不得不做出回應，稱其為“徹頭徹尾的胡說八道”。The Verge稱其“事實不正確”。正如你在左邊看到的，Alberto Romero聲稱對泄漏事件負責。
Igor說“Colossal number of parameters”時，他的意思確實是“100萬億個參數”。
? ? ? ?但是，Igor消息的來源可靠嗎？他的其他說法準確嗎？多模態呢？GPT-4處理圖像、聲音和視頻的能力如何？我很快就會證明Igor的可靠性。
大約在2022年10月/11月的某個時候，我確信OpenAI計劃在發布完整的100萬億參數模型（“GPT-5”）之前，首先發布GPT-4的約1-2萬億參數子集。這些消息來源并不特別可靠，但他們都說了同樣的話——包括rxpu，他曾經聲稱有一個125萬億的參數模型在研究中，然后錯誤地聲稱GPT-3是1萬億——我相信他把信息搞混了。
這里的消息來源可信度各不相同（Jyri和Leeor是舊金山的投資者，Harris是人工智能研究員），但他們都莫名其妙地說了同樣的話——GPT-4在2022年10月/11月進行了測試。根據美國軍事人工智能研究人員Cherie M Poland的說法，它肯定在10月接受訓練，這再次與Igor Baikov的泄密事件相吻合。
正如Sam Altman本人所證明的那樣，OpenAI的官方立場是，100萬億參數GPT-4的想法“完全是胡說八道”。這是對的一半，因為GPT-4是完整的100萬億參數模型的1萬億參數子集。
?為了說明100萬億參數模型尚未到來，仍在開發中，Semafor在2023年3月（GPT-4發布后不久）聲稱GPT-4是1萬億參數。（OpenAI拒絕披露參數量）。
另一件毫無價值的事情是，OpenAI聲稱GPT-4在8月“完成了訓練”，而我們知道8月至10月期間正在訓練一個“巨大”的多模態模型。對此的一種解釋是，OpenAI撒謊了。另一種可能性是，1萬億參數GPT-4可能在8月完成了第一輪訓練，但在8月至10月之間進行了額外的再訓練，這是整個100萬億參數模型的大部分訓練時間。
我將提供我的證據，證明GPT-4不僅接受了文本和圖像訓練，還接受了音頻和視頻訓練。
Francis Hellyer似乎可信，但這一頁并不是最可靠的證據——我之所以把它包括在內，是因為它似乎證實了其他消息來源的說法。弗朗西斯是一位投資者、企業家和作家。他在推文中列出的關于團隊“互聯網即將耗盡”的信息在任何其他出版物、任何泄露或任何在線帖子中都找不到，所以他沒有從其他地方“竊取”這些信息。
? ? ? ? 下一頁上有一個非常可靠的來源。
??在GPT-4正式發布的前一周，微軟德國公司的CTO似乎出現了失誤，并透露存在一種能夠處理視頻的GPT-4。我想他不知道OpenAI決定不透露系統的視頻功能。
? ? ? 這完全證明GPT-4/5不僅在文本和圖像上訓練，而且在視頻數據上訓練，當然我們可以推斷音頻數據也包括在內。
顯然，Igor關于100萬億參數模型的說法是正確的，直到每一個精確的細節。
? ? ? 另一個與Igor說法一致的消息來源是一位可靠的企業家，他表示（2022年10月25日）GPT-4的發布日期將在2023年1月至2月之間：
盡管GPT-4發布于2023年3月，略晚于Igor Baikov聲稱的12月至2月窗口期（我認為這是OpenAI故意抹黑Igor的泄露），但Bing ChatGPT（基于GPT-4）實際上是在2023年2月發布的，這清楚地表明Igor聲稱的窗口期是有效的，很可能在最后一分鐘被驚慌失措的OpenAI更改了。
關于機器人：人工智能研究人員開始相信，視覺是實現最佳現實世界/物理性能所必需的一切。舉一個例子，特斯拉完全拋棄了所有傳感器，完全致力于基于視覺的自動駕駛汽車方案。
? ? ? 在互聯網上的所有圖像和視頻數據上訓練一個人腦大小的人工智能模型足以處理復雜的機器人任務。常識性推理被隱藏在視頻數據中，就像它被隱藏在文本數據中一樣（以文本為中心的GPT-4非常擅長常識性推理）。
? 谷歌最近的一個例子是，從一個大型視覺/語言模型中學習機器人能力。（除了語言和視覺訓練外，還需要最少的機器人數據，視覺和文本任務中的知識轉移到機器人任務中。OpenAI正在“互聯網上的所有數據”上訓練他們的100萬億參數模型，其中無疑包括機器人數據）。Palm-E是一個約5000億的參數模型——當你根據互聯網上所有可用的數據訓練一個100萬億的參數模型時，機器人的性能會發生什么？（下一頁有更多關于谷歌Palm-E機型的信息）。
另一項機器人技術開發——這次來自特斯拉（2023年5月16日）。他們訓練他們的機器人“擎天柱”來抓住一個物體——而且“沒有完成特定任務的編程”。一切都是從人類身上學到的示威。
“這意味著我們現在可以快速擴展到許多任務。”
? ? ? ?再一次：如果高級機器人性能只需要人類演示，那么在網絡上所有視頻上訓練的100萬億參數模型肯定能夠實現驚人的機器人性能。
?左邊的圖像顯示了1萬億參數GPT-4在圖像識別方面的能力。這種反應已經比許多人類所能想到的更清晰、寫得更好了。那么，當你根據互聯網上的所有數據訓練一個比GPT-4大100倍的模型時，會發生什么呢？GPT-4是人腦的大小？
公開可用的視頻和圖像生成AI模型的當前質量水平示例。這些模型的參數大小不到100億。當你用互聯網上的所有可用數據訓練一個大一萬倍的模型，并使其能夠生成圖像和視頻時，會發生什么？（答案是：圖像和視頻與真實事物完全無法區分，100%的情況下，沒有例外，沒有變通辦法，任何人都無法區分，無論他們多么努力）。-（更新：SORA來自GPT-5 Q*2023型號）
? ? ? ?Longjumpting-Sky-1971的兩個帖子。我之所以包括這一點，是因為他提前幾周準確預測了GPT-4的發布日期（沒有其他人提前公開發布這一信息，這意味著他有內部消息來源）。他的帖子現在有了更多的可信度——他聲稱圖像和音頻生成將在2023年第三季度進行培訓。如果視頻生成訓練是同時進行的或之后不久進行的，這與陳思琪關于GPT-5將于2023年12月完成訓練的說法一致。
讓我們回到2020年2月，也就是GPT-3發布的幾個月前。《技術評論》的一篇關于OpenAI的“內幕”文章似乎表明，OpenAI正處于一個“秘密”項目的早期階段，該項目涉及一個基于圖像、文本和“其他數據”的人工智能系統，OpenAI的領導層認為這是實現AGI的最有希望的方式。我想知道這可能指的是什么。
? ? ? ?下一張幻燈片將展示2019年OpenAI總裁的一些語錄，并告訴您他們的計劃是什么。
OpenAI總裁Greg Brockman在2019年表示，在微軟當時投資10億美元后，OpenAI計劃在五年內建立一個人腦大小的模型，這是他們的計劃如何實現AGI。
2019 + 5 = 2024
?這兩個消息來源顯然都指的是實現AGI的同一計劃——一種人腦大小的人工智能模型，基于“圖像、文本和其他數據”進行訓練，將在2019年的五年內進行訓練，到2024年。似乎與我在這份文件中列出的所有其他來源一致。
? 正如我將在接下來的幾張幻燈片中展示的那樣，人工智能領導者突然開始敲響警鐘——幾乎就像他們知道了一些公眾不知道的非常具體的事情。
“我以為還有30到50年甚至更長的時間。顯然，我不再這么認為了。”
是什么讓他突然改變主意——決定離開谷歌去談論人工智能的危險？
? GPT-4發布后不久，關注減輕世界潛在災難性風險的極具影響力的非營利組織生命未來研究所發布了一封公開信，呼吁所有人工智能實驗室暫停人工智能開發六個月。為什么？
這封信的第一個發布版本特別提到了“（包括目前正在訓練的GPT-5）”。為什么它被包括在內，為什么它被刪除？
2022年10月，Sam Altman的一次采訪和問答中引用了一些令人震驚的話——youtube鏈接：https://m.youtube.com/watch?v=b022FECpNe8（時間：49:30）
觀眾問答問題：“我們在互聯網來創建AGI？”
Sam Altman直率而直接的回答打斷了提問者的提問：
“對”
Sam詳細闡述道：“是的，我們有信心。我們對此進行了大量思考和衡量。”
面試官插話道：“是什么給了你這種自信？”
Sam的回答是：“我認為OpenAI在這個非常健康的領域所做的一件事是，你可以將縮放定律視為一種科學預測。你可以為計算這樣做，也可以為數據這樣做，但你可以在小規模上進行測量，你可以非常準確地預測它將如何縮放。你需要多少數據，需要多少計算，需要多少參數，何時生成的數據足夠好，可以提供幫助……互聯網……有很多數據。還有很多視頻。”
Sam Altman問答中的另一句話——（時間：53:00）[注意——人工智能的冬天是指人工智能領域受到限制的延長時間資金，并沒有得到認真研究人員的太多關注。這種情況發生過兩次——一次是在70年代和80年代，另一次是從80年代中期到21世紀末。]
另一位觀眾提問：“我們能再過一個人工智能冬天嗎可能導致它？”
Sam Altman回應道：“我們會有一個人工智能的冬天嗎？是的，當然是什么原因造成的。我認為我們不會很快有一個冬天。因為即使我們再也找不到另一個研究想法，當前范式的經濟價值和可以進一步推進的程度也會讓我們在未來的許多年里走下去。但無論可能性如何，我們仍有可能錯過超越行為克隆的關鍵想法，這些模型將永遠停留在人類層面。我不認為這是真的，有很多原因，但如果有人告訴我們不可能在這個研究領域再經歷一個冬天，你永遠不應該相信他們。”
首先，Sam Altman似乎高度、高度自信地認為，互聯網上有足夠的數據來訓練AGI系統——自信到讓人懷疑他們是否已經這樣做了，或者正在這樣做。
其次，“AI冬天”的概念通常指的是向AGI的進展放緩的時期，但Sam Altman重新定義了這個術語，指的是朝超智能的進展放緩。這似乎表明，OpenAI已經構建了一個AGI系統，或者非常接近它，AGI不再是目標，因為它已經存在。
正如我在文件中早些時候提到的，100萬億參數模型實際上有點次優，但OpenAI正在使用一種新的縮放范式來彌補這一差距——它基于一種名為“Chinchilla縮放定律”的東西
Chinchilla是DeepMind于2022年初推出的一款人工智能模型。Chinchilla研究論文的含義是，當前的模型訓練嚴重不足，如果有更多的計算（意味著更多的數據），將在不需要增加參數的情況下大幅提高性能。
關鍵是，雖然訓練不足的100萬億參數模型可能有點次優，但如果它在更多的數據上進行訓練，它將很容易超過人類水平的性能。
? ? ? ?Chinchilla范式在機器學習領域被廣泛理解和接受，但僅舉一個OpenAI的具體例子，總裁Greg Brockman在本次采訪中討論了OpenAI如何意識到他們最初的縮放定律是有缺陷的，并從那時起進行了調整，以將Chinchila定律考慮在內：https://youtu.be/Rp3A5q9L_bg?t=1323
? ? ? ?人們說，“訓練一個計算最優的100萬億參數模型將花費數十億美元，而且是不可行的。”好吧，微軟在2023年初剛剛向OpenAI投資了100億美元，所以我想這畢竟不是一種荒謬的可能性。。。
Alberto Romero寫了一篇關于DeepMind的Chinchilla縮放突破的文章。Chinchilla表明，盡管它比GPT-3和DeepMind自己的Gopher小得多，但由于接受了更多數據的訓練，它的表現優于它們。再次重申這一點：盡管預計100萬億參數模型的性能會略次優，但OpenAI非常清楚Chinchilla縮放定律（就像人工智能領域的幾乎所有其他人一樣），他們正在將Q*訓練為一個100萬億參數的多模態模型，該模型是COMPUTE OPTIMAL，并在比最初多得多的數據上進行訓練預定的他們現在有資金通過微軟來做這件事。這將導致一個FAR，FAR超過他們最初計劃的100萬億參數模型的性能的模型。沒有Chinchilla比例定律的100萬億個參數=大致為人類水平，但略次優。100萬億參數，多模態，考慮Chinchilla比例定律=？
從2022年7月開始，美國開始采取行動，阻止新的計算機芯片運往中國，試圖阻止其人工智能的發展。該計劃于2022年10月最終確定。根據舊金山人工智能研究人員Israel Gonzales-Brooks的說法，Sam Altman于2022年9月在華盛頓。以色列聲稱與薩姆·奧特曼有聯系（我無法證實這一點），但讓他可信的是，薩姆·奧特曼被證實于2023年1月前往華盛頓。
? ? ? ?如果GPT-4/GPT-5在2022年夏天開始訓練，而薩姆·奧特曼在此期間訪問了DC（可能多次），那么中國的芯片禁令不可能是巧合。
??OpenAI計劃到2027年建立人類級的人工智能，然后擴展到超級智能。由于埃隆·馬斯克的訴訟，這項計劃被推遲了，但仍將很快到來。
? ?最后，我將揭示一個令人難以置信的信息來源——來自著名計算機科學家Scott Aaronson。2022年夏天，他加入OpenAI一年，致力于人工智能安全。他在他的博客上有一些非常有趣的事情要說，我接下來會展示。
斯科特·阿朗森在2022年12月底寫了一篇博客文章，這是一封“給11歲的自己的信”，討論了時事和他在生活中的成就。
下一頁是可怕的部分。。。
Scott Aaronson“給11歲的自己的信”的下一部分。只要讀一下。。
?斯科特指的是Q*：一種多模態、125萬億參數的野獸。感謝閱讀-杰克遜（推特上的@vancouver1717）
It‘s over！
文章轉自微信公眾號@ArronAI
