新智元報道

編輯：KingHZ 桃子

(資料圖)

【新智元導(dǎo)讀】剛剛，AI界傳奇Jeff Dean深度訪談重磅放出！作為谷歌大腦奠基人、TensorFlow與TPU背后的關(guān)鍵推手，他親述了這場神經(jīng)網(wǎng)絡(luò)革命的非凡歷程。

剛剛，「現(xiàn)代互聯(lián)網(wǎng)架構(gòu)之父」Jeff Dean的最新對談流出。

這位AI領(lǐng)域的傳奇，是Google Brain的奠基者，也是推動神經(jīng)網(wǎng)絡(luò)走向規(guī)?；年P(guān)鍵人物。

從讓神經(jīng)網(wǎng)絡(luò)「看懂貓」的重大突破，到TensorFlow與TPU的誕生，他的故事幾乎是一部AI發(fā)展史。

在最新一期「登月播客」（The Moonshot podcast）深度訪談中，Jeff Dean回顧了個人成長經(jīng)歷、Google Brain的早期故事，以及他對AI未來的思考。

節(jié)目中，他揭秘了他本人所知的一些細(xì)節(jié)和趣事：

· 小時候，Jeff Dean打印了400頁源碼自學(xué)。

· 90年代，他提出「數(shù)據(jù)并行/模型并行」概念時，還沒這些術(shù)語。

· Google Brain的最初靈感，竟然是在谷歌的微型茶水間與吳恩達(dá)的一次閑聊中誕生。

· 「平均貓」圖像的誕生，被Jeff比作「在大腦里找到了觸發(fā)祖母記憶的神經(jīng)元」。

· 他把AI模型比作「蘇格拉底式伙伴」，能陪伴推理、辯論，而不是單向工具。

· 對未來的隱喻：「一億老師，一個學(xué)生」，人類不斷教AI模型，所有人都能受益。

超級工程師，早已看好神經(jīng)網(wǎng)絡(luò)

Jeff是工程超級英雄口中的「工程超級英雄」，很少有人像Jeff Dean這樣的單個工程師，贏得人們?nèi)绱硕嗟难瞿健?/p>

主持人的第一個問題是：Jeff Dean是如何成為工程師的？

Jeff Dean認(rèn)為他有一個不同尋常的童年。因為經(jīng)常搬家，在12年里他換了11所學(xué)校。

在很小的時候，他喜歡用樂高積木搭建東西，每次搬家總要帶上他的樂高套裝。

當(dāng)九歲的時候，他住在夏威夷。

Jeff的父親是一名醫(yī)生，但他總是對計算機(jī)如何用于改善公共衛(wèi)生感興趣。當(dāng)時如果想用計算機(jī)，他只能去健康部門地下室的機(jī)房，把需求交給所謂的「主機(jī)大神」，然后等他們幫你實現(xiàn)，速度非常慢。

在雜志上，Jeff的爸爸看到一則廣告，買下了DIY計算機(jī)套件。那是一臺Intel 8080的早期機(jī)型（大概比Apple II還要早一兩年）。

最初，這臺電腦就是一個閃爍燈和開關(guān)的盒子，后來他們給它加了鍵盤，可以一次輸入多個比特。再后來，他們安裝了一個BASIC解釋器。Jeff Dean買了一本《101個BASIC語言小游戲》的書，可以把程序一行一行敲進(jìn)去，然后玩，還能自己修改。

這就是他第一次接觸編程。

后來，Jeff一家搬到明尼蘇達(dá)州。全州的中學(xué)和高中都能接入同一個計算機(jī)系統(tǒng)，上面有聊天室，還有交互式冒險游戲。

這就像「互聯(lián)網(wǎng)的前身」，比互聯(lián)網(wǎng)普及早了15~20年。

當(dāng)時，Jeff大概13、14歲，他在玩兒的一款多人在線的游戲源碼開源了。

Jeff偷偷用了一臺激光打印機(jī)，把400頁源代碼全都打印了出來，想把這款多人主機(jī)游戲移植到UCSD Pascal系統(tǒng)上。

這個過程讓他學(xué)到了很多關(guān)于并發(fā)編程的知識。

這是Jeff Dean第一次編寫出并不簡單的軟件。

大概是91年，人工智能第一次抓住了Jeff Dean想象力。

具體而言，是使用lisp代碼進(jìn)行遺傳編程。

而在明尼蘇達(dá)大學(xué)本科的最后一年，Jeff Dean第一次真正接觸了人工智能。

當(dāng)時，他上了一門并行與分布式編程課，其中講到神經(jīng)網(wǎng)絡(luò)，因為它們本質(zhì)上非常適合并行計算。

那是1990年，當(dāng)時神經(jīng)網(wǎng)絡(luò)剛好有一波熱潮。它們能解決一些傳統(tǒng)方法搞不定的小問題。

當(dāng)時「三層神經(jīng)網(wǎng)絡(luò)」就算是「深度」了，而現(xiàn)在有上百層。

他嘗試用并行的方法來訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)，把32個處理器連在一起。但后來發(fā)現(xiàn)，需要的算力是100萬倍，32個遠(yuǎn)遠(yuǎn)不夠。

論文鏈接：https://drive.google.com/file/d/1I1fs4sczbCaACzA9XwxR3DiuXVtqmejL/view

雖然實驗規(guī)模有限，但這就是他和神經(jīng)網(wǎng)絡(luò)的第一次深度接觸，讓他覺得這條路很對。

即便到了90年代末，神經(jīng)網(wǎng)絡(luò)在AI領(lǐng)域已經(jīng)完全「過時」了。之后，很多人放棄了「神經(jīng)網(wǎng)絡(luò)」研究。

但Jeff Dean并沒有完全放棄。當(dāng)時整個AI領(lǐng)域都轉(zhuǎn)移了關(guān)注點，他就去嘗試別的事情了。

畢業(yè)后，他加入了Digital Equipment Corporation在Palo Alto的研究實驗室。

數(shù)字設(shè)備公司Digital Equipment Corporation，簡稱DEC，商標(biāo)迪吉多Digital，是成立于1957年的一家美國電腦公司，發(fā)明了PDP系列迷你計算機(jī)、Alpha微處理器，后于1998年被康柏電腦收購

后來，他加入谷歌，多次在不同領(lǐng)域「從頭再來」：

搜索與信息檢索系統(tǒng)、大規(guī)模存儲系統(tǒng)（Bigtable、Spanner）、機(jī)器學(xué)習(xí)醫(yī)療應(yīng)用，最后才進(jìn)入Google Brain。

谷歌大腦秘辛：一次茶水間閑聊

在職業(yè)生涯里，Jeff Dean最特別的一點是：一次又一次地「從零開始」。

這種做法激勵了很多工程師，證明了「影響力」不等于「手下的人數(shù)」，而是推動事情發(fā)生的能力。

就像把雪球推到山坡上，讓它滾得足夠快、足夠大，然后再去找下一個雪球。Jeff Dean喜歡這種方式。

然后在Spanner項目逐漸穩(wěn)定后，他開始尋找下一個挑戰(zhàn)，遇到了吳恩達(dá)。

在谷歌的茶水間偶然碰面，吳恩達(dá)告訴Jeff Dean：「在語音和視覺上，斯坦福的學(xué)生用神經(jīng)網(wǎng)絡(luò)得到了很有前景的結(jié)果?！?/p>

Jeff一聽就來了興趣，說：「我喜歡神經(jīng)網(wǎng)絡(luò)，我們來訓(xùn)練超大規(guī)模的吧?！?/p>

這就是Google Brain的開端，他們想看看是否能夠真正擴(kuò)大神經(jīng)網(wǎng)絡(luò)，因為使用GPU訓(xùn)練神經(jīng)網(wǎng)絡(luò)，已經(jīng)取得良好的結(jié)果。

Jeff Dean決定建立分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，從而訓(xùn)練非常大的網(wǎng)絡(luò)。最后，谷歌使用了2000臺計算機(jī)，16000個核心，然后說看看到底能訓(xùn)練什么。

漸漸地，越來越多的人開始參與這個項目。

谷歌在視覺任務(wù)訓(xùn)練了大型無監(jiān)督模型，為語音訓(xùn)練了大量的監(jiān)督模型，與搜索和廣告等谷歌部門合作做了很多事情。

最終，有了數(shù)百個團(tuán)隊使用基于早期框架的神經(jīng)網(wǎng)絡(luò)。

紐約時報報道了這一成就，刊登了那只貓的照片，有點像谷歌大腦的「啊哈時刻」。

因為他們使用的是無監(jiān)督算法。

他們把特定神經(jīng)元真正興奮的東西平均起來，創(chuàng)造最有吸引力的輸入模式。這就是創(chuàng)造這只貓形象的經(jīng)過，稱之為「平均貓」。

在Imagenet數(shù)據(jù)集，谷歌微調(diào)了這個無監(jiān)督模型，在Imagenet 20000個類別上獲得了60%的相對錯誤率降低（relative error rate reduction）。

同時，他們使用監(jiān)督訓(xùn)練模型，在800臺機(jī)器上訓(xùn)練五天，基本上降低了語音系統(tǒng)30%的錯誤率。這一改進(jìn)相當(dāng)于過去20年的語音研究的全部進(jìn)展。

因此，谷歌決定用神經(jīng)網(wǎng)絡(luò)進(jìn)行早期聲學(xué)建模。這也是谷歌定制機(jī)器學(xué)習(xí)硬件TPU的起源。

注意力機(jī)制三部曲

之后不久，谷歌大腦團(tuán)隊取得了更大的突破，就是注意力機(jī)制（attention）。

Jeff Dean認(rèn)為有三個突破。

第一個是在理解語言方面，詞或短語的分布式表示（distributed representation）。

這樣不像用字符「New York City」來表示紐約市，取而代之的是高維空間中的向量。

紐約市傾向于出現(xiàn)的固有含義和上下文，所以可能會有一個一千維的向量來表示它，另一個一千維的向量來表示番茄（Tomato）。

而實現(xiàn)的算法非常簡單，叫做word2vec（詞向量），基本上可以基于試圖預(yù)測附近的詞是什么來訓(xùn)練這些向量。

論文鏈接：https://arxiv.org/abs/1301.3781

接下來，Oriol Vinyals, Ilya Sutskever和Quoc Le開發(fā)了一個叫做序列到序列（sequence to sequence）的模型，它使用LSTM（長短期記憶網(wǎng)絡(luò)）。

論文鏈接：https://arxiv.org/abs/1409.3215

LSTM有點像是一個以向量作為狀態(tài)的東西，然后它處理一堆詞或標(biāo)記（tokens），每次它稍微更新它的狀態(tài)。所以它可以沿著一個序列掃描，并在一個基于向量的表示中記住它看到的所有東西。

它是系統(tǒng)運行基礎(chǔ)上的短期記憶。

結(jié)果證明這是建模機(jī)器翻譯的一個非常好的方法。

最后，才是注意力機(jī)制，由Noam Shazeer等八人在Transformer中提出的注意力機(jī)制。

這個機(jī)制的想法是，與其試圖在每個單詞處更新單個向量，不如記住所有的向量。

所以，注意力機(jī)制是這篇非常開創(chuàng)性的論文的名字，他們在其中開發(fā)了這種基于transformer的注意力機(jī)制，這個機(jī)制在序列長度上是n平方的，但產(chǎn)生了驚人的結(jié)果。

LLM突破觸及門檻，自動化閉環(huán)顛覆人類

一直以來，LLM神經(jīng)網(wǎng)絡(luò)運作機(jī)制很難被人理解，成為一個無法破譯的「黑箱」。

而如今，隨著參數(shù)規(guī)模越來越龐大，人們無法像理解代碼一樣去理解LLM。

研究人員更像是在做「神經(jīng)科學(xué)」研究：觀察數(shù)字大腦的運作方式，然后試著推理背后的機(jī)制。

人類理解模型的想法，未來會怎么發(fā)展？

Jeff Dean對此表示，研究這一領(lǐng)域的人，把它稱之為「可解釋性」。所謂可解釋性，就是能不能搞清楚LLM到底在做什么，以及它為什么會這么做？

這確實有點像「神經(jīng)科學(xué)」，但相較于研究人類神經(jīng)元，LLM畢竟是數(shù)字化產(chǎn)物，相對來說探測比較容易。

很多時候，人們會嘗試做一些直觀的可視化，比如展示一個70層模型里，第17層在某個輸入下的情況。

這當(dāng)然有用，但它還是一種比較靜態(tài)的視角。

他認(rèn)為，可解釋性未來可能的發(fā)展一個方向——如果人類想知道LLM為何做了某種決定，直接問它，然后模型會給出回答。

主持人表示，自己也不喜歡AGI術(shù)語，若是不提及這一概念，在某個時候，計算機(jī)會比人類取得更快的突破。

未來，我們需要更多的技術(shù)突破，還是只需要幾年的時間和幾十倍的算力？

Jeff Dean表示，自己避開AGI不談的原因，是因為許多人對它的定義完全不同，并且問題的難度相差數(shù)萬億倍。

就比如，LLM在大多數(shù)任務(wù)上，要比普通人的表現(xiàn)更強(qiáng)。

要知道，當(dāng)前在非物理任務(wù)上，它們已經(jīng)達(dá)到了這個水平，因為大多數(shù)人并不擅長，自己以前從未做過的隨機(jī)任務(wù)。在某些任務(wù)中，LLM還未達(dá)到人類專家的水平。

不過，他堅定地表示，「在某些特定領(lǐng)域，LLM自我突破已經(jīng)觸及門檻」。

前提是，它能夠形成一個完全自動化閉環(huán)——自動生成想法、進(jìn)行測試、獲取反饋以驗證想法的有效性，并且能龐大的解決方案空間中進(jìn)行探索。

Jeff Dean還特別提到，強(qiáng)化學(xué)習(xí)算法和大規(guī)模計算搜索，已證明在這種環(huán)境中極其有效。

在眾多科學(xué)、工程等領(lǐng)域，自動化搜索與計算能力必將加速發(fā)展進(jìn)程。

這對于未來5年、10年，甚至15-20年內(nèi)，人類能力的提升至關(guān)重要。

未來五年規(guī)劃

當(dāng)問及未來五年個人規(guī)劃時，Jeff Dean稱，自己會多花些時間去思考，打造出更加強(qiáng)大、更具成本效益的模型，最終部署后服務(wù)數(shù)十億人。

眾所周知，谷歌DeepMind目前最強(qiáng)大的模型——Gemini 2.5 Pro，在計算成本上非常高昂，他希望建造一個更優(yōu)的系統(tǒng)。

Jeff Dean透露，自己正在醞釀一些新的想法，可能會成功，也可能不會成功，但朝著某個方向努力總會有奇妙之處。

參考資料：

https://www.youtube.com/watch?v=OEuh89BWRL4

關(guān)鍵詞 Jeff 深度 引爆 編程 帝國 源碼 突破 D