2013 年 3 月，Google 花費(fèi) 4400 萬(wàn)美元收購(gòu)了多倫多大學(xué)的一家初創(chuàng)公司 DNNResearch。
這家公司在當(dāng)時(shí)不僅沒(méi)有任何產(chǎn)品，也壓根沒(méi)有生產(chǎn)產(chǎn)品的計(jì)劃。它只有三位員工：當(dāng)時(shí)已經(jīng)六十余歲的多倫多大學(xué)計(jì)算機(jī)系教授 Geoffrey Hinton，和他的兩個(gè)學(xué)生 Alex Krizhevsky 和 IIya Sutskever。有人調(diào)侃，Google 花費(fèi)數(shù)千萬(wàn)美元，只是買到了幾篇論文。
但之后科技行業(yè)的發(fā)展證明了 Google 的眼光。深度學(xué)習(xí)從邊緣學(xué)科一躍成為顯學(xué)，而這一學(xué)派的開山祖師正是 Geoffrey Hinton。因?yàn)樵谏疃葘W(xué)習(xí)上的突出貢獻(xiàn)，他在 2018 年獲得了圖靈獎(jiǎng)。Hinton成了AI領(lǐng)域舉足輕重的人物，中國(guó)互聯(lián)網(wǎng)也習(xí)慣于為他“封神”，稱呼他為“AI教父”、“深度學(xué)習(xí)之父”等。而Google因?yàn)橛辛薍inton，成為AI技術(shù)最出色的公司之一。
但這場(chǎng)收購(gòu)的細(xì)節(jié)鮮少被外界了解。事實(shí)上，Google 并不是最初“發(fā)現(xiàn)”Hinton的公司，最早意識(shí)到Hinton和他在深度學(xué)習(xí)上的研究?jī)r(jià)值的，其實(shí)是一家中國(guó)公司——百度。
在3月16日發(fā)布的一本新書《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》（天才制造者：那些將 AI 帶到 Google、Facebook 和全世界的特立獨(dú)行者，下稱《天才制造者》）中，《連線》雜志資深撰稿人 Cade Metz 揭開了這一段鮮為人知的“秘史”。這本書記錄了Google、Facebook和百度等公司在AI上的你爭(zhēng)我奪，并試圖解釋為何AI注定會(huì)變成一個(gè)中美之間的新軍備競(jìng)賽。而全書的開篇，就從這場(chǎng)被形容為“今天所有AI領(lǐng)域故事的開端”的競(jìng)拍開始。
一、百度與Hinton曾接近達(dá)成協(xié)議
Cade Metz通過(guò)大量采訪，還原了2012 年Hinton主導(dǎo)的一場(chǎng)拍賣。當(dāng)年12 月，在美國(guó)內(nèi)華達(dá)州邊界的太浩湖旁，舉辦了每年一屆的 NIPS。NIPS 全稱 Neural Information Processing Systems（神經(jīng)信息處理系統(tǒng)），是 AI 領(lǐng)域的頂級(jí)會(huì)議。
2012 年那一屆 NIPS，對(duì)多倫多大學(xué)教授 Hinton 和他兩個(gè)學(xué)生來(lái)說(shuō)，意義尤為不同。他們?cè)跁?huì)議酒店的房間里，舉辦了一次線上拍賣會(huì)。美國(guó)科技巨頭 Google 和微軟，中國(guó)科技巨頭百度以及英國(guó)的 AI 初創(chuàng)公司 DeepMind，用競(jìng)拍的方式爭(zhēng)奪 Hinton 剛剛成立的、沒(méi)有任何產(chǎn)品的小公司 DNNResearch。
這些公司中，百度其實(shí)是最早接觸 Hinton 的公司。
2012 年秋天，Hinton 和學(xué)生們發(fā)表了一篇長(zhǎng)達(dá) 9 頁(yè)的論文《ImageNet Classification with Deep Convolutional Neural Networks》。這篇論文提到的 Alexnet 引入了全新的深層結(jié)構(gòu)和 dropout 方法，在 ImageNet 圖像識(shí)別大賽中，將錯(cuò)誤率從 25% 以上提升到了 15%，獲得了第一名。
那一年的 ImageNet 比賽，Google 也在數(shù)據(jù)集上做了內(nèi)部測(cè)試，也用了深度學(xué)習(xí)方法，但識(shí)別精度比 Hinton 團(tuán)隊(duì)差了很多。Google 擁有大多數(shù)團(tuán)隊(duì)無(wú)法企及的硬件和數(shù)據(jù)資源，但卻輸給了一個(gè)學(xué)界的團(tuán)隊(duì)。這讓工業(yè)界感到吃驚，大大促進(jìn)了深度學(xué)習(xí)的傳播。
這個(gè)事情在今天來(lái)看，也是一個(gè)AI技術(shù)發(fā)展的歷史性轉(zhuǎn)折時(shí)刻。但當(dāng)時(shí)還只有很少人意識(shí)到它的意義。而就在論文發(fā)出沒(méi)幾天，Hinton 收到了一封來(lái)自中國(guó)的電子郵件。
這封郵件的發(fā)出者是百度。這一年，百度開始大規(guī)模采購(gòu)和建立 GPU 運(yùn)算集群，開發(fā)了世界上第一個(gè)支持 GPU&CPU 的并行深度學(xué)習(xí)平臺(tái)。10 月，李彥宏了解深度學(xué)習(xí)方面的進(jìn)展，知道了 Hinton。
當(dāng)時(shí) Hinton 遠(yuǎn)沒(méi)有今天知名，但百度決策很快，李彥宏安排當(dāng)時(shí)負(fù)責(zé)百度戰(zhàn)略投資的副總裁湯和松與 Hinton 取得聯(lián)系，并直接提出邀約。百度提出的方案是，出價(jià) 1200 萬(wàn)美元聘請(qǐng) Hinton 及其學(xué)生，合約期三年。雙方進(jìn)展很快。
但在眼看要達(dá)成協(xié)議前，Hinton 的那兩名學(xué)生“攔住”了 Hinton，在他們的建議下，Hinton意識(shí)到，與招聘“三個(gè)新員工”相比，百度和其他公司顯然更可能為收購(gòu)一家公司付出更可觀的資金。
Hinton問(wèn)百度，自己可否評(píng)估一下其他邀約。而原本已經(jīng)接近談成的百度，同意了。
“當(dāng)百度同意后，Hinton徹底顛覆了局面。”《天才制造者》的書中寫到。Hinton 立刻創(chuàng)建了只有他和那兩名學(xué)生的初創(chuàng)公司——DNNresearch。
據(jù)《天才制造者》的記錄，Hinton 當(dāng)時(shí)特意詢問(wèn)了一位多倫多的律師，如何能讓一家只有三名員工、沒(méi)有產(chǎn)品、幾乎沒(méi)有歷史的初創(chuàng)公司的價(jià)值最大化。律師給了他兩個(gè)選擇：聘請(qǐng)專業(yè)談判代表，但會(huì)有激怒買家的風(fēng)險(xiǎn)?；蛘撸M(jìn)行一次拍賣。
Hinton選擇了后者，于是，共有四家公司加入了競(jìng)拍：最先找到Hinton且本已接近拿下的百度，以及在百度之后也開始給Hinton家頻繁打電話的Google和微軟，以及一家當(dāng)時(shí)剛剛成立兩年的倫敦初創(chuàng)公司—— DeepMind。這家公司后來(lái)被 Google 所收購(gòu)，研發(fā)出大名鼎鼎的 AlphaGo。
作為最早接觸Hinton的公司，百度看到事情變成和多家美國(guó)公司的競(jìng)爭(zhēng)后，已經(jīng)預(yù)感到了最終結(jié)局。
二、出價(jià)最高的百度沒(méi)有贏得競(jìng)拍
Hinton 和學(xué)生們?cè)诰频攴块g里“舉辦”了拍賣會(huì)——它通過(guò) Gmail 進(jìn)行，四家公司的高管遠(yuǎn)程出價(jià)，從加利福尼到倫敦再到北京。Hinton將每個(gè)競(jìng)拍者的身份隱藏了起來(lái)，他們相互不知道對(duì)方是誰(shuí)。
微軟首先對(duì)這種競(jìng)拍方式提出疑問(wèn)，他們不喜歡用 Gmail 來(lái)競(jìng)拍，認(rèn)為 Google 可能會(huì)偷偷讀取郵件。Hinton 和學(xué)生們商量過(guò)后，依然采用這種方式，他們“相當(dāng)確信 Google 不會(huì)讀取 Gmail”。
Hinton 對(duì)Google的好感已經(jīng)很明顯。
Google 對(duì)深度學(xué)習(xí)的興趣，很大程度也受到Hinton的影響。2006 年Hinton 發(fā)表了論文《A fast learning algorithm for deep belief nets》(深度信念網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法)。這篇論文發(fā)表之前，沒(méi)有人知道怎么訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，因此這個(gè)領(lǐng)域鮮有人問(wèn)津。該論文提出了一種訓(xùn)練深度網(wǎng)絡(luò)的方法，對(duì)每一層網(wǎng)絡(luò)先進(jìn)行預(yù)訓(xùn)練，然后再微調(diào)，網(wǎng)絡(luò)的學(xué)習(xí)速度大幅提高。
這篇論文成為開啟深度學(xué)習(xí)熱潮的一個(gè)因素，Google等公司開始注意到深度學(xué)習(xí)。另一個(gè)重要的因素是算力。2009 年，計(jì)算機(jī)的算力發(fā)展到足以挖掘龐大的數(shù)據(jù)庫(kù)，神經(jīng)網(wǎng)絡(luò)在語(yǔ)言和圖像識(shí)別方面，開始勝過(guò)基于邏輯的傳統(tǒng)計(jì)算機(jī)。
Google也在那時(shí)開始投資AI。2010年，當(dāng)時(shí)還是斯坦福大學(xué)教授的吳恩達(dá)與Google 里頗具聲望的高級(jí)研究員Jeff Dean一起，建立一個(gè)名為Project Marvin（以著名的AI先驅(qū)馬文 明斯基命名）的項(xiàng)目，以研究神經(jīng)網(wǎng)絡(luò)。后來(lái)，一些Google工程師開始用Google Brain稱呼Project Marvin。
這個(gè)項(xiàng)目成果之一，是大型深度學(xué)習(xí)軟件平臺(tái) DistBelief。包括 Google 搜索、Google 地圖 和 YouTube 在內(nèi)的 50 多個(gè)團(tuán)隊(duì)，利用 DistBelief 來(lái)改進(jìn)產(chǎn)品。
2012 年，Google X 宣布建立了一個(gè)包含 16000 個(gè)計(jì)算機(jī)處理器的神經(jīng)網(wǎng)絡(luò)，并在 YouTube 上部署。這個(gè)神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí) YouTube 上大量包含貓的、未標(biāo)記的視頻，識(shí)別出了“貓”這種生物。
這在當(dāng)時(shí)是一個(gè)重要突破?！霸谟?xùn)練中我們從來(lái)沒(méi)有告訴過(guò)神經(jīng)網(wǎng)絡(luò)， 這是一只貓?！盝eff Dean 說(shuō)，“它基本上發(fā)明了貓的概念?！?/p>
Google在這次拍賣中也勢(shì)在必得。Hinton設(shè)計(jì)的拍賣規(guī)則很簡(jiǎn)單。每次競(jìng)價(jià)后，四家公司有一個(gè)小時(shí)將購(gòu)買價(jià)格提高至少100萬(wàn)美元。這一個(gè)小時(shí)從最新競(jìng)價(jià)的郵件上的時(shí)間戳開始。一個(gè)小時(shí)結(jié)束后，如果沒(méi)有人提出新的競(jìng)價(jià)，拍賣就結(jié)束了。
Hinton 每天會(huì)為下一輪競(jìng)價(jià)設(shè)定一個(gè)時(shí)間，到了指定的時(shí)間，他和學(xué)生聚集在他的房間里，看著筆記本電腦上出現(xiàn)的競(jìng)價(jià)。數(shù)字開始飛快攀升。
DeepMind用公司股票而非現(xiàn)金競(jìng)拍，因此很快就退出了。這似乎也預(yù)示了它在之后被Google收購(gòu)的結(jié)局。而在價(jià)格飆到2000萬(wàn)美元時(shí)，微軟也退出了。但它隨后又回來(lái)了一次，然后再次退出。
事實(shí)上，微軟在此之前已經(jīng)邀請(qǐng)Hinton擔(dān)任過(guò)顧問(wèn)。
微軟對(duì)深度學(xué)習(xí)的研究，依托雷德蒙德研究院展開。2009 年 11 月至 12 月期間，當(dāng)時(shí)在研究院里關(guān)注深度學(xué)習(xí)的華裔科學(xué)家鄧力，邀請(qǐng) Hinton 為雷德蒙德研究院進(jìn)行咨詢，研究如何將深度學(xué)習(xí)方法應(yīng)用于語(yǔ)音特征編碼和語(yǔ)音識(shí)別問(wèn)題。
此前的語(yǔ)音識(shí)別模型一直處于非常令人沮喪的“局部最優(yōu)”狀態(tài)，準(zhǔn)確率很難大幅提升。在讀過(guò) Hinton 2006 年發(fā)表的兩篇開創(chuàng)性的論文后，鄧力產(chǎn)生了將深度學(xué)習(xí)引入語(yǔ)音識(shí)別的想法。
在 Hinton 為微軟咨詢期間，他和鄧力一同開發(fā)了深層信念網(wǎng)絡(luò)的方法 “食譜” 及在語(yǔ)音特征提取上的應(yīng)用。這種方法使得大規(guī)模語(yǔ)音識(shí)別系統(tǒng)的錯(cuò)誤率大幅減少，2011 年微軟公布這一成果時(shí)，業(yè)界大為驚嘆。
而鄧力就是代表微軟在那次拍賣中出價(jià)的那個(gè)人。
看著飛升的金額，Hinton和他的學(xué)生們不停爭(zhēng)論他們更愿意加入哪家公司。
