今天的人工智能跟80年代初大家講的同一個人工智能,是一個完全不同的人工智能。
當你做不出一個比ChatGPT好的這樣一個東西的時候,至少有兩個原因在約束你。第一個當然是你的技術,就是基礎,就是模型。第二就是你對這個問題理解的深度,你能不能真正找到這個領域的問題,事實上是你約束的最大的一個前提。
一旦有一個事情要談到基礎設施的時候,我覺得這是一個技術滲透的終極的形式。大家可以理解,你看人類發展歷史上任何技術的發展,什么技術會對人類產生最長遠的影響,就是它變成了基礎設施。
數據是基礎設施的核心的組成部分。數據不只是一個模型的附屬品,這個數據也不只是一個計算的附屬品。只有所有這些東西變成一個完整的基礎設施的時候,我們才會有那一次更加激動人心的創新。
當你看AI、AI+跟AI基礎設施的時候,你就會發現這個世界不但技術在革命,機制也在革命,基礎設施也在革命。沒有比這三項革命在同一個時間發生再令人激動了。
以下是“智能超參數”根據演講視頻整理而來的實錄,enjoy:
各位來賓,非常感謝有這次機會,把過去幾年甚至幾十年有關的一些想法、一些教訓或者一些經驗在這跟大家分享一下。
今天我自己找了三個關鍵詞,就是AI、AI+、AI基礎設施。
其實這三個關鍵詞都繞不開一個詞叫AI。剛才Michael也講了,其實AI這個詞可能一千個人有一千個人的理解,一千人有一千人的想法。但是今天碰巧這三個不同的方面,就是AI、AI+跟AI基礎設施在今天被結合在一起了。
我經常說的一句話,人工智能有很長的過去,只有非常短的歷史。其實這是一個非常糾結的一件事情。事實上我覺得最困惑的就是,到今天為止,人工智能到底在說什么事情呢?還是值得探討一下。
我想用一張圖,當時我看到以后,為什么讓我會想起人工智能有一個很長的過去,只有很短的歷史?你今天看到那個紅線畫的地方,就是大概在40年代末50年代初,就是圖靈寫了篇文章叫intelligent machines。
我自己覺得這是一個很長過去的一個開始,如果你要追溯關于機器智能的事情,可能可以追到幾百年以前。在圖靈這篇文章里邊,他談了一些很有意思的事情。這篇文章50年代發表的時候,是發表在心理學一個哲學的雜志上。第一次在探討關于機器跟智能之間的關系。
大家要知道在那個時候,其實計算機這個詞還沒有完全出來。所以那個時候大家還習慣把它叫做computing machinery。這就是為什么美國計算機學會會叫ACM,也是這個原因。
事實上那個時候沒有計算機這個詞,但是圖靈在那篇文章也是第一次用了數字計算機(Digital Computer)這個詞。所以這篇文章它的深遠的意義,到今天為止看,都是非常值得重新來思考。我們很多最早的概念可能都是從這邊來的。
當然大家都會講到達特茅斯這個會,我自己 (覺得)很有意思,剛才Michael特別講到了Cybermetics,我聽完以后就很感觸,如果當年那個會不在達特茅斯開,可能這十個人的想法就被winner給滅掉了。
那可能我們今天還是叫Cybermetics來稱呼我們今天說的人工智能。但事實上,說不定從單詞角度可能用Cybermetics可能會更好一點,但人工智能就這么流行了。
那為什么在Herbert Simon(赫伯特·西蒙)這邊我打了一個紅的框呢?就是我自己對人工智能的理解,就是從Herbert Simon開始的。
這個人很神奇,他是個心理學家,但是去參與了這個會,得了諾貝爾經濟學獎。他第一次訪問中國是1972年,是以美國計算機學會的名義到中國來的。他80年代初又以美國心理學會的名義到了中國來。
那個時候我在大學讀三年級,他到我們去講了關于人工智能。所以大家可以設想一下看,一個大學三年級的學生,在中國,在80年代初有一個人告訴你,人工智能在下面十年會有一次天翻地覆的變化。
你大概可以設想一下,那時我有多么的激動。但事實上,等了十年沒有什么東西發生,所以后來就該干什么就干什么去了。
但事實上,里邊的很多最基礎的東西在那個時候也被提到了,甚至大家今天知道的神經網絡。我印象很深,當時在80年代末的時候,有一本教科書叫PDP,就《parallel distributed processing》,那里面講的通篇都是神經網絡的理論。
那時候講的都是每一層兩個節點,只有三層,大概你能做到那個程度就結束了。但今天的規模跟那個時候沒法比。
所以我想說的一件事情,今天的人工智能跟80年代初大家講的同一個人工智能,是一個完全不同的人工智能。我剛才講,我覺得Michael剛才也講到了這一點。
那為什么算是一個非常短的的歷史?
如果你看再回到剛才這張圖上,現在這個紅線里邊就講到了2017年,就是 Google開始提出了transformer這件事情。
所以我想今天我們能夠談,今天人工智能又重新回到了大家的視野,又重新在產業上有那么大影響的話,那就是從2017年開始。所以我相信2017年以前的人工智能,跟我們今天說的人工智能,還是有非常不同的差別。這就是我說只有七年歷史的這個原因。
當然這段歷史就是從一篇文章開始的,這個大家都知道。但是我想強調一下的事情就是,這文章的 8 個作者現在都不在谷歌。聽說有一個最近大概又回去了。Anyway也就是說,盡管它發明了很多東西,但是沒有谷歌什么事。
那這里邊有些今天大家被忽視掉的發明。比如說第一次有了token這個概念,聽起來好像也沒什么了不起。大家都知道今天一個商業服務,大家都是用token來計價的。大家可以設想一下看,如果你連最基本計價的邏輯都不清楚的話,大概是不會有一個好的產業的。更不用講待會我這個主題里面會講到的關于基礎設施的事情。
同樣,大家都知道在谷歌發表這篇文章的前后,就有一家公司叫OpenAI。OpenAI的出現,站在我的角度,就是讓我們重新思考一下創新的機制是什么。所以這就有了在2022年這個GPT的發布。
這兩件事情結合在一起,我總是覺得一件很怪的事情。所以我說了一句話就是:谷歌很行,谷歌也很不行。
這個谷歌很行是什么呢?特別是在中國,大家都會講0到1的創新。所以大家可以設想一下看,谷歌是100%的完成了我們講的0到1的創新是吧?甚至還要多一點。
但為什么谷歌不行呢?我覺得大家都可能知道埃里克·施密特(Eric Schmidt)前段時間在斯坦福大學有個發言,搞得沸沸揚揚的,就是說的谷歌非常不行。那確實也不行,為什么呢?他沒有創造出一個東西,像OpenAI創造出的那么有價值,對社會(而言)。
所以我想,這中間事實上要讓我們重新思考這個創新的機制到底是什么。它不是一個簡單的從0到1創新,不是簡單的你有一個好的想法。這中間的機制是遠遠超出今天學者甚至產業界可以來理解的。
這也是我覺得對我們一個最大的挑戰。所以我用了一個谷歌很行,谷歌也很不行。
但在這個ChatGPT后面,它的光芒事實上是對大眾而言的,不是對業界而言的,是被掩蓋了很多事情。但大家都知道有alphafold,對吧?特別是alphafold 3出來了。
但是很少人會說它其實背后還是transformer加diffusion??赡芙裉齑蠹以谥v這個能生成一個圖片,能生成一些大家覺得視覺上可以滿足大家生成的視頻。大家會講到transformer加diffusion,可是很少人理解,其實為什么谷歌那篇文章有那么fundamental。也就是說到最后大家今天聽到的一些最基本的東西,到最后也離不開transformer。
當然就是說從alphafold 2到alphafold 3,事實上他那個名字稍微做了一些改變?所以在alphafood3時候,他就用那個Pairformer,但大家都知道背后最基本的東西還是這個transformer。
再往下看,其實大家也知道,其實從ChatGPT到alphafold,到今天大家在媒體上也經常會看到關于天氣預報的時候,這是一個三個跨度非常大的應用。但是他們到背后,我覺得有一個最基本的東西就是脫離不掉,就是transformer。
所以我想這個AI為什么只有七年歷史?
大家再回過頭來看,我們事實上是你愿意不愿意,我們生活在transformer這樣的一個陰影下,也可能是一個以后是一個陽光燦爛的東西。所以我有時候會講到說,當你在這樣的一個背景下,再回過頭來看,去年在政府工作報告當中,多次談到了人工智能,同時提到了這個人工智能+。
所以大家設想一下看,在transformer這個邏輯下,我們要理解的人工智能+到底是什么。所以大家可能今天一談到人工智能+的時候,就會簡單的加一個行業進去。我用我自己的話來講,其實這是沒有比在人工智能+后面加一個行業把人工智能庸俗化的做法了。所以就是反復思考的人工智能+到底是什么?
所以我們再來看這個GPT,或者是我們今天要說的這些事情的話,那可能是需要有一次重新的思考的。所以這個ChatGPT如果在人工智能+這個邏輯上,大家可以認真想一下看ChatGPT不是個應用,它是個應用平臺。
就像在上一個年代這個office一樣,它不是一個應用,它是應用平臺。但如果把GPT再拆一拆,剛才講過了,它如果把它變成個基礎模型的話,事實上chat就是一個應用。所以ChatGPT就是GPT加chat,這是我的理解。
但是我想多說一句的話,chat不是一個簡單的應用場景。
大家都知道microsoft跟OpenAI這個合作過程當中,不只是做了ChatGPT。其實他們到比爾蓋茨家里討論了很多GPT這樣東西可以用到什么場景。最后只有ChatGPT是最革命的,所以變成了產品。
他們做了一大堆也很有用,但沒有革命的東西,后來都寫成了書。所以有時候經常開玩笑說,這個書是很危險的,就是不是革命的東西都寫成了書,可能最革命的東西做成了產品,這是我們今天真正發生的事情。
所以我想沒有比OpenAI的這個公司的人對chat本身有更深的了解。
所以今天我還是要講一句話,就是說當你做不出一個比ChatGPT好的這樣一個東西的時候,至少有兩個原因在約束你。第一個當然是你的技術,就是基礎,就是模型。第二就是你對這個問題理解的深度,你能不能真正找到這個領域的問題,事實上是你約束的最大的一個前提。我們往往在很多時候,其實對這個問題不理解,以為有了GPT就可以解決很多的問題。
當然我今天講的重點是這個+到底是什么?這個+就讓我想到了,大家都知道當時這個chat做這件事情的時候,事實上只是反映了比爾-蓋茨當年的一個愿景,就是讓計算機能聽能說。所以我想今天因為有了ChatGPT以后,就當這臺計算機變成了一個手機以后,我們今天就做到了這一點。
那么這背后的真正的+的機制就是ChatGPT。當我們講那個加的時候,不是加什么東西,而是怎么加,更加重要的是一個機制的創新。這句話聽起來很抽象,再把它回過頭來,大家可以看一看ChatGPT什么意思,這個家就是OpenAI這家公司。沒有OpenAI這家公司,GPT和chat是不會變成這樣一個影響大家的產品。
那OpenAI這家公司為什么是一個機制的創新呢?
到今天為止,其實大家都知道OpenAI是一個怪物,也就是說它有nonprofit的OpenAI,也有OpenAI LP這樣的東西。所以大家可以設想一下看,一個noprofit一個機構跟一個商業機構在OpenAI這么一個主體里邊,被這樣莫名其妙的存在在一起。所以我想就是發生的過去發生的事情都跟OpenAI,其實大家講的OpenAI都是講的OpenAI LP。
可是當大家知道它最早創辦是一個非營利機構的話,大家可以想象它中間的機制是多么復雜的一件事情。所以我經常跟投資人講,你用傳統的方法是投不出 OpenAI這樣一家公司來。
當然因為這樣的成功,讓我們重新反思了一下。就是黃仁勛 說了一句話叫ChatGPT是人工智能的iPhone時刻。
其實這句話被很多人引用,我自己一開始聽的時候也很激動。但是后來想了一想,這個就不知道在說什么,為什么呢?因為ChatGPT是什么也沒有完全說清楚,人工智能是什么也沒有完全說清楚,那iPhone到底是什么也沒有說清楚,就是把這三個說不清楚的東西放在那里變成了一句話,這是讓我困惑了很長時間。
其實大家也不要覺得說清楚iPhone是什么是一件很困難的事情。我說一個現象就知道了。大家說起這個iPhone都覺得app store是它非常重要的事情。
今天任何一個人發言都說生態多么重要,可是很少人理解。你們去看,Steve Jobs發布第一代的iPhone時候,是沒有APP store。完了如果你要講它的生態系統,當年跟Steve jobs一起發布iPhone第一代的那些公司,今天都不見了。所以他到底是什么?也是值得我們非常深思的。
當然這句話,我自己覺得他其實抄襲了另外一句話。這是當年我自己聽了看了非常激動的。就是當alphafold出來的時候,alphafold 2出來的時候,有人說了一句話,大家說是alphafold是生物學的imageNet時刻。我自己覺得這個是真正反映了技術發展的背后的
當然這個就回到了那篇文章,就是杰弗里·辛頓(Geoffrey Hinton)跟他的兩個同學兩個學生寫的。
這篇文章,至少在做機器學習也好,圖像識別也好,一定知道這篇文章。但你把這篇文章抽象出來,它就三個東西,就是今天構成我們人工智能,大家天天在講的三個東西,就是:imagineNet,就是有組織的數據,完了有一個模型,那時候叫CNN,完了加GPU。這是第一次一篇文章完美地把三個東西結合在一起。
只不過是這三個東西在那個時候都談不上是新的,imageNet也存在了很久,CNN 也不是一個新的算法,GPU那個時候在每個網吧里面都有。
但是是這篇文章,這三個學生把它結合在一起,使得GPU、模型和數據成為做這個行業的一個最基本的標準。特別是GPU,是在那篇文章之后,它才成為學術界的標準,在他這篇文章之后才成為工業界的標準。
而當時他們用了兩塊GPU卡,是一個非常普通的GPU的卡。盡管這兩張GPU的卡在當時大概已經超過了上萬個CPU核的算力,但是這是在中國的每一個網吧里面都有的GPU卡。但是因為這樣發生了一次非常大的變化,所以算力重不重要?算力重要。但是在創新階段,大家都知道沒有比人的創造力再重要的事情。
那么到了今天發生的變化,為什么會引出要引出基礎設施呢?就是因為規模。
也就是說當數據、模型、算力的規模都變成了一個巨大的變化的時候,這個時候一定要引入了新的東西,不然它沒法解決了。這個也是做IT、做程序設計的,看到這句話也很激動。
這是Pascal的發明人曾經寫過一句話,他說一個嬰兒的速度的1000倍就是一架噴氣機。
也就是說在我們世界里面,任何的事情的規模增加了1000倍,它就會發生天翻地覆的變化。大家都知道在我剛才講的三個組合的規模上,在每一個單元都超過了1000倍。正是這1000倍,使得今天我們繞不開一個最基本的東西,就是AI的基礎設施。
大家知道一旦有一個事情要談到基礎設施的時候,我覺得這是一個技術滲透的終極的形式。大家可以理解,你看人類發展歷史上任何技術的發展,什么技術會對人類產生最長遠的影響,就是它變成了基礎設施。
當然是AI基礎設施不是我發明的,今天大家都在談的。所以我想為什么從AI到AI+到我們今天可以講AI基礎設施的話,是一個非常值得我們深思的。那下面我也會很快說一下,這是紅杉在一次研討會上用的一個幻燈片。把它拿過來了。拿過來的目的,只是為了看大家最下面一行,他就會叫做基礎設施。
大家看一看在云時代,在移動時代,在AI時代,他們覺得的基礎設施就是云計算。這里很有意思,他把蘋果是劃到了基礎設施這一類的。同樣的大家可以看到在今天,他把英偉達也劃到了基礎設施那一類。所以這是一個非常有意思的一個分類方法。這個也不奇怪,為什么?英偉達大家都覺得他應該去做云計算。
作為做云計算的,我看到這張圖的時候也非常激動。這張圖不是我畫的,但是解釋是我的解釋。就是這張圖大家看到這是六個在美國的做AI的獨角獸,那你看它背后的基礎設施的支持很有意思。
就是 OpenAI,大家都知道它得到了100億美金的投資,它背后是microsoft,第二名的背后是AWS。大家可以看到在這些企業真正背后的排名是什么?就是全世界排名第一、第二、第三、第五、第六的云計算服務商,都是今天美國獨角獸公司的背后支撐的來源。
這里大家看到很很神奇的一件事情,在這里有第一、第二、第三、第五、第六,就是沒有第四,對吧?那第四就是阿里云。我想就是說,這種基礎設施對將來這些事情的影響,從計算這個角度也能看得出來。但是我想從另外的角度也反映了這個產業之間的差距到底在哪里。
所以從這個角度,讓我想起了另外一句話,我覺得微軟很不行,但是微軟也很行。也就是說,它在人工智能領域沒有做出transformer這樣的東西。但是它因為云,因為這個基礎設施,它在跟OpenAI創造出這么一個今天我們可以看到的東西出來的話。你從另外一個角度也可以看得出,好像微軟不行,但是微軟還是很行。
所以我想在AI、AI+跟AI基礎設施這個邏輯上,所有人都是可以做自己可以創造歷史的事情。
我前幾天看到一個創業公司,為了證明他這個創業的重要性,畫了一張圖。我覺得很有意思。就是我相信今天我們老是講數據,講計算,講算法。但是大家設想一下,這些東西不在一個基礎設施里邊,事實上是沒有價值的。
我把這個紅框里面畫出來,其實這張圖很有意思地告訴大家,數據是基礎設施的核心的組成部分。數據不只是一個模型的附屬品,這個數據也不只是一個計算的附屬品。只有所有這些東西變成一個完整的基礎設施的時候,我們才會有那一次更加激動人心的創新。
如果大家看最前面它里面講到那個事情,去做了兩個區分,就講是在傳統的IT時代的云計算,以及在AI時代的云計算。盡管這兩種計算有差別,但都是云計算。同樣數據也做了這個區分,就是在傳統意義上的數據,跟在AI這個意義上的數據,它是做了這么一個細微的區分的。今天這個我就不展開講了。
最后總結一下:就是事實上,當你看AI、AI+跟AI基礎設施的時候,你就會發現這個世界不但技術在革命,機制也在革命,基礎設施也在革命。沒有比這三項革命在同一個時間發生再令人激動了。所以我想這些革命正在創造未來。
謝謝大家。
網上經營許可證號:京ICP備18006193號-1
copyright?2005-2022 www.ayzwhls.com all right reserved 技術支持:杭州高達軟件系統股份有限公司
服務熱線:010-59231580