李飛飛曝創業招人標準！ 帶出 AI 大牛學生經驗總結，堆算力能解決的博士不要做

近日，“AI 教母”李飛飛近期以創業者身份接受 YC 採訪，深度剖析 AI 發展瓶頸，並表示其初創公司 World Labs 將全力攻克被其稱為“AGI 缺失拼圖”的空間智慧。 李飛飛指出，當前以語言大模型為代表的 AI 繁榮存在根本性局限，教會 AI 理解、生成並駕馭物理世界的複雜性遠超文本處理。 “如果它很容易，那早就有人解決了。”

李飛飛還指出，與創業不同，讀研最好帶著強烈的好奇心，這樣才能全身投入、不內耗。 她給博士們的建議是去做產業即使投入再多資源也解決不了的基礎問題。

ImageNet 的意義不止數據

主持人：你最早創建的專案之一是 2009 年的 ImageNet（一個大規模圖像資料庫），到現在已經過去 16 年了，有超過 8 萬次引用。 它真的很棒，人工智慧的一個關鍵問題就是數據。 這個專案是如何誕生的？ 當時它可是開創性的工作啊。

李飛飛：首先非常感謝大家的邀請，我現在也是一名創業者，剛創立了一家小公司，所以能來到這裡我非常興奮。

你說得對，我們大約在 18 年前就開始構想 ImageNet 這個專案。 時間過得真快！ 那時我還是普林斯頓大學一年級的助理教授。 那時的人工智慧和機器學習領域與現在完全不同，數據非常稀缺，在計算機視覺領域，演算法幾乎是行不通的。 那時也沒有相關產業發展，公眾根本不知道“人工智慧”這個概念。

但我們當時的那群人，從 AI 的奠基人 John McCarthy，到後來像 Geoffrey Hinton 這樣的研究者，都懷著一個共同的 AI 夢想：我們真的想讓機器學會思考和工作。 而對我個人而言，我的夢想是讓機器能夠“看見”，因為視覺是智慧的重要基石。 視覺智能不僅僅是感知，它更在於理解世界並在世界中採取行動。

主持人：後來很久才出現了一些有前景的演算法。 直到 2012 年，AlexNet 出現了。 那才是實現 AI 的第二個關鍵因素：投入足夠的計算資源。 當你看到你播下的數據種子開始發揮作用，開始取得更多科研突破時，那一刻是什麼感覺？

李飛飛：沒錯，2009 年我們在 CVPR 會議上發表了一篇很簡短的論文。 2009 年至 2012 年這三年裡，我們堅信數據將驅動人工智慧的發展，但當時幾乎看不到任何實質性的信號來證明這條路是可行的。 因此，我們做了幾件事：

第一，開源整個數據集。 我們從一開始就認為必須把資源開放給整個研究界，讓所有人都能參與進來。

第二，我們發起了一個競賽，希望全世界最聰明的學生和研究人員來解決這個問題。 這就是所謂的 ImageNet 挑戰賽。 每年我們都會公佈一個測試數據集（測試集就是已公開的全部 ImageNet 數據），並公開邀請大家參與。

最初幾年，比賽的主要目的是設定基準線，當時最低的錯誤率大約在 30%，雖然結果還算穩定，但遠談不上令人滿意。 但到了第三年，也就是 2012 年，我也在後來的書裡寫到，我仍然記得那年夏末，我們把所有 ImageNet 挑戰賽的結果在伺服器上跑了一遍。 一天深夜，我在家裡收到了研究生的消息，說他們得到了一個非常突出的結果，讓我去看一看。

我們查看後發現，他們用的是捲積神經網路，只是當時還沒有叫作“AlexNet”。 Jeff Hinton 所在的團隊將這個系統命名為“SuperVision”。 “SuperVision”這個名字非常巧妙，既包含“super”（超級）的意思，又暗示了“supervised”（有監督）。 我們研究了 SuperVision 的做法，發現他們使用的是一種很早就提出的演算法——捲積神經網路，這種方法最早是在上世紀 80 年代就被提出的。

只是在演算法上做了一些小改動，就看到結果發生了如此跨越性的變化，我們都非常驚訝。 當然，後來的事情你們都知道了，我們在同年義大利佛羅倫薩舉行的 ICCV 大會上展示了這個成果。 Alex Krizhevsky（烏克蘭裔加拿大計算機科學家，因其在人工神經網路和深度學習方面的工作而知名）和其他許多人都到場了，我記得楊立昆也在現場。

現在全世界都把這一時刻稱作 ImageNet 挑戰賽上的“ AlexNet 時刻」。 我想說，這次突破不僅僅是捲積神經網路的功勞，更因為這是 Alex 和他的團隊第一次把兩塊 GPU 並聯用於深度學習計算。 這是數據、GPU 和神經網路三者首次聯合發揮作用的時刻。

“沒有空間智慧，AGI 就不完整”

主持人：在計算機視覺智慧發展的道路上，ImageNet 的確解決了物體識別的問題。 緊接著，AI 也來到了能夠識別並描述場景的階段，畢竟你的學生 Andrej Kaparthy 等人在生成圖像描述方面做了大量工作。 從解決單個物體識別到理解並描述整個場景，這樣的轉變是如何實現的？

李飛飛： 是的，ImageNet 解決的問題就是：給定一張圖片，你要說出其中的物體，比如貓、椅子等。 這是視覺識別中的一個基本問題。

自從我作為研究生進入人工智慧領域時，我就有一個我認為是“百年難圓”的夢想：為世界“講故事”。 想像一下，當你睜開眼睛，看到的不只是一個人或一把椅子，而是一個完整的場景——就像這裡的演播室，你能看到螢幕、舞臺、觀眾、攝像機等，你甚至可以描述整個場景。 這種能力是人類與生俱來的，它是視覺智慧的基礎，對我們的日常生活至關重要。

我真的認為這個問題會耗盡我一生的精力。 畢業那年，我甚至設想自己會在臨終之際對自己說：如果我能創造一個能夠講述場景故事的演算法，那麼我就成功了。 我曾以為，這將成為我職業生涯的最終目標。

AlexNet 時刻來了，深度學習開始飛速發展。 隨後，Andrej 加入我的實驗室，後來 Justin Johnson 也加入了進來，我們開始看到自然語言和視覺逐漸融合的信號。 接著，我和 Andrej 提出了圖像描述的問題。 長話短說，到 2015 年左右，我和 Andrej 以及其他幾位研究者發表了一系列論文，這是最早能夠讓電腦為圖像生成文字說明的成果之一。 我就在想：我一生的目標就這麼實現了嗎？ 對我們來說，這是一個難以置信的時刻。

去年我在 TED 演講中提到了 Andrej 幾年前發的一條推文，那時他剛完成圖像描述相關的博士論文。 我還開玩笑對他說：「嘿，Andrej ，我們為什麼不做相反的事情呢？ 給一句話生成一幅圖像。 “他當然知道我在開玩笑，於是回答道：”算了吧，這個世界還沒準備好。 “但是快進到今天，我們都知道生成式 AI 了——我們輸入一句話就能生成精美的圖像。 這個故事的寓意是，AI 的發展速度令人難以置信。

就我個人而言，我覺得自己是世界上最幸運的人，因為我的整個職業生涯始於 AI 寒冬結束之初、開始快速發展之時，我的很多工作，甚至整個職業生涯都參與或推動了這一變革。 所以我感到非常幸運，也因此倍感自豪。

主持人：我覺得更瘋狂的是：不僅實現了你描述場景、用擴散模型生成圖像的終身夢想，你的視野還更巨集大——計算的發展歷程已從“物件”走向“場景”，如今更上升到“世界”這一概念。 你也正因此決定從學術界的教授，轉向創辦並擔任 World Labs 的創始人兼 CEO。 為什麼「世界」這一層面，比「物件」甚至「場景」都要難得多？

李飛飛：確實相當瘋狂。 很難用一句話概括過去的五、六年。 我覺得我們正處在這項技術進步的文明時刻。 作為一名計算機視覺科學家，我親眼見證了這項技術從「圖像識別」到「圖像描述」，再到採用擴散技術的「圖像生成」的飛速發展。

同時，另一條激動人心的主線是語言模型——特別是大模型（LLMs）。 真正的轉捩點是 2022 年 11 月，ChatGPT 的問世為生成式模型打開了大門，其表現幾乎能通過圖靈測試。 這一切對我——一個已經在行業里摸爬滾打多年的研究者，極具啟發，讓我敢於大膽思考下一步該做什麼。

作為計算機視覺科學家，我的靈感很多時候來自於進化和腦科學。 我常常在職業生涯的某個階段，尋找下一個「北極星」問題（此處指研究人員專注於解決一個科學學科中的關鍵問題）：進化做了什麼？ 大腦發育做了什麼？

我們都知道，人類語言的進化用了不到五十萬年，往久了說也不足百萬年。 而具備複雜語言能力的動物，基本上只有人類。 這種用於交流、推理和抽象的工具，幾乎完全是人類獨有的。 但在視覺上，包括理解三維世界、在三維世界中導航、與三維世界互動、在三維世界溝通——這一切進化大約用了 5.4 億年。 第一隻三葉蟲在水下形成視覺后，便拉開了進化競賽的序幕。 在此之前的五億年，動物都相對簡單; 而在擁有視覺之後的五億多年裡，動物智慧才互相角逐、持續提升。

所以，對我而言，解決「空間智慧」——理解三維世界、生成三維世界、在三維世界中推理和行動——是 AI 的根本問題。 若沒有空間智慧，通用人工智慧（AGI）就不完整。 而我想要解決的，就是那種超越平面圖元、超越純語言的“世界模型”，真正捕捉三維結構和空間智慧。

我一生中最幸運的事，就是無論我多大年紀，總能與最優秀的年輕人共事。 我與三位世界級的年輕技術專家——Justin Johnson、Ben Mildenhall 和 Christopher Lester——一起創辦了這家公司，我們將共同攻克我認為當下 AI 中最艱巨的問題。

World Labs 攻克難點

主持人：這是一支令人驚歎的團隊。 Chris 曾是 Pulsar 的建立者，那是首個可區分渲染（differentiable rendering）框架; Justin 是你之前的學生，擁有超強的系統工程思維，實現了實時神經風格遷移; Ben 又是 NeRF 論文的作者。 你需要這樣的「夢之隊」，因為就像剛才聊到的，視覺比語言要難得多。 語言基本是一維的，但你要處理的是複雜的三維結構。

李飛飛：非常感謝 Diana，你能夠體會到我們的困難。 是的，語言本質上是一維的：句子按順序排列，這也是序列到序列模型如此經典的原因。 還有一點，語言具有純粹的生成性。 自然界中沒有「可觸摸」的語言，它直觀地從人們的頭腦中“生成”出來——當然，你可以把它寫在紙上，但本質是純生成信號。 而現實世界比語言複雜得多。 首先，真實世界是三維的; 如果再加上時間的話就更複雜了。 僅考慮空間的話，它本質上是三維的，這使得問題的組合爆炸程度遠超一維的序列。

其次，感知視覺世界是一個投影過程——不論是視網膜還是相機，都是將三維壓縮到二維。 這是一個數學上的「病態」問題（ill-posed），因此人和動物才需要多模態感測系統來解決它。

第三，現實世界並非僅供「生成」——即便是虛擬三維世界，也必須遵守物理規律; 而現實世界還存在各種真實的交互和限制。

你現在可以在“生成”（generation）和“重建”（reconstruction）之間非常靈活地切換。 用戶行為、使用價值和應用場景各不相同。 如果你完全偏向「生成」，我們可以討論遊戲、元宇宙等; 如果你完全偏向“現實世界”，我們談論的就是機器人學。 但這一切都屬於“世界模型”，即空間智能連續譜上的不同點。

當然，不能迴避的問題是：互聯網有大量語言方面的數據可供訓練，那麼空間智能的數據從何而來？ 數據就在我們腦海中，只不過不像語言那樣易於獲取。 這就是為什麼這個問題如此艱難。

但坦率地說，正因如此它才令我興奮：如果它很容易，那早就有人解決了。 我的整個職業生涯都是在攻克那些幾近「瘋狂」的難題。 我認為這個就是一個近乎“瘋狂”的問題，也很感謝大家支援我走這條路。

主持人：即便從第一性原理角度考慮，人腦的視覺皮層中，用於處理視覺信息的神經元數量遠超語言處理的。 那麼，這在模型架構上如何體現？ 你們研發的架構與 LLMs 有什麼顯著差別？

李飛飛：這是個非常好的問題。 其實學術界對此有不同的流派。 一種思路是：把 LLM 的寫作 Scaling Law “硬堆”到底，用純自監督（self-supervision）來構建世界模型。 但世界具有結構性，我們或許需要某些信號來引導模型，可以把它看作「先驗」（prior），也可以看作「數據中的監督」（supervision）。 這些都是我們必須解決的開放性問題。

但你說得沒錯。 如果你再想想人類，我們甚至還沒完全弄清人類如何感知三維：兩隻眼睛的三角測量只是初步，之後的數學模型在哪裡？ 而且人作為三維動物，其實也並非多麼擅長三維推理，還有很多未知的東西。 因此，我們的確處於“世界實驗室”初創階段。 我只能希望於世界里最聰明的人幫我們一起搞定這個難題。

主持人：能否說 World Labs 正在構建一整套新的基礎模型，其輸出是三維「世界」？ 你設想的應用場景有哪些？ 因為你提到了從感知到生成，始終存在“生成模型”和“判別模型”的矛盾。 那麼，這些三維「世界」模型能做些什麼？

李飛飛：關於 World Labs 的具體細節我暫時不能多說，但就空間智慧而言，其應用場景和語言模型同樣廣闊：從創作，例如設計師、建築師、工業設計師、3D 藝術家、遊戲開發者，到機器人學習（robotic learning），世界模型的實用價值巨大，此外還有眾多上下游產業，包括行銷、娛樂、元宇宙。 我對元宇宙特別感興趣。 我知道很多人覺得它還沒真正「運行」起來，但正因如此，我更期待硬體和軟體融合的最終到來，這將為元宇宙內容創作帶來巨大動力，而內容創作需要世界模型。

主持人：我個人也很興奮你們在攻克元宇宙。 我之前在前一家公司也嘗試過，所以聽到你們在做這件事，真是太好了。

李飛飛：我認為，硬體確實是一個瓶頸，但內容創作同樣關鍵，而內容創作離不開世界模型。

個人經歷如何塑造了今天的你？

主持人：我們稍微轉個話題。 對有些觀眾而言，你從學術界突然轉為創始人兼 CEO 可能顯得很突然。 但你的人生其實一路精彩紛呈。 這並非你第一次從零開始：你曾移民美國，青春期又不會說英語，還經營洗衣店多年。 那些經歷如何塑造了今天的你？

李飛飛 ：你們現在可能都想聽我講怎麼開洗衣店吧。

主持人：那是你十九歲的時候嗎？

李飛飛 ：是的，十九歲。 那時出於無奈，我需要支援家人並赴普林斯頓讀物理專業。 所以我開了家乾洗店，用矽谷的說法，就是我「創辦並運營」了一個洗衣店，同時擔任 CEO、出納...... 七年後我把它賣了。

不過，Diana 提到的正是重點：台下的你們，年齡不過我的一半、甚至僅有三分之一，才華橫溢，那就去做吧，別怕。

除此之外，整個職業生涯中，我也多次選擇到沒有計算機視覺教授的院系任職。 很多人建議年輕教授要去有完整科研團隊和導師的地方，但如果沒有，就得自己開闢道路。 我從不害怕這樣。 後來我去了 Google，學習業務和雲端服務; 又在斯坦福內部創辦“以人為中心的 AI 研究院”（Human-Centered AI Institute），當了五年“校園創業者”。 有人或許不太理解，但我為此感到自豪——這讓我意識到，我就是個創業者。

我喜愛“從零開始”的感覺：忘掉過去的成就，也別在意他人評價，潛下心來，腳踏實地去做，這是我的“舒適區”，我樂此不疲。

主持人：你做的另一件很酷的事是，你曾指導過眾多傳奇研究者：像 Andrea Karpathy、Jim Fan（現任英偉達）、ImageNet 的合著者鄧嘉...... 他們都在 AI 領域大放異彩。 作為他們的導師，你當時是如何看出他們會改變 AI 領域的？

李飛飛：我是幸運的那個人。 他們不僅成就了自己，也讓我成為更好的導師和研究者。 和這些傳奇學生共事，是我人生莫大的榮幸。 他們各有千秋：有的專注於科學問題，有的成為業界領袖，也有的成為 AI 知識的傑出傳播者。

但我認為他們有一個共同點，我也鼓勵在座每一位以及那些正在招聘的創業者們思考這一點。 我的標準之一就是思想上無所畏懼：我不在乎你來自何處，也不在乎具體要解決什麼問題，但要勇於面對艱難課題，全身心投入並用自己認為合適的方式去解決，這是成功者的重要特質。 我從我的學生和團隊身上學到了這一點，也會在 World Labs 的招聘中重點考察這一品質。

主持人：所以 World Labs 也在大量招聘，對嗎？ 你在尋找同樣特質的人？

李飛飛：是的，我們大量招聘工程人才、產品人才、三維建模人才，以及生成式模型人才。 如果你覺得自己無所畏懼、熱衷於攻克空間智慧，歡迎聯繫我們。

“我不知道 AGI 與 AI 的邊界在哪”

Q1：我是您的忠實粉絲。 二十多年前您專注於視覺識別，現在我即將開始博士研究。 我應該研究什麼方向，才能像您一樣成為傳奇？

李飛飛： 我想給你一個我深思熟慮的回答。 我當然可以說“做任何讓你熱血沸騰的事”，但 AI 研究環境已經改變：如果你要開始讀博士，學術界已經不再擁有大部分 AI 資源。 這與我當年的情況差別很大，現在算力、晶元和數據更多集中在產業界，學術界相對資源匱乏，而產業界能用更好的算力、更豐富的數據和團隊合作更快地解決問題。 因此，你作為博士生，我建議去尋找那些「北極星」問題，即那些產業界即便投入更多資源也難以觸及的基礎性問題。 在學術界，你無需依賴巨量晶元，就能取得突破性進展。

對我而言，「跨學科 AI」在學術界，尤其在科學發現領域非常令人興奮，有太多學科可以與 AI 交叉，這是一個寬廣的方向。 在理論層面，非常有趣的是：AI 的能力已經完全超越了現有理論。 我們不知道模型內部到底是如何運作的，缺乏可解釋性，也不清楚因果關係。 模型中尚有許多未知，有待深入探索。 還比如在計算機視覺領域，表示學習仍有諸多未解的難題; “小樣本學習”也是一個極具挑戰性的研究方向。 這些都存在巨大的可能性。

Q2：恭喜您獲得耶魯大學的榮譽博士學位，一個月前我很榮幸見證了這一時刻。 您認為 AGI 更有可能以「統一模型」形式出現，還是以「多智慧體系統」形式出現？

李飛飛：您提問時已經包含了兩種定義：一種更偏理論，認為 AGI 是通過某種智商測試來定義; 另一種更偏實用，關注基於智慧體架構能完成哪些任務。

說實話，我很難給 AGI 下一個明確的定義。 1956 年，達特茅斯會議的創始人（如 John McCarthy、Marvin Minsky）就提出讓“機器能思考”的目標，這實際上比“狹義 AI”更寬泛。

我不知道 AGI 與 AI 的邊界在哪裡。 行業里常把 AGI 當作超越 AI 的概念，但對我而言，AI 的終極目標一直就是創造能夠像人類甚至超越人類的智慧機器。 如果我們說今天的“AGI 式”系統比 80、90 年代的“狹義 AI”系統更強大，那也不過是領域發展的必然。 但如果不先明確“AGI”定義，就很難回答它是單一系統還是多智慧體系統。 就像大腦一樣，你可以把它看作整體，但其中又包含布羅卡區、視覺皮層、運動皮層等。 因此，我無法準確回答這一問題。

Q3：看到女性在這一領域承擔領導角色，真令人鼓舞。 作為一名研究者、教育者和創業者，我想問：在 AI 快速崛起的今天，什麼樣的人應該選擇讀研？

李飛飛：這是個好問題，也有家長問過我。 我認為，研究生階段的那幾年，最適合有著“強烈好奇心”的人。 你的好奇心要足夠強，以至於沒有比讀研更理想的地方來滿足它。

與創業不同，創業不能僅憑好奇，投資人可不會買帳，創業需要更明確的商業目標。 而讀研的核心正是好奇，把問題提對、想清楚，然後全身心投入。 即使外界高速變化，你也會因為探索好奇的事情而快樂。

Q3：您提到 ImageNet 的開源對行業增長極其重要，而近期大模型廠商在開源策略上也分成幾派：有的完全閉源，有的完全開源，還有的介於其中、只開源權重或採用限制性許可。 您如何看待這些不同的開源方式？ 作為 AI 公司，應該如何選擇合適的開源策略？

李飛飛：我認為，生態系統在多種策略同存時會更健康。 我並不堅持一定要開源或閉源，這取決於公司的商業策略。

舉例來說，Meta 之所以大規模開源，很明顯是因為它目前的商業模式不是賣模型，而是通過開源吸引更多人進入其平臺，繁榮生態。 而另一些公司則依賴收費層或閉源層來創造營收。 總的來說，我支援保護開源——無論是學術界還是私營部門，對開源的投入都至關重要，應當被鼓勵和保護，而不應受到阻礙。

Q4：我對數據問題很感興趣。 您指出，機器學習正向數據驅動方法轉變，ImageNet 的出現促進了這一點; 但在三維世界建模上，網上沒有現成的數據，只存在於我們大腦中。 您打算如何解決這個問題？ 您是收集真實世界數據，還是生成合成數據？ 或者依賴先驗？

李飛飛：你應該加入 World Labs，到時候我會詳細告訴你。 作為一家公司，我不能透露太多細節，但我們採取的是「混合方法」。 大量數據很重要，但高質量數據也同樣關鍵。 畢竟，如果數據品質不高，還是“垃圾進，垃圾出”。

Q5：在您的著作《我所看見的世界》里，您談到作為移民女孩和 STEM 女性所面臨的挑戰。 我好奇，您是否曾在職場上因少數群體身份而感到壓力？ 如果有，您是怎麼應對或說服別人的？

李飛飛：我想這個問題得謹慎回答，因為我們每個人的背景不同，感受也各有不同。 其實，重要的並不是你歸屬於哪種大類，而是在某些時刻，你都會覺得自己是唯一不同的人。 我也有這樣的經歷，可能是因為我的身份、想法，或僅僅是穿的衣服顏色。 但我想鼓勵大家：從小移民到美國，我學會了接受一點，那就是：這就是我。

我想對大家說：無論你們即將或正在踏上什麼樣的旅程，都會有軟弱和迷茫的時刻，尤其是在創業階段。 有時我也會想“天哪，我到底在做什麼”，但只要專注行動，就會像梯度下降一樣，一步步逼近最優解。