2022 劍橋 AI 全景報告出爐：擴散模型是風口，中國論文數量為美國的 4.5 倍

• 2022 年 10 月 31 日
• AI

作者 | 黃楠、施方圓

編輯 | 陳彩嫻

近日，劍橋大學的2022年 AI 全景報告（《State of AI Report 》）出爐！

報告匯總和聚焦了過去一年裡 AI 行業中炙手可熱的事件，援引數據來自知名科技公司和研究小組，由投資者 Nathan Benaich 和 Ian Hogarth 編寫，從研究、產業、政策、安全、預測五個維度出發，對最新的 AI 發展現狀和未來預期進行深度分析。

以下是報告重點介紹：

從研究領域來看，今年 AI 發展呈現五大趨勢：

擴散模型是深度生成模型中新的 SOTA，在一些基準測試中，其影像生成能力超越了 GAN，是當前文本生成影像最火熱的模型，並逐漸擴大到文本生成、文本轉音頻、文本轉影片以及分子設計等領域。

今年4月，OpenAI 發布 DALL-E 2，只需要給到寥寥幾句文本指示就可以生成全新的影像，剛亮相就在影像生成和影像處理領域引發極大的關注度。不久，Google也緊接著推出的 Imagen，基於大型 Transformer 語言模型在理解文本方面的能力和擴散模型在高保真影像生成方面的能力，將文本生成影像的逼真度和語言理解提到了新高度。

而真正將生成式 AI 推向創作高潮的，是 Stability.Ai 在8月份公開發布的 Stable Diffusion 模型，只需輸入幾行文字描述，幾秒鐘後，AI 便能生成一幅幻彩斑斕的畫作。

可以看到，目前 Stability.ai 和 Midjourney 等公司所創建的文本轉影像模型，已經可以跟發展成熟的 AI 實驗室的產品相媲美，其中，Midjourney 採用了訂閱制的收費模式已經盈利，Stability 的模型則是開源的。

此外，基於擴散的文本到影片生成的研究也從今年4月左右就展開了。

9月下旬，Meta 發布「Make-a-Video」，宣布了從文本到影片生成的 DELL-E 時刻早於預期，文本轉影片的擴散模型首次在業界引起轟動。不到一周後，Google也發布了兩個模型：基於擴散模型的 Imagen 和非擴散模型的 Phenaki，後者能夠通過附加提示動態來調整影片生成。

在 AI for science 研究中，今年有不少突出的工作。

其中，DeepMind 與悉尼大學、牛津大學合作，將 AI 模型應用到數學領域的拓撲和表示論猜想，提出了一種新的演算法，通過研究紐結的結構，發現數學在不同領域中的隱藏聯繫，該研究發表在《自然》雜誌上。

圖註：紐結結構

一年前，DeepMind 發布 AlphaFold2，以原子水平的準確度預測了三分之二的蛋白質結構，並與 EMBL-EBI 共同發布蛋白質結構資料庫 AlphaFold DB。

到了今年7月28日，DeepMind 宣布 AlphaFold DB 已從 100 萬個結構擴展到超過 2 億個結構，擴大超過 200 倍，可用於植物、細菌、動物和其他生物的蛋白質預測結構，極大地提升了人們對於生物學的理解。

在塑料回收方面，來自 UT  Austin 的研究人員設計了一種能夠降解 PET 的酶（PET 是一種佔全球固體廢物12%的塑料），稱為 PET 水解酶（  FAST‑PETase），能夠在一周內幾乎完全降解51種不同產品，並且還可以從回收的單體中重新合成 PET FAST‑PETase。

對於通用多任務、多模式模型的嘗試，可以追溯到Google此前提到的「一個模型來學習」。

此前有研究發現，LLMs 可實現讓機器人通過自然語言對每個步驟的解釋來完成各種任務，但由於對機器人所處環境和現實能力缺乏認知，LLMs 的解釋時常會出現無法被理解的情況。隨著 PaLM-SayCan 的出現，這一問題也已經得到解決。

DeepMind 推出的 Gato 將這項工作帶到了另一個層次，通過一個1.2B參數轉換器，可以實現在機器人、模擬環境、視覺和語言中執行數百項任務。

此外，Transformer 作為一種解碼器架構，當前其影響力已經超出 NLP，在電腦視覺上也發揮著重要作用，正在成為真正的跨模態產品。

圖註：與 Transformer 相關的論文佔比

OpenAI、DeepMind 旗下有多個模型已被開源社區實現、克隆和改進，進度遠超預期。

圖註：社區驅動的 GPT 等開源

儘管 AI 研究將越來越集中於少數大型實驗室，但隨著計算成本和訪問許可權的降低，因此也出現了最先進的研究在更小、以前不為人知的實驗室得到提出等情況，同時，這些新的獨立研究實驗室也在迅速開源。

圖註：中美 AI 論文數量對比

數據顯示，自2010年以來，中國機構撰寫的 AI 論文數量是美國的4.5倍，遠遠超過美國、印度、英國和德國的總和。

同時，中國的論文更關注與監控相關的任務，包括對象檢測、跟蹤、場景理解、動作和說話者識別等。

報告顯示， NVIDIA 的晶片在 AI 研究論文中最受歡迎， GPU 的使用率是 ASIC 的131倍，是 Graphcore 、 Habana 、 Cerebras 、 SambaNova 和 Cambricon 的晶片總和的90倍，是Google TPU 的78倍，是 FPGA 的 23 倍。

圖註：NVIDIA 晶片在 AI 論文中的引用數量

DeepMind 和 OpenAI 的校友各自開花，組建了許多新的初創公司，分別研究不同領域的 AI 技術，如：AGI 、人工智慧安全、生物技術、金融科技、能源、開發工具和機器人技術。

圖註：由 DeepMind 和 OpenAI 分解出來的初創公司

OpenAI 的 Codex 迅速從 2021 年 7 月的研究演變為 2022 年 6 月的開放商業化，微軟的 GitHub Copilot 現在以每月 10 美元到每年 100 美元。亞馬遜在 2022 年 6 月發布了 CodeWhisperer 預覽版。Google透露，其內部正在使用以 ML 驅動的程式碼完成工具，也許幾年內會出現在瀏覽器 IDE 中。同時，擁有 100 多萬用戶的 Tabnine 籌集了 1500 萬美元，承諾有望實現準確的多行程式碼填寫。

人工智慧藥物發現公司在臨床試驗中擁有 18 項資產，高於 2020 年的 0 項。

圖註：每家公司各個階段的資產數量和資產百分比

另外，由於放射科醫生的短缺和成影數量的增加，通過評估X光片針對疾病變得更有挑戰性。因此立陶宛初創公司 Oxipit 創建了一個名叫 ChestLink 的電腦視覺系統，該系統可以自動報告沒有異常的胸部 X 光片，就無需放射科醫生來檢查，這是業界首個基於電腦視覺的診斷自主認證。

目前，大學是人工智慧公司重要的資源來源，包括 Databricks 、 Snorkel 、 SambaNova 、 Exscientia 等。在英國有 4.3% 的人工智慧公司是大學拆分出來的，是所有英國公司的 0.03% ，人工智慧是能夠拆分的代表性行業之一，通常這需要高昂的代價，技術轉讓辦公室（TTOs）通常就拆分交易條款進行談判。

隨著市場的擴大，對AI初創公司的投資速度在放緩

與去年相比， 2022 年預計使用AI的公司融資額將減少36%，但仍有望超過 2020 年的水平，這與全球所有 Start-up 階段和 Scale-up 階段的公司投資相當。

VC 投資的下降在 1 億以上的輪次中最明顯，而投資規模較小的輪次預計到 2022 年底全球將達到 309 億美元，與 2021 年的水平相當。

綜合公共企業價值（EV）已經下降到 2020 年的水平。同時，私營企業的估值不斷增長，綜合企業價值已經達到 2.2 萬億美元，比去年增長 16% 。

圖註：對 AI 初創公司的投資（按輪次）以及對所有初創公司的投資（按輪次）

目前美國的AI獨角獸公司數量領先，其次是中國和英國。美國已經創造了 292 家 AI 獨角獸公司，企業價值合計 4.6 萬億美元，中國創造了 69 家 AI 獨角獸公司，企業價值合計 1.4 萬億美元，英國創造了 24 家 AI 獨角獸公司，企業價值合計 2070 億美元。

圖註：各個國家獨角獸企業數量以及獨角獸企業

儘管對於美國 AI 初創公司的投資大幅度下降，但它們仍然佔全球人工智慧總投資的一半以上。

圖註：對 AI 公司的投資金額

企業軟體是全球投資最多的類別，而機器人技術佔據了 AI 風險投資的最大份額。

圖註：各個領域投資金額

儘管 IPO 和 SPAC IPO 的數量急劇下降，但 AI 公司的收購數量可能會超出 2021 年的水平。

圖註：全球 AI 公司的退出數量，以及 2022 年退出的 AI 企業

在2021年的報告中，曾對2022年 AI 的發展情況做出了8項預測，其中已實現 Transformers 在遊戲中超過人類表現，這主要得益於 DeepMind 的 Gato 模型可實現對未來狀態和動作的預測，日內瓦大學提出的 IRIS 模型則解決了 Atari 環境下的任務。

未實現的預測中提到，Graphcore、Cerebras、SambaNova、Groq、Mythic 中至少有一家被大型科技公司或者半導體公司收購，在今年也沒有實現；ASML 的市值當前僅為1650億美元，距預期中的5000億美元還存在很大差距；JAX 框架的使用仍然占 Papers With Code 每月回購的不到1%，未達到預測中的5%。

圖註：2021年預測中共4項實現

還有一些往年的預測在今年實現了，其中，美國 CHIPS 法案在今年禁止接收方在中國擴大業務，原預測中NVIDIA 最終未能完成對 Arm 的收購、該交易也於今年正式取消。在 AI 初創公司方面，Helsing（德國）在今年籌集了1億美元的A輪融資。

而對於一直備受關注的 AI 治理問題，2019年預測至少有一家主流 AI 公司會對治理及管理模式作出實質性的調整，Anthropic 也在今年成立、作為公益性公司活動。

圖註：2020年及之前的預測在今年實現

報告中也提出了對未來12個月的9項預測，分別是：

• DeepMind 訓練了一個10B參數的多模態 RL 模型，比 Gato 大一個數量級

• NVIDIA 宣布與一家專註於 AGI 的組織建立戰略關係

• SOTA LM 在比 Chinchilla 多10倍的數據點上進行訓練，證明數據集縮放與參數縮放

• 生成音頻工具的出現，到2023年9月吸引超過10萬名開發人員

• GAFAM 向 AGI 或開源 AI 公司（例如 OpenAI）投資超過10億美元

• 面對NVIDIA 的主導地位，半導體初創公司面臨現實困境，一家備受矚目的初創公司被關閉，以低於其最近估值的50%的價格下跌或收購

• 一項像  Biosafety 實驗室這樣監管 AGI 實驗室的提案得到英、美或歐盟政治家的支援

• 超過1億美元將在明年投資於專門的 AI 對齊組織

• 一個用戶生成內容方（如 Reddit）與一家生產 AI 模型的初創公司（如 OpenAI）協商商業解決方案，以對其用戶生成內容的語料庫進行培訓

你覺得哪些可能會實現呢？

雷峰網