太魔幻了！DALL·E 2 居然能用自創的語言來生成影像，AI模型的可解釋性再一次暴露短板
萬一DALL·E-2是在向人類發出什麼了不得的訊號呢？這門語言快學起來！編輯｜陳彩嫻
DALL·E 和 DALL·E-2從文本生成影像的魔力，想必大家都已經見識過了。作為深度生成模型，它們能夠將文本作為輸入，生成匹配給定文本的超逼真影像。不過，DALL·E-2 的一個眾所周知的局限性是它在生成帶文本的影像時很吃力。例如，給出文本提示：Two farmers talking about vegetables，with subtitles.（兩個農民在談論蔬菜，有字幕）誰能告訴我這張圖上的文字是什麼語言？什麼意思？？？在DALL·E-2所生成的帶有文本的影像中，DALL·E-2顯然在說一種我們人類看不懂的語言。其實這一點在最初的DALL·E-2論文以及Marcus等人對該模型的初步評估中就已經發現了。而最近有人發現，這些讓人無法理解的文本並不是隨機的！來自德克薩斯大學奧斯汀分校的博士生Giannis Daras 和 Alexandros G. Dimakis教授，發現DALLE-2背後竟然有一套秘密語言，模型內部似乎有一套隱藏的辭彙表，從這些隱藏的辭彙中，模型會學習一些單詞，並創造一些荒謬的文本提示來生成影像。
比如，在DALL·E-2的語言系統里，Apoploe vesrreaitais意思是鳥類，Contarra ccetnxniams luryca tanniounons則表示昆蟲或害蟲。當你輸入這個句子作為文本提示時：Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounonsDALL·E-2生成了下面這些影像，影像內容翻譯成英語，顯然是「A bird is eating a bug」（一隻鳥在吃蟲子）Daras 和 Dimakis 採用了一種簡單的方法來破解DALL·E-2的辭彙庫。比如，假設我們想找到在DALL·E-2的語言系統中，「 vegetables（蔬菜）」這個英語單詞對應的詞是什麼，就可以用下面這些句子來提示DALL·E-2：- A book that has the word vegetables written on it.（上面寫著「蔬菜」一詞的書。）
- Two people talking about vegetables, with subtitles.（兩個人在談論蔬菜，有字幕。）
- The word vegetables written in 10 languages.（以10種語言書寫的「蔬菜」一詞。）
然後，DALL·E-2就會生成帶有表示「蔬菜」義的文本的影像，比如在上面那張「兩個農民在談論蔬菜」的圖片中，DALL·E-2給出了自己的翻譯文本：Avcopinitegoos Vicootes, Apoploe vesrreaitais。下一步，我們就可以輸入DALL·E-2自己的辭彙，來看它會生成什麼影像。比如下圖（左）是從單詞「vicootes」 生成的影像，下圖（右）是從短語 「apoploe vesrreaitais」 生成的影像：懂了懂了，所以「vicotes」的意思是「蔬菜」，「apoploe vesrreaitais」的意思是」鳥類」～ 只是這些鳥看起來倔強而自由，彷彿正盯著對農民的蔬菜準備搞破壞。DALL·E-2：所以這張圖什麼意思，不用我說了吧。好玩真好玩，我已經迫不及待想要學會DALL·E-2的這門語言了！再看一個例子。輸入文本「Two whales talking about food, with subtitles」（兩隻鯨魚在談論食物，有字幕），DALL·E-2 給出了如下的圖片回執（左）~ 上面寫著 「Wa ch zod ahaakes rea.」誰看的懂？？可能人類不懂就對了——我猜這兩頭鯨魚正在用DALLE-2 的語言談論它們的食物。緊接著，把這句話作為輸入，DALL·E-2生成的影像（右）是......一堆海鮮美食！這真是不可思議。我們能要求它用我們的語言說話嗎？例如 「兩隻鯨魚在談論食物，有英文字幕」。偉大的工作！這些輸出讓我想起了我一直在訓練的GANs，它們產生了以前沒有聽說過的新詞。有些是英語單詞，有些可能是但不是。它們會賦予這些新詞有意義的表述。我要吹毛求疵一下。如果農民談論的是 「Apoploe vesrreaitais」，而 「Apoploe vesrreaitais的3D效果圖 」，或 「線條藝術，Apoploe vesrreaitais 」可以指昆蟲（或如他們所說的更普遍的 「會飛的東西」），那我認為農民更可能是在說昆蟲而不是鳥。我不太相信我們在「farmers with subtitles」的圖片中看到的文字和推斷的單詞含義之間有很強的相關性。我們不知道這個農民的例子是如何「偷梁換柱」的，而且它甚至不起作用：如果這個假設是真的，「Apoploe vesrreaitais 」就對應「蔬菜」，但它對應的卻是「鳥」。而且由於某種原因，我們看到的是 「vicootes 」的輸出，而不是 「vicootess」。這看起來很似是而非。令人難以置信的結果！我猜想，由於CLIP從未在純語言任務上接受過訓練，它從未被激勵「不」去將胡言亂語與概念聯繫起來（不像Imagen中使用的常規語言模型）。-所以它必須從帶有文字的影像中獲得語言知識，但由於其訓練數據中只有這麼多這樣的影像，它在找到的文字之間做了某種不完整的插值。雖然給我們的是胡言亂語，但胡言亂語仍然是以特定數據為索引的。
-它的語言模型是來自CLIP，所以問題一定是來自那個模型。
-我的理解是，它只在影像上進行訓練，對吧？它用文本描述對影像進行編碼，但它實際上從未 「看到 」文本描述，除非影像中恰好有文本。
-任何被索引到文本描述的影像文本（或影像文本的插值）都不會只是隨機的胡言亂語，這很有道理。有趣的是它如何對語言概念本身進行索引，以及它將它們混合在一起的能力。就像人類對語言的使用一樣。
兩位作者對DALL·E-2的辭彙庫做了進一步的研究。先來瞅瞅它的 Compositionality（組合性）。從前面的例子中，我們知道 "Apoploe vesrreaitais" 指「鳥類」。通過重複有關農民的提示的實驗，我們還可推測 「Contarra ccetnxniams luryca tanniounons」表示「害蟲或蟲子」。那麼一個有趣的問題就來了，DALL·E-2能否把這兩個概念組成一個句子呢？如下圖所示 ，DALL·E-2可以將詞和短語組合成句子，根據 "Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounons" 生成了鳥類在吃蟲子的影像。不過這種情況不是發生在所有的生成影像中，所以一致性並不是十分穩健。DALL·E-2 能夠根據提示中指定的風格，生成一些相關概念的影像。例如，預設我們想得到一個蘋果的逼真影像，或蘋果的線條藝術。要先測試單詞（如Apoploe vesrreaitais）是否對應於視覺概念，這些概念能否根據提示的上下文轉化為不同的風格。DALL·E-2 生成的不同風格的 「Apoploe vesrreaitais」，形態雖異，但「會飛的東西 」這一視覺概念得到了保持。結果，既發現有蔬菜、也發現有鳥的存在。兩個農民談論鳥類是非常合理的，這就提出了一個非常有趣的問題：DALL·E-2 的文本輸出是否與文本條件和生成的影像一致？實驗表明，有時我們得到的胡言亂語的文本翻譯成視覺概念，與首先產生胡言亂語文本的標題一致。有點繞口，簡單一點，就是種瓜得瓜種豆得豆，管它是印象派還是寫實派，結出的瓜和豆和最初的瓜豆種子（廢話文學快住嘴），能看的出還是有聯繫的。例如，"Two whales talking about food, with subtitles"（兩隻鯨魚在談論食物，有字幕）產生了一個帶有文字 "Wa ch zod ahaakes rea" 的影像。把這段文字作為提示輸入模型，在生成的影像中看到了海鮮。結合上圖「不同風格的鳥」看來，胡言亂語的文本確實有其含義，有時與產生它的文本條件相一致。在鯨魚圖中，生成影像中不明所以的文字 "Wa ch zod ahaakes rea"，與產生的影像、標題和第一幅影像的視覺輸出是相關的。有一種可能是，這些非人類現有語言的單詞是不同語言中正常單詞的拼寫錯誤，但兩位作者在搜索中沒有發現任何這樣的例子，所以這些詞的來源仍然令人困惑。而且在他們的初步實驗中，有些詞並不像其他詞那樣具有一致性，也就是說，目前DALL·E-2 的這套語言在從文本生成影像時的穩健性可能不足。初步研究表明，像「Contarra ccetnxni ams lurycat anni ounons」這樣的提示有時會產生包含蟲子和害蟲的影像（約佔生成影像的一半），每次還會產生不同的影像，大部分是動物。而「Apoploe vesrreaitais」這個短語的一致性明顯更強，可以以各種方式組合來生成具有一致性的影像。如果要測試更多提示語的穩健性，則需要大量的實驗。論文作者表示，如果一個系統表現出瘋狂的不可預測性，即使這種情況很少發生，也仍然是一個重要的問題，特別是對於一些應用程式而言。另一個有趣的問題是，Imagen是用語言模型訓練的，而不是CLIP，它是否也會有一個類似的隱藏辭彙庫呢？無論如何，生成影像的荒謬提示挑戰了我們對這些大型生成模型的信心。顯然，在理解這些現象和創建穩健的、與人類預期相一致的語言和影像生成模型方面還需要更多的基礎研究。論文地址：//giannisdaras.github.io/publications/Discovering_the_Secret_Language_of_Dalle.pdf參考鏈接：
//twitter.com/giannis_daras/status/1531693111755149312//www.reddit.com/r/MachineLearning/comments/v1zzh8/d_dalle_2_has_its_own_secret_language/雷峰網雷峰網
