用企鵝做出的炸雞什麼樣?「畢加索」給出了答案

由「企鵝」構成的「炸雞」長什麼樣?用「長頸鹿」組成的「雞」是什麼鬼…長頸雞嗎?

你或許覺得這種並不存在的事物過於荒誕,而且靠自身的想像力有點難以描述,但最近,

有AI能把這些東西畫出來了。

例如當你給出設定,用「大象」構成的「雞」,一般人還在愁雞頭應該安排在哪,這款最新的AI已經畫完了,而且一口氣畫了幾十張:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

情不自禁的想來一個「看懂,掌聲」。

沒錯,OpenAI又整活了,今天要介紹的這位AI界的新晉畢加索正是他們最近訓練出的影像生成器,DALL·E。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

關於會畫畫的AI,狂丸之前沒少介紹過,但DALL·E有點特別,在一定的框架下,它能按照人類的文字描述,給出畫面影像,無論這段描述有多不著調。

如果讓你畫一幅「一個小白菜寶寶穿著芭蕾舞裙遛狗」,你可能會一臉懵,但DALL·E直接就整出來了:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

主角換成皮卡丘也沒問題,而且每隻狗子都不一樣:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

所以,這看起來就是一個可以利用文本描述生成影像的AI。人類的指令就是像是完成填空題,有一些可選選項,模式類似:繪製一個「xxx」的「xxx」,比如下圖中,選取了「綠色」,得到了綠色的表。

用企鵝做出的炸雞什麼樣?這個AI給出了答案
(綠色,六邊形,鐘錶)

於是,不同的關鍵詞就組成了千奇百怪的東西,雖然看著有一絲絲沙雕,但其實這款AI在製圖方面有著比較全面的功能。

DALL·E都能「畫」些什麼? 

比較基礎的就是「控制屬性」。我們剛才介紹過,例如「立方體」的「老虎」,通過兩個簡單的關鍵詞構成的一組辭彙,然後生成畫面:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

「環面」的「水」,很有美感:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

還可以「繪製多個對象」,包括他們的空間關係,像是下圖:

一個「小」的「紅色」的方塊,「立」在一個大的「綠色」方塊上。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

此時AI不僅要將片語正確組合,而且要形成正確的關聯,避免混淆。下圖是「一隻綠色的大象坐在一隻紅色老鼠身上」,可以感受一下AI的抽象畫法:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

另外還可以根據「畫面的視角」生成圖片。

如「美洲獅」「坐在山上」的「鳥瞰圖」,當然也可以選擇平視或者特寫等多個視角選項:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

根據「畫面風格」變動生成圖片,「狐狸」「坐在森林裡」的「3D渲染圖」:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

類似的關鍵詞,還可以換成前幾年比較火的低多邊形風格,也可以改成像素風格:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

用企鵝做出的炸雞什麼樣?這個AI給出了答案

還可以生成「橫截面圖」,這西瓜讓AI切的稀碎:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

其他的功能還有很多,例如「推理背景細節」,給出一個大概的方向讓AI補充畫面。

像是「早晨,一隻水豚坐在森林裡的畫」,AI會根據關鍵詞,推斷光線一類的需求,然後生成不同風格的「畫」這個結果,看效果確實藝術極了:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

而我最喜歡的是「合併不相關的概念」。

通常來說,我們組合一個辭彙都是用於描述真實存在的事物,例如木質的桌子。不過好玩的是,DALL·E可以將不同概念的對象「強行」縫合,創造出新的東西,舉個例子,設置由「蝸牛」組成的「漢堡」,於是就出現了漢堡蝸牛:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

感覺類似的生成方式,很適合做設計。下圖的關鍵詞是,一個「冰川」「形式」的「茶壺」:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

更進一步還可以製作「腦洞插畫」,「皮卡丘」「穿著西裝」「擤鼻涕」:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

「動物與動物之間的嵌合體」,用「長頸鹿」組成的「雞」:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

還有神話中的不太好想像的「貓龍」,在AI眼裡,竟然是長成這樣的:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

DALL-E,是什麼? 

如果你對去年的GTP-3有印象,就能更簡單的理解DALL·E。對,GTP-3就是那個給一些詞或者句子,就能夠自己寫文章的那個AI。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

這次的DALL·E也是類似的功能,只不過變成給文字生成圖片了。

其本質跟GPT-3一樣,還是變壓器語言模型。在GTP-3那裡,變壓器是從「文字到文字」,這個DALL·E則更進一步,變成了「文字到圖片」。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

是不是很神奇?那麼,這個AI又是如何做到的呢?根據DALL·E創造者OpenAI的介紹,實現這個DALL·E,有兩個關鍵的核心。第一個,是接收數據流進行訓練。DALL·E會接收影像和文字所組合的數據流,在模型訓練之前,需要對數據進行預處理,一次接受後,會用到1280個標記,其中256個用於標記文本,1024個用於標記影像。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

之後,便是對這些數據進行自回歸建模,這時候,DALL·E使用了一種名為「自注意力層」以及其中的「注意遮罩」。

怎麼理解這個概念呢?大家可以回想一下,平時你在聚精會神地觀察某個東西的時候,是不是會忽略周圍的東西,這時候,你的注意力都集中在那個事物上?

用企鵝做出的炸雞什麼樣?這個AI給出了答案

是的,在AI上,也有類似的概念:注意力機制。簡單來說,就是用演算法,讓AI可以在不同外界需要下去選擇性地觀察,找出最有用的點。不同的演算法得出的不同結果,就類似於咱們對同一事物的不同聚焦點,正如詩云「橫看成嶺側成峰」。

而在「自注意力」上,其實與注意力,只差了一個字,它是後者的一種變體。二者的區別,就是「自注意力」減少了對外部資訊的依賴,在原本就具有的「注意力」分析上,更側重於分析數據流內部各標記的相關性。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

在這個DALL·E中,這樣的不同注意力「遮罩」,一共有著64個。

正是有了足夠多關注和分析的角度,保證了訓練中同一輸入中的每個影像標記,都能或強或弱地與文字標記產生關聯。

其次,DALL·E還有另外一個核心:看看自己畫得好不好。

你讓他畫畫,他其實會先畫出512幅畫,不過嘛,AI在給你輸出結果前,還會自己斟酌斟酌。

這個使用的便是CLIP網路,這是一個評價系統,它會對自己的作品進行評分,然後根據高低順序排列,排名靠前的,才會輸出給你。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

DALL·E畫出的沙雕作品 

了解完來龍去脈,接下來就是整活時間了。

儘管DALL·E推給你的作品都是精挑細選的,但依然有很多鬼畜他媽給鬼畜開門——鬼畜到家的作品。

例如「地球的橫截面」,有的像是Minecraft里的方塊,有的像是切了一塊火腿。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

美洲獅在森林裡的黏土動畫,獅子看完想離開森林:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

我這一輩子已經坐過數千次馬桶,但「粉色」、「六邊形」馬桶還是第一次看見:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

同時這樣的馬桶,它一秒就畫了一堆。

用企鵝做出的炸雞什麼樣?這個AI給出了答案
(共30個,以上為節選)

我們都沒有見過「環形」的「西瓜」,但DALL·E給出的答案似乎也有點道理:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

而這個「四面體」的「斑馬」徹底給我笑吐了。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

大自然看完,直呼內行。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

還有用長頸鹿構成的烏賊:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

下圖分別是用熊貓構成的鱷魚、羊駝、企鵝、鯨、烏賊,哪個最可愛?

用企鵝做出的炸雞什麼樣?這個AI給出了答案

用企鵝構成的黃瓜:

用企鵝做出的炸雞什麼樣?這個AI給出了答案

由企鵝構成的炸雞…那這到底算是炸雞還是炸企鵝?

用企鵝做出的炸雞什麼樣?這個AI給出了答案

不過無論是哪一種,都挺萌,而且看起來似乎也挺好吃的。

用企鵝做出的炸雞什麼樣?這個AI給出了答案

最後推薦一波DALL·E繪製的最匪夷所思的畫作,「企鵝與肉餅」。真正的——「笑死,企鵝肉」。

用企鵝做出的炸雞什麼樣?這個AI給出了答案