這是一份看似平平無(wú)奇的日式便當(dāng)。
但你敢信，其實(shí)每一格食物都是P上去的，而且原圖還是醬嬸兒的：
直接摳圖貼上去，效果一眼假
背后操作者并不是什么PS大佬，而是一只AI，名字很直白：拼圖擴(kuò)散（ ）。
隨便找?guī)讖埿D拿給它，AI就能自己看懂圖片內(nèi)容，再把各元素非常自然地拼成一張大圖——完全不存在一眼假。
其效果驚艷了不少網(wǎng)友。
甚至還有PS愛(ài)好者直呼道：
這簡(jiǎn)直是個(gè)天賜之物……希望很快能在（ 用戶常用的網(wǎng)絡(luò)UI，也有集成在PS中的插件版）中看到它。
01、為什么效果這么自然？
實(shí)際上，此AI生成的“日式便當(dāng)”還有好幾個(gè)生成版本——都很自然有木有。
至于為啥還有多種版本？問(wèn)就是因?yàn)橛脩暨€能自定義，在總體不變得太離譜的前提下，他們可以微調(diào)各種細(xì)節(jié)。
除了“日式便當(dāng)”，它還有不少出色的作品。
比如，這是拿給AI的素材，P圖痕跡明顯：
這是AI拼好的圖，反正我愣是沒(méi)看出什么P圖痕跡：
話說(shuō)這兩年，“文字生成圖像的擴(kuò)散模型”著實(shí)大火了一把，DALL·E 2和都是基于此開發(fā)出來(lái)的應(yīng)用。這種擴(kuò)散模型的優(yōu)點(diǎn)，是生成圖片多樣化、質(zhì)量較高。
不過(guò)，文字終究對(duì)于目標(biāo)圖像，最多只能起到模糊的規(guī)范作用，所以用戶通常要花大量時(shí)間調(diào)整提示（），還得搭配上額外的控制組件，才可以取得不錯(cuò)的效果。
就拿前文展示的日式便當(dāng)來(lái)說(shuō)：
如果用戶只輸入“一個(gè)裝有米飯、毛豆、生姜和壽司的便當(dāng)盒”，那就既沒(méi)描述哪種食物放到哪一格，也沒(méi)有說(shuō)明每種食物的外觀。但如果非要講清楚的話，用戶恐怕得寫一篇小作文了……
鑒于此，斯坦福團(tuán)隊(duì)決定從別的角度出發(fā)。
他們決定參考傳統(tǒng)思路，通過(guò)拼圖來(lái)生成最終圖像，并由此開發(fā)出了一種新的擴(kuò)散模型。
有意思的是，說(shuō)白了，這種模型也算是用經(jīng)典技術(shù)“拼”出來(lái)的。
首先是分層：使用基于圖層的圖像編輯UI，將源圖像分解成一個(gè)個(gè)RGBA圖層（R、G、B分別代表紅、綠、藍(lán)，A代表透明度），然后將這些圖層排列在畫布上，并把每個(gè)圖層和文字提示配對(duì)。
通過(guò)分層，可以修改圖像中的各種元素。
到目前為止，分層已經(jīng)是計(jì)算機(jī)圖形領(lǐng)域中一項(xiàng)成熟的技術(shù)，不過(guò)此前分層信息一般是作為單張圖片輸出結(jié)果使用的。
而在這種新型“拼圖擴(kuò)散模型”中，分層信息成了后續(xù)操作的輸入。
除了分層，還搭配了現(xiàn)有的基于擴(kuò)散的圖像協(xié)調(diào)技術(shù)，提升圖像視覺(jué)質(zhì)量。
總而言之，該算法不僅限制了對(duì)象的某些屬性（如視覺(jué)特征）的變化，同時(shí)允許屬性（方向、光照、透視、遮擋）發(fā)生改變。
——從而平衡了還原度和自然度之間的關(guān)系，生成“神似”且毫無(wú)違和感的圖片。
操作過(guò)程也很easy，在交互編輯模式下，用戶在幾分鐘內(nèi)就能創(chuàng)作一幅拼貼畫。
他們不僅可以自定義場(chǎng)景中的空間排列順序（就是把從別處扣出來(lái)的圖放到適當(dāng)?shù)奈恢茫贿€能調(diào)整生成圖像的各個(gè)組件。用同樣的源圖，可以得出不同的效果。
最右列是這個(gè)AI的輸出結(jié)果
而在非交互式模式下（即用戶不拼圖，直接把一堆小圖丟給AI），AI也能根據(jù)拿到的小圖，自動(dòng)拼出一張效果自然的大圖。
02、研究團(tuán)隊(duì)
最后，來(lái)說(shuō)說(shuō)背后的研究團(tuán)隊(duì)，他們是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的一群師生。
論文一作， 現(xiàn)為斯坦福計(jì)算機(jī)科學(xué)系研究生，還是碩博連讀的那種。
他的主要研究方向?yàn)椋河?jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)。
此外，論文的共同作者 Li，也是斯坦福計(jì)算機(jī)科學(xué)系研究生。
在校求學(xué)期間，他曾到英偉達(dá)實(shí)習(xí)4個(gè)月，與英偉達(dá)深度學(xué)習(xí)研究小組合作，參與訓(xùn)練了增加100M+參數(shù)的視覺(jué)轉(zhuǎn)換器模型。
【本文由投資界合作伙伴微信公眾號(hào)：量子位授權(quán)發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。】如有任何疑問(wèn)，請(qǐng)聯(lián)系（）投資界處理。
標(biāo)簽： AI拼圖技術(shù) 圖像生成 計(jì)算機(jī)視覺(jué) 斯坦福大學(xué) 擴(kuò)散模型
