曾經(jīng)在網(wǎng)上購買地毯或布料，希望你能說出它在現(xiàn)實(shí)生活中的樣子嗎?感謝麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(csail)和法國(guó)inria sophia antipolis的研究人員，您距離能夠體驗(yàn)到這一點(diǎn)還有一步之遙。

今天在溫哥華舉行的2018年siggraph會(huì)議期間，該團(tuán)隊(duì)聯(lián)合推出了“單圖像svbrdf捕獲與渲染感知深度網(wǎng)絡(luò)”，這是一種提取照片中材料的紋理，高光和陰影并以數(shù)字方式重建環(huán)境照明的方法。反射。

研究人員寫道：“[v]正在暗示......允許人類在單張圖片中感知物質(zhì)外觀。” “然而，恢復(fù)空間變化的雙向反射分布函數(shù) - 定義光在不透明表面上如何反射的四個(gè)變量的功能 - 來自基于此類線索的單個(gè)圖像已經(jīng)對(duì)計(jì)算機(jī)圖形學(xué)的研究人員提出了數(shù)十年的挑戰(zhàn)。我們通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來自動(dòng)提取和理解這些視覺線索來解決[問題]。“

研究人員從樣本開始 - 很多樣本。他們采購了800多種“藝術(shù)家創(chuàng)作”材料的數(shù)據(jù)集，最終從九個(gè)不同的類別(油漆，塑料，皮革，金屬，木材，織物，石頭，瓷磚，地面)中選擇了155個(gè)“高品質(zhì)”套裝，在預(yù)留了大約十幾個(gè)用作測(cè)試裝置之后，將它們渲染在虛擬場(chǎng)景中，以模仿手機(jī)攝像頭的視野(50度)和閃光燈。

然而，僅僅訓(xùn)練機(jī)器學(xué)習(xí)模型是不夠的，因此為了放大材料數(shù)據(jù)集，研究人員使用了40個(gè)cpu的集群來混合和隨機(jī)化他們的參數(shù)。最終，他們產(chǎn)生了20萬個(gè)逼真陰影，“廣泛多樣化”的材料。

下一步是模型培訓(xùn)。該團(tuán)隊(duì)設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò) - 一種機(jī)器學(xué)習(xí)算法，大致模擬視覺皮層中神經(jīng)元的排列 - 預(yù)測(cè)對(duì)應(yīng)于每像素法線的四個(gè)光照?qǐng)D(渲染圖像上每個(gè)像素的照度值)，漫反射反照率(由表面反射的漫射光)，鏡面反照率(光波的鏡像反射)和鏡面粗糙度(反射的“光澤度”)。

為了最小化地圖值之間的可變性，他們制定了一個(gè)“相似性度量”，將預(yù)測(cè)地圖的渲染與地面實(shí)況測(cè)量的渲染進(jìn)行比較。為了確保輸出圖像的一致性，他們引入了第二種機(jī)器學(xué)習(xí)模型，它將從每個(gè)像素提取的全局照明(即從表面反射的光)與本地信息相結(jié)合 - 促進(jìn)研究人員寫道，“來回反復(fù)在遙遠(yuǎn)的圖像區(qū)域之間交換信息。“

他們對(duì)網(wǎng)絡(luò)進(jìn)行了400,000次迭代訓(xùn)練，并為其拍攝了350張用iphone se和nexus 5x拍攝的照片，這些照片被裁剪為接近訓(xùn)練數(shù)據(jù)的視野。結(jié)果?該模型表現(xiàn)相當(dāng)不錯(cuò)，成功地再現(xiàn)了金屬，塑料，木材，油漆和其他材料上的光的真實(shí)反射。

不幸的是，它并非沒有它的局限性。硬件限制將其限制為256 x 256像素的圖像，并且它難以再現(xiàn)低動(dòng)態(tài)范圍的照片的光照和反射。盡管如此，該團(tuán)隊(duì)仍然注意到它很好地概括為真實(shí)的照片，并且如果不出意外的話，就表明“可以訓(xùn)練單個(gè)網(wǎng)絡(luò)來處理各種各樣的材料”。