AI skapar fiktiva gatuvybilder utifrån minnesbilder av verkliga gator

Kisar man med ögonen kan bilden ovan se ut som ett foto från en bils vindrutekamera taget någonstans i Tyskland. Men gatukorsningen existerar inte i verkligheten utan är genererad av en AI utifrån tusentals foton av riktiga gator.

Det är forskare från Intel som i samarbete med Stanford University har utvecklat en metod för att via ett neuralt nätverk skapa helt artificiella gatuvyer som blir nästan fotorealistiska. AI:n har först tränats upp på tusentals fotografier av existerande gator i Tyskland där de olika delarna av bilden har märkts ut med etiketter som t.ex. ”bil”, ”väg” och ”träd”. Därefter utgår AI:n från en förenklad semantisk 2D-layout utan texturer där man etiketterat på samma vis.

Layoutbilderna påminner om ”färglägg efter siffror”-bilderna som finns i målarböcker för barn där man ska fylla i en viss färg i ett fält beroende på vilken siffra som står i fältet. AI:n fyller sedan på egen hand i dessa enfärgade ytor utifrån minnesbilder av de verkliga gatorna och resultatet blir förbluffande realistiska bilder av icke-existerande gator i en upplösning på 2 megapixel.

Qifeng Chen vid Stanford och Intel säger till New Scientist att denna teknik så småningom kan komma att användas för att skapa spelvärldar som liknar den verkliga världen. Faktum är att han redan har experimenterat med sin algoritm för att skapa fiktiva världar utifrån grafiken i GTA V, som är tillräckligt realistisk.

New Scientist har även talat med Noah Snavely vid Cornell University i New York, som är imponerad. Han säger att det är svårt att skapa artificiella scener som ser realistiska ut och att Chens system skapar de största och mest detaljerade exemplen i sitt slag. Han säger vidare att tekniken skulle kunna tillåta människor att beskriva en värld och sedan låta en AI skapa denna värld i virtuell verklighet (VR).

Chen säger att hans system fortfarande har lång väg kvar innan det kan skapa fullständigt fotorealistiska världar. De bilder som AI:n i dagsläget skapar ser ut som om man kört ett riktigt foto genom något bildbehandlingsfilter och har ett lite drömliknande utseende. Han arbetar dock redan på en förbättrad version av systemet som han hoppas kommer kunna producera mer detaljerade bilder.

Intels forskare kommer presentera sitt arbete under detta års International Conference on Computer Vision (ICCV 2017) i Venedig den 22-29 oktober.

New Scientist, ArXiv