Nvidias AI skapar naturtrogna ansiktsanimationer utifrån tal

Nvidias AI-baserade ansiktsanimationsteknik här kombinerad med Remedys spelmotor Northlight.

Den snabba utvecklingen inom AI gör att det snart kommer finnas helt digitala skådespelare där både ansiktsanimationer och röster har skapats i en dator. Ett av de första tillämpningsområdena för denna teknik blir förmodligen i dialogdrivna datorspel.

Nvidia har i samarbete med spelutvecklaren Remedy, som ligger bakom spel som Max Payne, Alan Wake och Quantum Break, utvecklat en AI som via ett DNN (Deep Neural Network) i realtid kan skapa naturtrogna ansiktsanimationer i 3D utifrån inspelat tal. DNN-nätverket tränas först upp via endast 3-5 minuters högkvalitativa videoinspelningar, via nio HD-kameror, av en talande människas ansikte. AI:n kan utifrån denna data generalisera för att lista ut ansiktsanimationerna för ytterligare ord. Tekniken visade sig fungera inte bara för den aktuella skådespelaren som videofilmades utan gav, enligt Nvidia, rimliga resultat även när röster från personer med olika kön, accent eller språk användes.

Det går även att ange i vilket känsloläge det animerade ansiktet sedan ska läsa upp talet. Inte nog med detta, genom att kombinera denna teknik med DeepMinds WaveNet, som kan generera mycket naturtroget tal utifrån text, kan man få både tal och ansiktsanimationer helt digitalt genererade, utan behov av mänskliga skådespelare.

Denna typ av AI-teknik, som Nvidia visade upp under SIGGRAPH 2017 i samarbete med Remedy och deras Northlight-spelmotor, har en rad potentiella användningsområden, inte minst inom datorspel. Där skulle tekniken kunna användas för att skapa realistiska ansiktsanimationer hos virtuella karaktärer utan att spelutvecklarna behöver ägna en stor del av sin tid åt detta. Andra tillämpningsområden som Nvidia tar upp är VR-avatarer, telenärvaro och för billig lokalisering.

Nvidia