Systeem maakt lip-gesynchroniseerde video van audioclips

Anonim

Systeem maakt lip-gesynchroniseerde video van audioclips

Wetenschap

Ben Coxworth

12 juli, 2017

Het systeem is getraind op uren toespraken van Barack Obama (Credit: Michael.worley)

Het is al mogelijk om een ​​digitale kopie van iemands stem te maken, zodat gebruikers een audiobestand van hen kunnen produceren met dingen die ze nooit hebben gezegd. Luisteraars kunnen echter nog steeds niet voor de gek gehouden worden, want er zijn geen beelden van de persoon die deze woorden uitspreekt. Goed .

Onderzoekers van de Universiteit van Washington hebben nu een systeem gemaakt dat audioclips omzet in video's met lipsynchronisatie van de luidspreker.

Om het systeem te laten werken, moet het ongeveer 14 uur aan bestaande beelden van de sprekende persoon analyseren - de onderzoekers hopen dit cijfer aanzienlijk te verlagen, misschien wel tot een uur. Gebruikmakend van een neuraal netwerk, leert het welke van hun mondvormen horen welke spraakklanken.

Wanneer het systeem vervolgens wordt voorzien van een "doelvideo " van de persoon (waarin ze over alles kunnen praten), samen met een audiobestand waarin ze de gewenste woorden spreken, koppelt het de twee samen. Dit gebeurt door de oorspronkelijke audio van de video te laten vervallen, deze te vervangen door de gewenste audio en door een met een computer geanimeerde versie van de mond van de spreker in de video in de mond te steken.

Het eindresultaat is dat mensen hen de gewenste woorden horen spreken en blijkbaar ook hun mond zien doen. Hoewel er zeker het potentieel voor verraad is, hebben de onderzoekers de technologie met andere gebruiken in het achterhoofd ontwikkeld.

"Realistische audio-naar-videoconversie heeft praktische toepassingen, zoals het verbeteren van videoconferenties voor vergaderingen, maar ook futuristische, zoals het kunnen vasthouden van een gesprek met een historische figuur in virtual reality door alleen audio te maken van beelden, " zegt assistent professor Ira Kemelmacher-Shlizerman. "Dit is het soort doorbraak dat deze volgende stappen mogelijk zal maken. "

U kunt het gebruikte systeem zien en horen in de volgende video.

Bron: Universiteit van Washington

Het systeem is getraind op uren toespraken van Barack Obama (Credit: Michael.worley)