Muziekvideo gebruikt om het algoritme voor computervisie te bouwen

Anonim

Muziekvideo gebruikt om het algoritme voor computervisie te bouwen

Goed bedacht

Ben Coxworth

20 mei 2011

2 afbeeldingen

Een interactieve muziekvideo wordt gebruikt om een ​​algoritme te ontwikkelen voor gebruik in visuele visies om lichaamshavens te herkennen
(Afbeelding: C-Mon & Kypski)

Hoewel het al is opgenomen in apparaten zoals de Microsoft Kinect-gameconsole, is het vermogen van computervisiesystemen om specifieke lichaamsposes te herkennen, nog steeds een werk in uitvoering. Een van de grote uitdagingen is de chaos die dergelijke systemen ondervinden in het echte leven - terwijl het een ding is om een ​​computer eerst te trainen om een ​​bepaalde persoon te herkennen die tegen een neutrale achtergrond staat, bijvoorbeeld, it 's iets heel anders om te verwachten dat het diezelfde houding zal herkennen in visuele gegevens waar variabelen zoals achtergrond, kleding en lichaamstype voortdurend veranderen. Een nieuwe interactieve videoclip van de Nederlandse elektronische band C-Mon & Kypski kan echter helpen om dat probleem aan te pakken.

De band nodigt mensen uit om naar de One Frame of Fame-website te gaan, waar ze een aantal freeze-frames van bandleden uit de video zullen krijgen voor het nummer Less is More . Deelnemers kunnen vervolgens hun webcam gebruiken om een ​​foto van zichzelf te maken, in dezelfde pose als het bandlid, en deze bij het project indienen. Deze snapshots worden in de video bewerkt en vervangen de originele frame die ze hebben gekopieerd, waarbij een nieuw bijgewerkte versie van de volledige video eenmaal per uur omhoog gaat.

Elk van de originele "seed " -frames geeft een bandlid weer tegen een blanco achtergrond, terwijl de meerdere ingediende imitaties van dat zaad een verscheidenheid aan mensen in verschillende instellingen weergeven - meestal met chaotische achtergronden. Het enige dat de zaden en hun verschillende imitaties gemeen hebben, is de houding van de menselijke subjecten.

Een team van het Courant Institute of Mathematical Sciences van New York University gebruikt deze visuele database om een ​​ "pose estimation " -algoritme te ontwikkelen voor gebruik in computerzichtsystemen. Het hebben van een eerste schoon basisbeeld van elke pose, gecombineerd met een verscheidenheid aan beelden van dezelfde pose geschoten onder verschillende omstandigheden, is ideaal voor het doel.

"Dit bleek de perfecte gegevensbron te zijn voor het ontwikkelen van een algoritme dat leert om gelijkenis te berekenen op basis van pose, " zei NYU-onderzoeker Graham Taylor. "Gewapend met de gegevens van de band en een paar machineleerlessen doorkruisen onze mouwen, hebben we een systeem gebouwd dat zeer effectief is in het matchen van mensen in een soortgelijke houding, maar onder sterk verschillende instellingen. "

Een interactieve muziekvideo wordt gebruikt om een ​​algoritme te ontwikkelen voor gebruik in visuele visies om lichaamshavens te herkennen
(Afbeelding: C-Mon & Kypski)

Een interactieve muziekvideo wordt gebruikt om een ​​algoritme te ontwikkelen voor gebruik in visuele visies om lichaamshavens te herkennen
(Afbeelding: C-Mon & Kypski)