Haptische technologie: de volgende grens in videogames, wearables, virtual reality en mobiele elektronica

Anonim

Haptische technologie: de volgende grens in videogames, wearables, virtual reality en mobiele elektronica

VRFeature

Richard Moss

16 januari 2015

15 afbeeldingen

De volgende grens in mens-computer interactie zal er alles aan doen om je de virtuele, digitale wereld te laten voelen alsof het echt en tastbaar is (Foto: David Brohede)

Tactiele feedback is niets nieuws. Het wordt al decennia lang gebruikt in telecommunicatie en entertainment en werd eind jaren negentig standaard in mobiele telefoons en videogames - waar trillingen je waarschuwen voor nieuwe berichten of je helpen de krachten te voelen die worden uitgeoefend op jouw avatar. Haptic-technologie was echter een beetje een speler op het gebied dat geïnfiltreerd is, en pas nu zien we dat het naast visuele en audio-technologie een belangrijke plaats inneemt in de interactie tussen mens en computer.

Smartwatches zoals de aankomende Apple Watch omarmen de haptiek om u van richting tot bocht te brengen. Onderzoekers experimenteren ondertussen met haptische signalen in het stuur van auto's voor meer veiligheid en met voelbare feedback in touchscreens en openbare kaarten voor meer natuurlijk aanvoelende interacties.

Met Haptics kunnen doofblinde mensen surfen op het web (dankzij Morse Code) of zelfs videogames spelen. In de speelruimte is haptiek een snel groeiend veld dankzij de opkomst van virtual reality en de wens van spelers om zich net zo visceraal te voelen als zij hun virtuele omgevingen zien en horen. Haptic-technologie helpt ook om de volgende generatie chirurgen op te leiden en het verbeteren van simulaties in de industriële sector voor piloten en grote machinebedieners.

De basis

Voordat we daar iets over beginnen, laten we een moment een stap terug doen en kijken naar wat haptische technologie is. In de meeste gevallen gebruikt het een soort motor, een actuator genoemd, om elektrische, hydraulische of pneumatische energie om te zetten in trillingen, die kunnen worden beheerd en geregeld door software die de duur, frequentie en amplitude bepaalt.

Het Nintendo 64 Rumble Pack introduceerde een massa gamingpubliek voor het idee van trillingen in een controller die het spel verbetert (Foto: Evan-Amos)

Smartphones gebruiken meestal haptische technologie voor waarschuwingen en meldingen, maar ook voor subtiele feedback terwijl u berichten typt of nummers kiest op hun touchscreens. Videogamecontrollers gebruiken de haptics nu op dezelfde manier als bijna twintig jaar geleden met het Nintendo 64 Rumble Pack en de PlayStation DualShock-gamepad - om een ​​tastbaarheid te geven, door je handen te voelen die de controller vastgrijpen, tot een explosie of een crash of een ruw oppervlak waar je overheen rijdt.

Maar er is nog veel meer dat haptics kunnen doen, zowel bij de lagere resoluties van feedback aangeboden door een Xbox- of PlayStation-controller (wat weinig meer is dan een aan / uit-schakelaar met dimmerbedieningen voor elk van hun twee actuators) en bij de hogere resoluties die de nieuwste haptische technologie kan bieden (waardoor feedback kan worden gelokaliseerd op specifieke coördinaten en zelfs op het nieuwste niveau, afhankelijk van hoe hard u op het oppervlak drukt).

Haptics lijken de volgende grote stap te zijn in onze interacties met de digitale wereld. We kunnen surround-geluidseffecten omzetten in een hoofdtelefoon en audio opnemen op high fidelity met onze smartphones, en we kunnen aanraken en knijpen en zoomen in de buurt van alles wat op een scherm verschijnt. Maar het voelt allemaal plat en levenloos omdat we zo weinig moeite hebben gedaan om het allesbehalve dat te maken. Het menselijk lichaam heeft een zeer geavanceerd vermogen om texturen en trillingen en pokes en allerlei andere externe krachten die de receptoren in ons somatosensorische systeem gebruiken, te herkennen en erop te reageren.

Het verbeteren van de tactiele feedback in consumententechnologie zal cruciaal zijn naarmate we onze pogingen voortzetten om de kloof te overbruggen tussen al het fysieke en tastbare en alles wat digitaal en virtueel is. Onder degenen die proberen de mogelijkheid te verkennen, is Mathias Nordvall, een cognitief wetenschapper en gameontwerper aan de Linköping Universiteit in Zweden.

Sightlence en haptische Pong

"Veel van de hedendaagse cultuur is visueel of op audio gebaseerd, " merkt Nordvall op. "Je gaat naar een concert of je luistert naar de radio of gaat naar de bioscoop. " En als je een van die zintuigen mist, compenseer je met de andere. Overwegend visuele interfaces zoals surfen op het web worden aangeboden aan visueel gehandicapten via schermlezers die de tekst op een pagina uitspreken, terwijl tv-programma's en films kunnen worden bekeken met gesloten bijschriften voor slechthorenden.

Op een dag vroeg Nordvall zich af: "Wat gebeurt er als je geen toegang hebt tot een van beide? ". Hoe kunnen doofblinde mensen (mensen met weinig of geen zicht en weinig of geen gehoor) omgaan met de moderne wereld? Veel van degenen aan het eind van het doofblindenspectrum hebben nooit kunnen genieten van televisie, internet of videogames. Dus Nordvall ging op onderzoek uit om een ​​videospel te maken dat "s " volledig en alleen "gebaseerd is op haptische technologie - een spel dat helemaal geen gebruik maakt van afbeeldingen of audio.

Hij probeerde het goedkoop te doen, gebruikmakend van goedkope, kant-en-klare consumententechnologie, en snel genoegen te nemen met Xbox 360-controllers, die twee motoren hebben (en, merkt Nordvall op, innerlijke werking die bijna identiek is aan het Nintendo 64 rumble pack uitgebracht een decennium eerder, met uitzondering van de toevoeging van een tweede actuator). En na enig nadenken besloot hij om een ​​bestaand spel, Pong, te vertalen, omdat dat zou garanderen dat eventuele problemen om te spelen het gevolg zijn van fouten in de gebruikersinterface en niet in de regelset van het spel.

Het resultaat voelt helemaal niet zoals Pong, of in ieder geval niet in het begin. Spelers houden één Xbox 360-controller in hun handen, met de beweging van de paddle in kaart gebracht op een van de joysticks, en ze plaatsen een seconde op schoot of ergens anders op hun lichaam. Trillingen in elk van de controllers geven aan waar de bal zich bevindt volgens de volgende regels:

  • De gamepad in uw handen zal een stabiele zwakke trilling hebben als de bal zich boven uw paddle bevindt, een sterke trilling als de bal onder staat en geen trillingen als deze zich op dezelfde hoogte bevinden
  • De gamepad in je schoot zal geleidelijk sneller trillen als de bal naar je peddel beweegt en langzamer naarmate hij verder beweegt
  • De ene of de andere gamepad pulseert bij een botsing met de wanden of paddles, afhankelijk van wat de bal weerkaatst

Het kostte mijn vriendin en ik ongeveer een half uur om het spel onder de knie te krijgen, aangezien we eerst begonnen met de visuele en geluidsbestuurders ingeschakeld en daarna geleidelijk onze weg baanden naar het spelen met alleen haptiek. Dat zegt Nordvall over standaard. "Wanneer we mensen erop testen, is het in het begin erg moeilijk, " vertelt hij aan Gizmag. "Maar na ongeveer 20-25 minuten klikt er iets in je hoofd en begin je je te realiseren dat 'Oh wacht, dit signaal is eigenlijk helemaal niet hetzelfde als dit andere signaal dat ik ook voel. ' Dus jij kan die beginnen te plagen. "

In zijn pure staat heeft haptische Pong geen visuele of auditieve hulpmiddelen en een scherm dat helemaal leeg is maar voor de partituur (Afbeelding: Mathias Nordvall)

Nordvall vergelijkt de pulsen met een taal. "Die pulsen waarvan je denkt dat ze heel weinig overeenkomen met een bal die terugspringt van een peddel of een bal die echt naar je toe komt, " zegt hij. "In die zin gaat het meer om een ​​semantische taal, hier is een willekeurig signaal dat betekent dat de bal naar je toe komt, net zoals het willekeurig is dat we 'cat ' cat spellen in de Engels, maar als je het op een stuk papier opschrijft en het aan iemand laat zien, kunnen ze je begrijpen. "

Videogamecontrollers komen in verband met een taal van spel en interactie die gamers al meer dan 30 jaar ontwikkelen en mensen die in die periode games hebben gespeeld, kunnen de taal relatief gemakkelijk leren. Maar haptische interfaces hebben nog geen enkele standaardinterface (s) en er is niet veel geëxperimenteerd met het idee er een te maken. Ga naar Sightlence.

Een screenshot van de bètaversie van Sightlence, een eenvoudige haptische editor bedoeld voor het eenvoudig maken van haptische signalen voor gebruik in apps en games voor elk apparaat (Afbeelding: Mathias Nordvall)

Als een verlengstuk van de haptische Pong- game hebben Nordvall en zijn collega's Sightlence, een haptische editor, gebouwd die binnenkort beschikbaar zal zijn en bedoeld is om het voor iedereen gemakkelijker te maken om haptische outputsignalen voor games en andere software te ontwerpen. Nordvall vergelijkt het met een werkstation voor digitale audio dat niet bedoeld is om muziek te maken, maar eerder voor haptiek. Je hebt vakjes voor individuele signalen en "monsters " die je kunt maken of importeren en vervolgens kunt mixen en matchen, en dan kies je waar het signaal naartoe gaat - een Xbox-gamepad of een Android- of iOS-apparaat, of misschien een aangepast apparaat dat je hebt jezelf gebouwd. De editor is gebaseerd op plug-ins, dus zelfs als er geen out-of-the-box-ondersteuning is voor een apparaat, kunt u een nieuw plug-in stuurprogramma schrijven en in het hulpprogramma springen.

Het idee is dat Sightlence de tools biedt voor ontwikkelaars om een ​​soort steiger voor haptische interfaces te ontwikkelen. "We zijn helemaal niet gewend om haptische interfaces te gebruiken, " legt Nordvall uit. "Vooral niet voor informatie die alleen wordt overgebracht door de haptiek en niets anders. "

Haptische groei

De haptische redacteur van Nordvall zou de ontwikkeling van nieuwe haptische ervaringen kunnen helpen versnellen - van haptische "talen " - waar op dit moment een grote interesse bestaat op drie verschillende fronten: virtual reality, wearable computing en touchscreen-technologie.

De Oculus Rift helpt bij het stimuleren van onderzoek en ontwikkeling in de haptiek als onderdeel van een goudkoorts voor totale onderdompeling in de VR

Sightlence kan niet veel helpen met virtual reality, dat op de een of andere manier meer neigt naar simulatie en dus baat zou kunnen hebben bij directe vertaling van geregistreerde real-world krachten in haptische signalen. Maar wearables en touchscreens zullen abstracter moeten zijn in hun gebruik van de technologie, en dat lijkt heel geschikt voor een haptische editor waarmee je kunt tikken of signalen kunt tekenen en ze naar hartelust kunt aanpassen.

Apple prijst zijn aankomende horloge als komt met een Taptic Engine die tactiele sensaties op je pols biedt die "herkenbaar verschillend zijn voor elke soort interactie." Het zal, volgens de documentatie, gebruikers toestaan ​​om elkaar hun hartslagen te sturen zoals gemeten door de hartslagsensor en misschien andere aangepaste haptische signalen. Het horloge begeleidt u ook in de juiste richting met een zachte zoem wanneer u aan het navigeren bent. Andere smartwatches en hun arrays van apps proberen soortgelijke dingen, en naarmate nieuwe soorten wearables verschijnen, zullen we waarschijnlijk zien dat haptics een sleutelrol spelen in de manier waarop we omgaan met de technologie die we met ons meedragen.

Vooral nu ook dat schermen verbeterde haptische technologie krijgen. Slimme technieken, zoals een techniek waarbij vloeistof in vooraf afgesproken tactiele pixels wordt geduwd, kunnen het gevoel geven dat op fysieke knoppen wordt gedrukt. Fujitsu toonde vorig jaar prototypes voor haptic-enhanced tablets die nog verder gaan, en biedt gebruikers een gevoel van textuur onder hun vingers door ultrasone trillingen van verschillende frequenties en amplituden.

In de virtual reality-ruimte zou haptische technologie het ontbrekende puzzelstukje kunnen zijn dat mensen als Oculus Rift en Sony's Project Morpheus naar de mainstream drijft. Het probleem is dat de virtuele realiteit er nu zo uitziet en zo levensecht klinkt dat je instinctief voelt alsof je fysiek in de virtuele ruimte bent, en dat betekent dat je dingen wilt aanraken en voelen dat dingen je raken. Maar zonder haptiek (of heel veel rekwisieten en een zorgvuldige planning), is geen van beide mogelijk.

Dat is waarom er een wapenwedloop in het veld is. Controle VR en PrioVR, onder andere, volgen uw handen en vingers of het hele lichaam in realtime, waarbij in de meeste van hen geleidelijk haptische feedback wordt verkend.

Anderen maken zich geen zorgen over het volgen van bewegingen en richten zich alleen op de haptiek. Met KOR-FX voel je elke virtuele impact - groot of klein - in je borst, terwijl explosies door je heen lijken te blazen, motoren diep onder je huid rommelen en je iets voelt dat lijkt op de echte g-kracht van je auto of ruimteschip draaien.

Anderen bieden nog steeds motion-getrainde rekwisieten met ingebouwde haptische feedback, zoals met het Striker Virtual Recoil rifle of Tactical Haptics Reactive Grip-apparaat.

Het KOR-FX haptic vest van Immerz geeft games en films een veel grotere stoot, vooral in combinatie met een virtual reality-headset

En dit gaat zelfs niet in op de dure, speciaal ontworpen haptische gereedschappen die worden gebruikt in industriële, medische en militaire simulaties. Chirurgen trainen of opereren op afstand met een 3D-bril en haptische instrumenten, soldaten proeven van gevechten met nepgeweren met realistische terugslag en vesten, niet zoals KOR-FX, terwijl piloten en mijnmachinetechnici ook voelbare feedback krijgen van hun trainingsprogramma's.

Een levendige toekomst

In al deze toepassingen van haptische technologie, suggereert Nordvall dat de sleutel is dat tactiele feedback wordt gebruikt om een ​​ervaring te verbeteren (om het gevoeliger of bevredigender te maken, zoals subtiele trillingen op een virtueel toetsenbord of pulsen wanneer uw virtuele auto tegen een muur) of om elementen van de interface volledig te vervangen, zodat de informatiehaptieken niet beschikbaar zijn via de soundscape of visueel op het scherm.

In een videogame, bijvoorbeeld, "zou je wat vibratie kunnen hebben die je vertelt welke kant het noorden is, zodat je niet altijd naar een minikaart hoeft te kijken, " zegt Nordvall. Geen van beide methoden is volledig onderzocht, en de laatste is vooral rijp voor aandacht. Je zou ervaringen kunnen hebben die alleen mogelijk zijn met haptiek, suggereert Nordvall, of bestaande uit te vinden, zoals het spel van Pong of misschien navigeren door een doolhof.

Met recent onderzoek dat zowel nieuwe vormen van haptische feedback produceert (net vorige maand rapporteerde Gizmag over holografische objecten die gezien en gevoeld kunnen worden) als geavanceerdere tactiele displays en 3D-kaarten, lijkt de toekomst van de haptiek alleen beperkt door onze verbeeldingskracht. De technologie rijpt snel en maakt zijn weg naar de massamarkt op een schaal die de aandacht van de ontwikkelaar verdient. Nu moeten de interfaces die het toepassen de achterstand inhalen.

De volgende grens in mens-computer interactie zal er alles aan doen om je de virtuele, digitale wereld te laten voelen alsof het echt en tastbaar is (Foto: David Brohede)

Een screenshot van de bètaversie van Sightlence, een eenvoudige haptische editor bedoeld voor het eenvoudig maken van haptische signalen voor gebruik in apps en games voor elk apparaat (Afbeelding: Mathias Nordvall)

Mathias Nordvall bereidt zich voor om een ​​vroege versie van het haptische Pong- spel te demonstreren op de Game Developers Conference 2012 Experimental Gameplay Workshop (Foto: Rami Ismail)

De theorie en ontwerpstroom van haptische Pong, zoals gepresenteerd door Nordvall tijdens de 2013 Game Developers Conference (Afbeelding: Mathias Nordvall)

Het haptische Pong- spel kan met volledige afbeeldingen worden gespeeld, waarbij zowel de peddels als de bal worden weergegeven (Afbeelding: Mathias Nordvall)

... of met beide paddles, maar een onzichtbare bal (Afbeelding: Mathias Nordvall)

In zijn pure staat heeft haptische Pong geen visuele of auditieve hulpmiddelen en een scherm dat helemaal leeg is maar voor de partituur (Afbeelding: Mathias Nordvall)

Twee mensen spelen haptische Pong (foto: Xavier V Stamps-Lafont)

Sightlence co-creator Mathias Nordvall (Foto: David Brohede)

Het Sightlence haptische Pong- spel bevat audio-visuele tutorials om geobserveerde spelers te helpen zich aan te passen aan de ongewone ontwerpmodaliteit (Afbeelding: Mathias Nordvall)

De aankomende Apple Watch bevat een lineaire actuator die belooft haptische sensaties van verschillende soorten en op verschillende plaatsen te bieden, afhankelijk van de context

Het KOR-FX haptic vest van Immerz geeft games en films een veel grotere stoot, vooral in combinatie met een virtual reality-headset

De Oculus Rift helpt bij het stimuleren van onderzoek en ontwikkeling in de haptiek als onderdeel van een goudkoorts voor totale onderdompeling in de VR

Fujitsu's prototype haptische sensorische tabletten gebruiken echografie om de illusie van een gestructureerd oppervlak te creëren

Het Nintendo 64 Rumble Pack introduceerde een massa gamingpubliek voor het idee van trillingen in een controller die het spel verbetert (Foto: Evan-Amos)