Hoe werkt Project Natal eigenlijk als je een arm mist?



Onlangs heeft Microsoft op de CES in Las Vegas onthuld wanneer Project Natal, nog steeds een werktitel, uit zal komen: met de feestdagen van dit jaar. De camera van Natal biedt de mogelijkheid om bewegingen van een mens binnen een driedimensionale omgeving te herkennen. Zo kun je echt karate doen, een auto besturen of een schitterende strafschop scoren. Microsoft heeft nu een nieuwe video getoond waarin men iets beter laat zien hoe Natal werkt. Interessant natuurlijk, maar het filmpje roept wel vragen op.

De nieuwe revolutie

Project Natal lijkt het menselijk lichaam te herkennen. Op de bekende scharnierpunten van het menselijk lichaam - knieën, schouders, ellebogen, je kent ze wel - worden in de promotievideo bolletjes getoond. Dit zijn de herkenningspunten waarmee Natal bewegingen registreert.

Project Natal herkent het gehele lichaam, maar voor sommige games is het mogelijk om alleen gebruik te maken van bijvoorbeeld de armen of benen. Zo zou het mogelijk moeten zijn om te gooien, maar ook om te voetballen. Microsoft is natuurlijk positief en ziet hierin een nieuwe toekomst voor de gameindustrie. Bekijk het filmpje hieronder, dat een paar minuten duurt.

Hoe werkt Natal?

Op de website Popular Science staat een uitgebreid artikel over de werking van Natal. Ik zal het even samenvatten. De belangrijkste uitdaging voor de makers is dat Natal niet alleen de speler moet filmen, maar ook moet ‘begrijpen’ wat hij ziet. De slimmigheid zit hem in de software. Die is er niet vanzelf in terecht gekomen, maar door er ontzettend veel foto’s in te stoppen.

Om de software daadwerkelijk de verschillende lichaamsdelen van elkaar te laten scheiden, heeft Microsoft heel veel mensen voor een camera gezet en ze laten bewegen zoals ze dat normaal ook doen. Daarna zijn de programmeurs als een stelletje typemiepen frame voor frame alle lichaamsdelen gaan aanduiden.

Project Natal

Eén frame berekenen: detecteren, meten, herkennen, calibreren en tonen. Dit alles 30 keer per seconde. (Bron:

De derde stap is het creëren van het skelet, wederom op basis van ervaringen. Daarna volgt een driedimensionale representatie van de speler - en dit hele proces doorloopt Natal 30 keer per seconde. Meer informatie over de technologie vind je overigens in de artikelen van Prof. Andrew Blake, een onderzoeker bij Microsoft.

Die terabytes aan data worden dus gebruikt om een model van het menselijk lichaam op te bouwen, maar hoe herkent Natal nou jouw bewegingen? De eerste stap is het bepalen van de afstand tussen de verschillende onderdelen van je lichaam. Vervolgens kijkt Natal, op basis van al zijn ervaringen, welk deel wat is. In de bijgaande afbeelding zijn de rode punten de linkerschouder en -knie, en de blauwe de rechter. Als Natal twijfelt, worden de punten vager en kleiner.

Invalide

Project Natal moet dus je gehele lichaam herkennen om de verschillende onderdelen en bewegingen te interpreteren. Maar hoe kan Natal je armen herkennen op het moment dat je een arm mist? Wat nu, als je je gebroken arm in een mitella draagt? Of je zit in een rolstoel, hoe moet Natal dan je benen herkennen? Betekent het dat je als minder valide persoon beperkt wordt? Helaas was Mischa Claessens van Microsoft Benelux niet in staat om duidelijkheid te bieden rond dit vraagstuk.

Claessens stelt: “Uiteindelijk gaat het er bij Natal om elke consument een zo goed mogelijke gebruikservaring te bieden. Persoonlijk verwacht ik dat Natal juist problemen voor minder valide personen kan verlichten of oplossen.” Claessens verwacht dus dat Natal in staat zal zijn om het onderscheid te maken tussen een persoon met twee armen en een persoon met één arm. Maar is dat technisch haalbaar? Woody Hennekam van Lionhead Studios stelt dat ik vooral geduld moet hebben en moet wachten op de persberichten.

In potentie is Natal een ware revolutie, maar als je denkt aan gamen zonder controller zouden het juist de minder mobielen moeten zijn die hiervan profiteren. Op basis van de beschrijving van de werking, word ik toch een beetje bang. Bang dat Project Natal problemen oplevert voor mensen die tijdelijk, of permanent, invalide zijn.

In de komende maanden zal er nog genoeg informatie beschikbaar komen over Project Natal; laten we hopen dat het positief zal zijn voor iedereen die interesse heeft in deze nieuwe vorm van interactie tussen mens en technologie.

15 reacties

  1. Rogier Kahlmann · 21-1-2010 · 16.19 uur

    Wat moeten mensen die een arm missen met een 360? De gamepad, een oneindig succesvoller en meer mainstream apparaat is veel onvriendelijker voor de minder valide. Die paar Natal spellen (die ongetwijfeld zullen zuigen) kunnen ze in dat licht ook wel missen.

  2. Wormpaul · 21-1-2010 · 16.29 uur

    Elke keer als ik een filmpje zie van Natal ben ik toch verscheurd door twijfel, het ziet er zo goed uit, lijkt me zo ongelooflijk gaaf wat er mogelijk is en is vooral zo leuk om te doen….

    Maar toch kan `t niet goed werken ben ik bang, teveel restricties, teveel onbekend (vooralsnog) en vooral; teveel kans op een besturing die aardig werkt, nieuw is maar in alle opzichten een prototype dat de potentie niet ten volle benut en we toch zitten met halfslachtige (party) games die eigenlijk alleen leuk voor een avond vermaak met vrienden is.

    Over jouw artikel;

    Geniale titel, leuke invalshoek (geen moment bij stil gestaan) en absoluut een eye opener voor mij ondanks dat je meer vragen oproept dan ze beantwoord.

    Als je hier meer van weet zie ik graag een vervolg van dit artikel, dan met nieuwe inzichten en hoe ze dat gaan inpassen in de huidige (totaal niet geschikt voor mensen met lichamelijke beperking) markt van de video games besturingen.

  3. Thymon AW · 21-1-2010 · 17.02 uur

    @ Rogier: ik heb weleens een fragment gezien van iemand die een arm (en een hand, of een deel ervan) miste en vol fun aan het genieten was van een Wii game. De Wii-afstandsbediening vastgemaakt met een riem aan deze “gamer”, die anders niet gamen kon, en een gevoel uitstraalde van “Kijk mama ik kan gamen!!”. Als dat je niet raakt…

    @ Wormpaul: er zijn toch wel enkele games die met een knop werken of een touchscreen waar je met gebreken aan een van je handen (of armen) toch ook nog mee kan gamen? Wel een beetje raar, maar toch waar.

  4. Nick Kivits · 21-1-2010 · 17.14 uur

    Leuke invalshoek, maar het duurt wel laat tot ik daar iets van teruglees. Had de eerste helft van het stuk wel kunnen skippen. Ik was zelf toch begonnen met het nieuws ipv de dingen te vertellen die we eigenlijk allemaal al wel wisten.
    Verder ben ik heel benieuwd of het inderdaad technisch haalbaar is. We shall see.

  5. Robert Hoogendoorn · 21-1-2010 · 17.25 uur

    @Wormpaul - mee eens, ik hoopte die vragen ook beantwoord te krijgen van Microsoft en Lionhead. Maar zij hielden hun mondje dicht. Hierdoor is dit, zoals jullie in de reacties al aangeven, een ‘eyeopener’ geworden.

    @Thymon - mooie anekdote van die Wii-gamer

    Het toeval wil, en dat had ik eigenlijk in dit artikel moeten verwerken, dat er ooit echt iemand naar mij toegekomen is met de vraag welke games hij met zijn ene arm kon spelen. Op dat moment kwam ik helaas niet verder dan Rail-Shooters en tennis/bowling (op Wii natuurlijk).

    @Rogier - het feit dat die mensen niet de volledige functionaliteit van een Xbox 360-controller kunnen benutten, betekent niet dat zij dat niet willen. Iets als Natal is natuurlijk op papier goed nieuws voor die lui, en Microsoft heeft zelf aangegeven dat ze gewoon topkwaliteit games en XBLA-games willen voorzien van Natal. Om iets meteen af te schrijven als troep vind ik overigens ook wel weer heel erg Nederlands. “Wat de boer niet kent…”

  6. Rogier Kahlmann · 21-1-2010 · 17.31 uur

    Ik heb een sensorbar op mijn TV en een Eyetoy eronder. Beide onder het stof. Deze boer is cynisch geworden.

  7. Wormpaul · 21-1-2010 · 20.26 uur

    @ Robert;

    Snelle games die ik nog kan bedenken op de Wii;

    Monkeyball (balanceren met 1 hand, mogelijk maar tricky)

    Excite Truck (Gas geven, balanceren met 1 hand..is dat uberhaupt mogelijk?)

    Bloom Box (nooit gespeeld, maar volgens mij kan dat met 1 hand toch?)

  8. RonaldG · 21-1-2010 · 22.36 uur

    Dit is toch nog steeds gewoon Eyetoy in een iets hipper jasje? We gaan straks toch niet met z’n allen als idioten ballen tegenhouden en het ook echt leuk vinden?

  9. Bladieboe · 22-1-2010 · 4.01 uur

    Tuurlijk gaan wij het allemaal leuk vinden, en gaan we het allemaal kopen. Want zo zijn we…er komt iets nieuws en iedereen moet het hebben want het is iets nieuws, iets verrassend.
    Al zal ik het alleen op me werk spelen, zal het wel kopen, want ik ben gewoon heel erg benieuwd hoe het allemaal werkt enzo.

  10. Robert Hoogendoorn · 22-1-2010 · 9.53 uur

    @Wormpaul - SMB is praktisch onmogelijk denk ik, idem. voor Excite Truck. Boom Blox is wel een geweldig voorbeeld (erg leuke game ook!).

    @RonaldG - EyeToy kon alleen bewegingen herkennen, en daarmee bedoel ik kleurveranderingen in het beeld. Die ‘herkent’ niets, die ziet alleen maar. Bovendien kunnen er bij de EyeToy niet echt goed bewegingen met diepte herkend worden. Het idee (gamen via camera) is wel hetzelfde, maar Natal is veel geavanceerder.

  11. Ruud · 22-1-2010 · 10.45 uur

    Moet je eens vragen om een gehandicapte te laten werken met een Nintendo DS of PSP….. of met een traditionele PS3 of xbox360 game.
    Gaat ook voor geen meter.

    Een nieuwe besturing betekent niet per definitie een vergroting van je mogelijke doelgroep.

    Tevens moet er ergens een grens gesteld worden aan apparatuur, wil het betaalbaar blijven.

  12. Thymon AW · 22-1-2010 · 15.09 uur

    @ Wormpaul & @ Robert:
    Er zijn zoveel mogelijkheden die Wii Play al laat zien (schieten, richten en klikken, kantelen, draaien) waar deze mensen al snel gelukkig van kunnen worden. Ze zouden dingen als World of Goo kunnen proberen. Daarbij vind ik Cubello overigens ook een leuke uitdaging voor deze mensen (wanneer ze vaardiger worden met Wii-gaming).

    @ RonaldG & @ Robert:
    Ik meen dat er ook “herkenning” in zat in de trend van handgebaren, aantal vingers opsteken (net als in het leger), maar er zou ook sprake zijn van gesproken commando’s en spraakherkenning?

    @ Ruud:
    Deze mensen zouden ook problemen hebben met RPG’s of alles wat maar turned-based of menu-based is?
    Zie je niet in dat deze besturing nieuwe doelgroepen aan kan maken?
    Natuurlijk moeten er grenzen gesteld moeten worden, alles kan duur zijn bij introductie maar eens moet het beginnen wil je iets bereiken.

  13. sven · 22-1-2010 · 20.40 uur

    Ik wil eerst even reageren op het filmpje.

    Ik wordt zo moe van al die mtv-stijl, niet in de camera kijken, schuin in beeld brengen, en dat 30 keer per minuut-achtige techniek. Wordt ik te oud voor deze shit? Ik wil gewoon de informatie, niks kopen nog!

    Maar dan even inhoudelijk over dit artikel. Een interessant gegeven om eens stil te staan bij een minder valide persoon die wil gaan natallen.

    Ik denk zelf dat dit wel werkt. Je zegt het zelf al in het artikel. Als natal twijfelt wordt het puntje minder dik. Hij herkent 3/4 van het lichaam behalve die ene arm. Hij zal dus wel degelijk weten dat er een mens staat van een bepaalde grootte op een bepaalde afstand.

    Het is alleen even de vraag wat voor spellen je hierbij voorstelt? Dat moet dan eigenlijk al een spel worden waarbij je dan die ene arm, die je niet hebt, niet nodig zult hebben. Oftewel, de techniek laat het wel toe, de games zelf waarschijnlijk niet.

    Dus voor iemand zonder benen zit er niks ander op dan een spelletje pokeren en voor die mensen zonder handen een potje koekhappen of sympathie winnen bij Milo.

  14. Jos Bouman · 24-1-2010 · 15.29 uur

    Bij die dame op 1:30 zie je duidelijk lag. Ben ik allergisch voor.

  15. Robert Hoogendoorn · 25-1-2010 · 10.24 uur

    @Thymon
    Spreekherkenning moet te doen zijn, persoonlijk vond ik die matige Ubisoft strategiegame al aardig werken (naam vergeten). Vingers zou wel eens lastig kunnen worden, want in dat geval moet Natal elk vingerkootje apart herkennen. Volgens mij is dat te lastig. PopSci meldde het ook niet, en ook de screenshots van de developers (zie artikel) tonen geen vingers.

Volg de reacties op deze post via RSS

Plaats een reactie

Registreer je als vaste gebruiker. Heb je dit al eens gedaan, log dan in.

Hou de discussie menselijk en inhoudelijk. Reageer bij voorkeur onder je echte naam, met je foto als avatar (via Gravatar).

Toegestane HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>