Testing Killzone: hoe usertesting de nieuwste van Guerrilla beter maakte



Dit artikel verscheen eerder in beknopte vorm in Bright.

Precies twee jaar geleden kwam Killzone 2 uit. De kroon op jaren doorbikkelen bij de grootste gamestudio van het land, Guerrilla Games. Vier jaar eerder was de sciencefictiongame onthuld met een spectaculaire computer-geanimeerde trailer - zo mooi dat het onwaarschijnlijk leek dat de uiteindelijke game ook maar in de buurt zou komen. Maar het eindresultaat mocht er wezen. Recensenten gaven gemiddeld een 9,1 (volgens Metacritic.com) en de game verkocht meer dan 2,5 miljoen stuks.

Maar toen kwamen de cijfertjes binnen, die lieten zien tot waar gamers speelden. De statistieken waren grillig. Gedurende de eerste helft van het spel haakte een grote groep af. “Mogelijk omdat dit zich helemaal in een stad afspeelde, met weinig variatie,” zegt game director Mathijs de Jonge. “Zodra er meer afwisseling in de setting kwam, bleven mensen hangen. Misschien ook omdat ze toen toch al zo lang hadden gespeeld.”

Vervolgens de echte shocker: van alle spelers die bijna tot het einde kwamen, zag maar een klein deel de aftiteling. “Onze game bleek een enorme difficulty spike te hebben.”

Iedereen moet de game uitspelen

De game director is “verantwoordelijk voor de kwaliteit en visie van het ontwerp”. Niet het visuele ontwerp, maar de constructie van het spelverloop (leveldesign) en de spelwerking (gamedesign). De Jonge is de lijm tussen de verschillende disciplines. “Ik bemoei me met alles,” zegt hij. “Een wapen moet niet alleen vijanden neerschieten, maar ook goed geluid en een lekkere herlaadanimatie hebben.”

Voor De Jonge en zijn medewerkers is het - na alle bloed, zweet en tranen - eeuwig zonde als zoveel spelers afhaken. Dus toen het strijdplan voor Killzone 3 (vanaf vandaag officieel in de winkel) werd gesmeden, was duidelijk wat er bovenaan de prioriteitenlijst kwam. De Jonge: “We wilden dat iedereen de game zou uitspelen.”

Alles werd uit de kast getrokken. “Het verhaal is beter, de omgevingen gevarieerder,” zegt De Jonge. “Er zijn meer vijanden, meer wapens. Alles is omhooggedraaid.” Ook werd besloten veel meer te gaan usertesten. “We wilden eerder weten waar de problemen zaten en of mensen het leuk vonden,” zegt De Jonge.

Concrete verbeteringen door testwerk

De tests werden door Sony in de VS en Engeland gedaan, en intern bij de Amsterdamse studio. Maar ook werd het usabilitybureau Valsplat in de arm genomen. “Gedurende een maand of vijf werkten we samen om de game te finetunen,” zegt Jeroen van der Heijden van Valsplat. “De resultaten van de tests werden steeds in de game verwerkt, waardoor we meteen konden zien of het effect had. In totaal deden we 6 tests, verdeeld over 15 testdagen. 50 gamers, mensen uit de doelgroep, speelden 312 uur.”

Testing Move

Guerrilla testte ook de besturing met de bewegingsgevoelige PlayStation Move. “Omdat dat nog zo’n nieuw ding is, konden we er nog veel over leren,” zegt Jeroen van der Heijden van usabilitybureau Valsplat. Om te beginnen: hoewel er onderop de controller een soort trekker zit, die ideaal lijkt voor schietspellen zoals Killzone, bleken mensen de knop bovenop toch het meest te gebruiken. “Nog een probleem was het draaien,” zegt De Jonge. Dit doe je door de Move naar de zijkant van het scherm te wijzen. “Als spelers klaar waren met draaien, haalden ze de Move daar vaak niet weg. Dat hebben we opgelost door een soort elastiek in te bouwen. Hoe meer je draait, hoe langzamer het gaat.”

Soms waren er meerdere rondes nodig om problemen op te lossen. Zoals de doorgang in de tweede missie, die je moet openen door aan een draaiwiel te draaien. “Eerst maakten we het draaiwiel groter,” zegt De Jonge. “Toen lieten we het knipperen. We voegden een extra geluidje toe. En nog steeds zagen mensen dat ding over het hoofd. Elke keer kwam er een andere pleister overheen.”

Spelers moesten de PlayStation 3-controller letterlijk draaien. “Voor ons is het vanzelfsprekend,” zegt De Jonge, “maar veel mensen weten niet dat er een gyroscoop in de controller zit.” Van der Heijden: “Nu leggen we dat uit in het spel, met een plaatje erbij. In de laatste test hadden spelers er eindelijk geen problemen meer mee.”

Ander voorbeeld: mensen merkten vaak niet dat het sluipgeweer een tweede inzoomniveau had. “De informatie over hoe het werkte verdween te snel,” zegt Van der Heijden. “Veel issues konden we oplossen door informatie vaker of langer in beeld te brengen.”

Dingen leren over testen

Van der Heijden is van huis uit cognitief neuropsycholoog. Bij Valsplat combineerde hij het testwerk met zijn kennis van het menselijk brein om de usability van websites te verhogen. Vanwege zijn persoonlijke interesse in games werd een nieuwe tak opgezet: playability-onderzoek. “Een logische stap,” zegt hij. “We willen alles met knopjes en beeldschermen onderzoeken, en ze beter en leuker maken.”

Killzone 3 is Valsplats grootste gameproject tot nu toe. Van der Heijden leerde er veel van. “Aanvankelijk lieten we spelers de hele game in twee dagen doorspelen,” zegt hij. “Maar acht uur gamen bleek te vermoeiend. Uiteindelijk speelden we in vier sessies van 3 à 4 uur.”

De testers werden gekozen uit een database van 6000 man. De selectie werd gemaakt op aansluiting bij de doelgroep, dus vaak jongemannen, en op een zekere spreiding in spelvaardigheid. Dit laatste bleek niet eenvoudig. “Hoe mensen zichzelf beoordelen klopt vaak niet,” zegt Van der Heijden. “Gamers die zichzelf ‘hardcore’ vonden, bleken geen flauw idee te hebben wat ze deden. Die liepen maar wat rond. Andersom gold hetzelfde.”

De playtests werden geobserveerd en opgenomen op video. “In eerste instantie filmden we ook de gezichten van de spelers,” zegt De Jonge. “Maar daar kun je uiteindelijk weinig mee. Mensen staren toch vooral naar het scherm. In Amerika is het iets nuttiger, daar zijn mensen vrijer in hun expressie.” Van der Heijden: “Aan lichaamshouding zie je meer. Denk aan een onderuitgezakte gamer versus iemand die op het puntje van zijn stoel zit.”

Of spelers lol hebben is ook af te lezen aan hun spelgedrag, zegt De Jonge. “Dan gaan ze vaker handgranaatjes gooien, vaker de melee-aanval gebruiken.”

Eyetracking bood hulp bij het junglelevel, waarin veel mensen verdwaald raakten. “Mensen blijken vaak op ogen in een gezicht te focussen, maar ook op lampjes,” zegt De Jonge. “Dus als mensen niet de goede kant op liepen, was dit vaak een kwestie van een lampje aanzetten.”

Voor de spreekwoordelijke volgende Killzone wil Valsplat graag gaan testen met de Emotiv. “Een EEG-scanner die hersenactiviteit meet zonder ingewikkelde calibratie,” aldus Van der Heijden. “Die gaan we dit jaar kopen. Daarmee kun je door hersenactiviteit aantonen of iemand fun heeft.” De Jonge: “Of mensen het leuk vinden, of ze engaged zijn, is de infolaag die we nu missen. Je kan het mensen niet constant vragen.”

Moeilijkheidsgraad

Om de juiste moeilijkheidsgraad te bepalen, moesten Guerrilla en Valsplat voor Killzone 3 vertrouwen op de enquêtes die na elk level werden ingevuld. Het bleek een verraderlijke kwestie. De Jonge: “Soms zeiden mensen dat ze een level te moeilijk vonden, maar ook leuk. ‘Zo is het tenminste een uitdaging.’ Dan hoef je dus niets te repareren.”

Om dieper in ‘difficulty’ te duiken werd telemetrie ingezet, waarbij software registreert wat spelers doen. Hoe snel ze door het spel gaan. Waar, hoe vaak en waardoor ze sterven. Waar en wanneer ze zonder ammo komen te zitten.

“We zochten naar pieken,” zegt De Jonge. “Als iemand in het eerste uur 5 keer doodgaat, in het tweede uur 30 keer, en in het derde uur weer 5 keer, dan klopt die 30 niet. Maar als de speler helemaal nooit dood gaat, is er ook iets niet in orde.” Hetzelfde gold voor locaties in het spel - middels density maps kwamen de killzones in Killzone 3 aan het licht.

De eindbaasgevechten zorgden wederom voor een piek. Van der Heijden: “Zonder teveel te verklappen - daar is behoorlijk aan gesleuteld.” De Jonge: “Een eindbaas moet moeilijk zijn, anders maakt hij geen indruk. Maar hij moet ook geschikt zijn voor een brede groep gamers.”

Kunst en wetenschap

Strijk een game net iets teveel glad en hij wordt saai. Maar Mathijs de Jonge is tevreden over het resultaat. “Als ontwikkelaars worden we blind voor onze eigen game,” zegt hij. “We kennen hem te goed en hebben geen idee meer of hij overkomt zoals we hem bedoelen. Door te testen ontdekken we dat.”

“Een spelerservaring creëren is een kunst,” concludeert Jeroen van der Heijden. “Met de wetenschap van het testen kijken we of het lukt om die ervaring over te dragen. We kijken door iemand anders’ ogen hoe diegene de game beleeft.”

6 reacties

  1. Niels de Bruijn · 25-2-2011 · 18.27 uur

    Supercool artikel, interessant om te lezen welke middelen allemaal ingezet (kunnen) worden om een spel “leuker” of “beter” te maken. Zou dit ook iets te maken kunnen hebben met de kritiekpunten van Rogier?

  2. Bart Breij · 26-2-2011 · 16.16 uur

    Absoluut een heel gaaf artikel. Halo-ontwikkelaar Bungie heeft al vaker beelden vrijgegeven van maps waarop ze laten zien waar het meest wordt gevochten en doodgegaan, maar dat was nadat het spel was uitgebracht en niet zozeer als onderzoeksmiddel vooraf.

    Erg benieuwd naar de eindbaas van Killzone 3 nu. Dit artikel zal ik gedurende de ganze rit wel in het achterhoofd houden.

  3. Niels ’t Hooft · 26-2-2011 · 17.16 uur

    Mijn inspiratiebron voor dit stuk was Wired over Halo 3, misschien bedoel je dat, Bart? Ook erg de moeite waard: http://www.wired.com/gaming/virtualworlds/magazine/15-09/ff_halo

  4. Jasper Driessens · 26-2-2011 · 19.12 uur

    Wat een vet artikel, geen idee dat er een bedrijf bestond dat dat doet!

  5. Jesse Zuurmond · 26-2-2011 · 21.23 uur

    Geinig dat het meten van expressie onderhevig is aan cultuur. Leerzaam artikel verder!

    Ik ben erg benieuwd naar playabilitytests waar die Emotiv wordt gebruikt. Lijkt me intrigerend om zoiets schijnbaar subjectiefs als plezier of betrokkenheid meetbaar en kwantificeerbaar te maken. Zo van: ‘als we dit aanpassen, blijkt persoon X 32% meer engaged te zijn’.

    Keertje langsgaan bij Valsplat als ze dat apparaat aangeschaft hebben? :)

  6. Rick · 28-2-2011 · 10.03 uur

    Tof artikel! Deed mij inderdaad ook denken aan het stuk over Halo 3.

Volg de reacties op deze post via RSS

Plaats een reactie

Registreer je als vaste gebruiker. Heb je dit al eens gedaan, log dan in.

Hou de discussie menselijk en inhoudelijk. Reageer bij voorkeur onder je echte naam, met je foto als avatar (via Gravatar).

Toegestane HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>