Muiskliks meten is als schuurpapier, zegt Jeferson Valadares van Playfish

Gamescom 2010

Gepost door Menno Schellekens op 16 augustus 2010

Fervent debater, game-expert, Apple-fanaat en gymnasiast. Maakt de Bashers Podcast.

Vooraf aan de Gamescom-beurs vindt momenteel in Keulen de Game Developers Conference Europe plaats. Menno is ter plekke en brengt verslag uit.

Iedere stoel in de zaal was bezet toen Jeferson Valadares van Playfish vandaag begon met zijn praatje met de titel Intuition vs. Metrics: the Big Debate. Playfish is de maker van Facebook-games die vorig jaar door EA werd gekocht.

Net als die andere rijzende ster aan de ‘social games’-hemel, Zynga, houdt Playfish iedere klik van iedere speler minutieus bij. De gegevens die terugkomen gebruikt men om de games te optimaliseren. Hoe groot moeten knoppen zijn en welke kleur moeten ze hebben, om te zorgen dat spelers zo vaak mogelijk klikken? Het antwoord zit in de data. Maar bouw je daarmee de beste game, of krijg je vooral grote, felgekleurde knoppen? Over die vraag ontfermde Valadares zich.

Schuurpapier

Binnen 1 minuut maakte de spreker korte metten met de notie dat je óf je moet laten leiden door je intuïtie, óf je moet laten leiden door de cijfertjes. Het probleem wordt vaak geschetst als een strijd tussen twee partijen, waarvan er eentje de ‘juiste’ is (zie ook de recente column van Niels). “They both win”, staat er op een slide. Punt gemaakt.

Dan begint hij met zijn pragmatische betoog. Het is niet of-of, maar wanneer-wat. In zijn betoog valt 1 oneliner op: “Metrics are like sandpaper. You can polish, but you can’t build anything with it.” Playfish bouwt geen spellen gebaseerd op grafiekjes, maar perfectioneert ze ermee.

Hersenhelften

Valadares vertelt hoe Playfish datamining als gereedschap gebruikt en waarschuwt ervoor dat verkeerd gebruik kan leiden tot verkeerde beslissingen. Kijken naar data en luisteren naar je intuïtie gaan niet samen, vindt hij. Het zijn “two different states of mind”. Vandaar dat de producer zich bij Playfish vooral bezighoudt met de creatieve kant van het spel. De product manager is degene die alle data verwerkt. Als twee hersenhelften vullen ze elkaar aan. Het moet wel gezegd worden dat de producer boven de product manager staat, dus als het erop aankomt, heeft de creatieve hersenhelft het voor het zeggen.

Voor een spel wordt door designers een langetermijnvisie uitgestippeld. Ze ontwikkelen elke week nieuwe ideeën voor het spel, die direct geïmplementeerd worden. Daar wordt meteen data over verzameld. Succesvolle onderdelen worden geperfectioneerd gebaseerd op de verzamelde data. Opwaartse grafieken worden ook gebruikt als een beloning voor het werk van een designer: een verbetering betaalt zich binnen tien dagen uit in meer bezoekers, muiskliks of aankopen vanuit het spel. Maar ook hier benadrukt Valadares dat verkeerde doelen stellen tot frustratie en verkeerde prioriteiten kan leiden.

Gereedschap

Het pragmatische model van Playfish, waarin data en creativiteit hand in hand gaan, is beter voor alle partijen, volgens Valadares. Ken de mogelijkheden en beperkingen van je gereedschap en uiteindelijk bouw je er een betere game mee. En dan hopelijk op zo’n manier dat het voor ons gamers ook een betere spelervaring oplevert.

Tweeten

13 reacties

1. 

   Jesse Zuurmond · 16-8-2010 · 23.08 uur

   Interessant om van een grote speler te horen hoe hij over het debat denkt. Hij zegt dat ze als twee hersenhelften samenwerken. Toch vraag ik me af of het uiteindelijke resultaat niet onvermijdelijk gemiddeld is, in de breedste zin van het woord.

   Als je alle beslissingen onderbouwt door en baseert op de grootste groep die het leuk vindt, dan krijg je een game die de ‘gemiddelde gamer’ leuk vindt, lijkt me. Maar is het niet onmogelijk om dan iets bijzonders te maken? Met de stempel van een studio erop, en niet van John Doe?

2. 

   Menno Schellekens · 17-8-2010 · 0.10 uur

   “Het moet wel gezegd worden dat de producer boven de product manager staat, dus als het erop aankomt, heeft de creatieve hersenhelft het voor het zeggen.”

   “Voor een spel wordt door designers een langetermijnvisie uitgestippeld. Ze ontwikkelen elke week nieuwe ideeën voor het spel, die direct geïmplementeerd worden.”

   Kortom: de games worden bedacht en uitgebreid autonoom van data. De lange termijn visie wordt ook uitgestippeld door designers. De menu’s en reclames van het spel worden misschien afgestemd op de grootste doelgroep, maar so what? Coca Cola probeert toch ook zoveel mogelijk mensen aan te spreken met hun reclames? EA bouwt Medal of Honor toch ook voor commercieel succes?

3. 

   Robert Gaal · 17-8-2010 · 8.23 uur

   Dit is geweldig advies, ook buiten games om. Ik denk dat elk product nu moet balanceren tussen een overvloed aan data en een creatieve gut-feeling. De aanpak van Playfish vind ik het meest logische: bouw zonder grenzen, en verfijn.

4. 

   Jesse Zuurmond · 17-8-2010 · 8.29 uur

   Is Medal of Honor (in ieder geval de multiplayer) niet een ontzettend inwisselbare game? Sure, miljoenen gamers worden er blij van (ik ook), maar het is nou juist een voorbeeld van een generieke game. En volgens mij worden niet alleen de menu’s afgestemd op data, maar dat is meer een gevoel :-).

   Laat het wel duidelijk zijn dat ik het tof vind dat deze games er zijn; games die voor miljoenen spelers leuk zijn. Blockbustertitels zorgen ook nog eens voor de nodige cash voor bedrijven.

   Toch blijf ik erbij dat als bij alle games metrics minutieus zouden worden bijgehouden (al staat de data op de ‘tweede plek’; ook dan heeft het invloed), games als Flower of Braid tot het verleden horen. Creatieve vooruitgang wordt bemoeilijkt.

5. 

   Menno Schellekens · 17-8-2010 · 10.39 uur

   @Jesse: Ontwikkelaars zijn vrij om hun ideeën te ontwikkelen en uit te proberen. Ook bij Playfish worden ze niet beperkt in het uitproberen, sterker nog, het wordt juist daar aangemoedigd omdat er elke week een update uitgebracht wordt. Kortom: creativiteit is vereist. De ideeën die de speler het leukst vindt worden bijgeschaafd en uitgebreid.

   Leuk dat je Flower noemt trouwens. Zoals Maarten op deze site schreef (http://bashers.nl/festival-of-games-kellee-santiago-prototyping-and-rapid-iteration-for-design-goodness) is meer dan de helft van de ontwikkelingstijd van Flower opgenomen door testing door, ja hoor, spelers. De massa. Vele creatieve ideeën bleken niet leuk en werden afgeschreven. Flower is een geweldig spel geworden door het ‘minen’ van data tijdens het ontwikkelingsproces. Precies zoals bij Playfish, waarvan de games zich constant ontwikkelen.

   Verder zou ik niet verwarren dat je als ontwikkelaar je doelgroep kiest. Playfish gaat voor de grootst mogelijke groep, dus daar wordt het inderdaad naar bijgeschaafd. Net als EA met Medal of Honor. Dat heeft niets te maken met het onderdrukken van creativiteit, maar met zaken doen. Verder heb je als ontwikkelaar ook altijd de mogelijkheid om de gegevens te laten voor wat ze zijn en de keuze te maken die jou beter lijkt op de lange termijn.

6. 

   Jesse Zuurmond · 17-8-2010 · 13.37 uur

   Goed, als bij Playfish ontwikkelaars aangemoedigd worden om nieuwe dingen uit te proberen, dat is mooi inderdaad. Zoals Robert het zegt; bouw zonder grenzen, en verfijn. Klinkt goed :-).

   Wat Flower betreft, zoals ik het heb onthouden van de presentatie van Santiago op het FoG werden de iteraties niet gespeeld door een ‘massa’, maar door een kleine groep; dat heeft meer weg van playtesten dan het data minen van duizenden spelers waar het in deze discussie over gaat.

   Wellicht ben ik wat te stellig geweest in mijn opmerkingen dat het bijhouden van data van spelers creatieve vrijheid beperkt. Dat zal wel meevallen. Sterker, ik snap dat het essentieel is en risico’s voor bedrijven vermindert, wat vervolgens weer leidt tot geld voor nieuwe projecten.

   Aan de andere kant, op een meer abstract niveau blijf ik erbij dat er een markt moet blijven voor games die niet ontwikkeld worden met enkel als doel ideeën uitwerken die spelers ‘leuk’ vinden.

7. 

   Menno Schellekens · 17-8-2010 · 14.18 uur

   In hoeverre is het verschillend om een klein groepje of duizend man te laten playtesten? Het verschil tussen data mining en playtesting? Ik zie geen wezenlijk verschil waardoor het eerste een goed idee zou zijn en de tweede een slechte.

8. 

   Rogier Kahlmann · 17-8-2010 · 14.59 uur

   Het is gewoon niet romantisch om te weten dat een massa invloed heeft op een creatief proces. Kunstbeleving (weet niet of dat een woord is, maarja…) is ook onderhevig aan de bewondering van een persoon, of een kleine groep mensen zoals een schilder, een beeldhouwer, of een band. En bij bands willen we ook graag weten wie nou echt het brein erachter is.

   Hoe onrealistisch in de wereld van games dit ook is, hebben veel mensen nog steeds behoefte aan het idee dat een game het resultaat is van een enkeling, een geniale gek. Kunst en muziek moeten in ateliers en zolderkamers gemaakt worden, niet aan vergadertafels. Er mogen handen hebben meegeholpen, maar alleen om te helpen werk te verzetten, niet om ook maar enig invloed te hebben op de visie van de maker. Een soort hang naar puurheid ofzo, ik voel dat in ieder geval. En daarnaast, echt avontuurlijk wordt het nooit met dat datamining. De massa is toch maar saai.

9. 

   Rogier Kahlmann · 17-8-2010 · 15.21 uur

   Aan de andere kant kun je sommige games ook gewoon zien als een nieuwe smaak Cup-a-Soup. Die wordt ook uitvoerig aan smaaktests onderworpen onder vele mensen. Dan blijkt ook maar weer dat de mens zijn soep het liefst heel zout en smakeloos eet, wat ook opgaat voor zijn games.

10. 

    Stefan Keerssemeeckers · 17-8-2010 · 15.35 uur

    @ Rogier

    Dat heeft er ook mee te maken dat games (indie-games in iets mindere mate) bijna per definitie commerciële producties zijn. Bij schilderen, muziek of beeldhouwen is er een ‘intrinsieke’ beloning in de activiteit zelf (bijvoorbeeld gezellig muziek maken met je beste vrienden). Muziek kan een doel op zichzelf zijn, een stuk code is toch vooral een object om iets anders mee te bewerkstelligen.

    Kunst als doel op zichzelf is natuurlijk iets heel anders dan het aanspreken van zoveel mogelijk mensen. Het één is niet per se minder dan het andere (PU/GK-discussie), maar het zijn twee verschillende dingen. Als een ‘game-auteur’ het te bont maakt, dan staan alle medewerkers van zijn studio op straat. Dat levert op het moment (zeker nu het erg duur is om een fatsoenlijke game voor de Xbox of PS3 te maken) nogal wat inwisselbare games op omdat weinig mensen veel risico willen nemen. Aan de andere kant zie je dat er in de marge wel veel gebeurt op het gebied van kleinschalige indie-titels.

    Als je echt artistieke games wilt spelen, dan zul je het toch in die hoek moeten zoeken, vrees ik.

11. 

    Rogier Kahlmann · 17-8-2010 · 16.03 uur

    Dat weet ik, en dat betreur ik. Om de soepmetafoor maar door te trekken: het zou leuk zijn wanneer we wat minder instantpoeder uit zakjes zouden drinken, en wat meer fijnproevers werden. Zolang ontwikkelaars en uitgevers zien dat de eerste recensie van Halo 8 belangrijker is dan de eerste recensie van Machinarium, dan bepalen wij ook mede wat de doelgroep wil en wat er uiteindelijk gemaakt blijft worden (FPSén tot 2050). We hoeven geen slaven van merk- en genregevoelige kleuters te blijven, we hebben ook een beetje macht hoor! Sorry voor de overlap, maar jij begon ;)

12. 

    Jurie · 17-8-2010 · 18.06 uur

    ‘Valadares’ met een ‘v’, niet ‘Caladares’.

13. 

    Niels ’t Hooft · 17-8-2010 · 19.12 uur

    @Jurie: Ai, lelijke eindredactiefout waar ik schuldig aan ben. Het is aangepast. De fout stond overigens alleen in de kop (wat het des te slordig maakt).

Volg de reacties op deze post via RSS

© 2006-2012 Bashers.nl