Hoe meten we of gebruikers tevreden zijn over software?

Momenteel stelt NEN een nieuwe Nederlandse Praktijk Richtlijn (NPR) op. Daarmee wil NEN de output van agile softwareontwikkeling goed en objectief kunnen meten, beoordelen en verbeteren. Methoden om gebruikerstevredenheid te meten, zijn onderdeel van deze praktijkrichtlijn. Op 5 september organiseerden we daar een interactieve workshop over. Tijdens de workshop bleek al snel dat we niet alleen veel methoden kennen, maar dat we ook allemaal een ander idee hebben over wat tevredenheid is. Wat hebben we geleerd tijdens de workshop? 

Op 5 september noemden deelnemers zomaar wat methoden om tevredenheid over software te meten. Zoals onderzoek aan de hand van testen met prototypes van software met gebruikers, enquêtes, methoden als de NPS (Net Promotor Score), CES (Customer Effort score), en de CSAS (Customer Satisfaction Score), de inzet van klankbordgroepen, demo’s, guerilla testing, experimental design en sentimentanalyse. Een hele mondvol. 

Ervaring met meetmethoden 

Ze deelden ook de voor- en nadelen die ze ervaarden. Testen met prototypen onder gebruikers werkt bijvoorbeeld alleen als use cases ook concreet zijn. Of het voorbeeld van tevredenheid meten aan de hand van smileys, zoals ze dat doen bij de wc’s op Schiphol. Je krijgt een indruk van of iemand tevreden is, maar niet waarover iemand specifiek wel of niet tevreden is. Hoe breng je dan verbeteringen aan? Bij enquêtes is het bijvoorbeeld weer lastig om reguliere verbeteringen objectief te meten.  

Duidelijk werd dat er een belangrijke waarde zit in het testen met gebruikers. Het kan zelfs al een uitdaging zijn om de juiste testers te vinden. Maar ook als je de gebruikers wel hebt, ben je er nog niet. Test je met een prototype bijvoorbeeld de software in de juiste context? Want wanneer een gebruiker echt de software gebruikt, is de context misschien heel anders, evenals zijn of haar gemoedstoestand of humeur.  

Wat is tevredenheid? 

Dat raakt meteen aan een belangrijke vraag: wat is tevredenheid eigenlijk? In het laatste voorbeeld van testen met prototypes kunnen gebruikers tevreden zijn over de software tijdens de test, maar misschien niet in een andere context. Terwijl er niks is veranderd aan de software. Dat laat gelijk zien hoe subjectief tevredenheid kan zijn. Die subjectiviteit komt vaak ook naar voren als je een gebruiker op de man of vrouw af vraagt of die tevreden is. Die geeft dan vaak het sociaal wenselijke antwoord. 

In het verwerken van de waardevolle inbreng van alle deelnemers kwam de vraag wat tevredenheid eigenlijk is vaak naar voren. Naast context zijn er immers veel meer manieren waarop tevredenheid beïnvloed kan worden, ongeacht hoe ‘goed’ de software of klantreis misschien is. Ikea en Tikkie krijgen bijvoorbeeld een hoge tevredenheidsscore door in de klantreis te focussen een uitsmijter aan het einde van de klantreis. Ze ‘bouwen’ ze aan het einde van de klantreis een piekmoment in. Bij IKEA kun je bijvoorbeeld na je klantreis vol ‘ups and down’ een overheerlijke hotdog en ijsje krijgen. En dat blijft je bij. Dat is je herinnering aan je bezoekje aan de IKEA. Bij Tikkie krijg je een GIF van een juichend persoon en een compliment als je betaald hebt. 

STREAMER: “Hoe je je een bepaalde activiteit herinnert, is belangrijker dan hoe je de activiteit als geheel hebt beleefd. De beleving tijdens het uitzwaai-moment is bepalend voor de manier waarop de klant jouw merk herinnert” (bron: Marketingfacts). Lees over meer van dit soort ontwerpprincipes. 

Hoe we tevredenheid objectief meten 

Dus door simpelweg aan een gebruiker te vragen of deze tevreden is over software kun je tevredenheid niet goed meten. Maar daar zijn we wel naar op zoek. We willen iets subjectiefs dus objectief meten. Hoe doen we dat?  

Misschien is het makkelijker om te meten of het proces op weg naar tevredenheid goed is. Met onder andere dat in gedachten proberen we voor de praktijkrichtlijn te komen tot bouwblokken van tevredenheid. Op welke onderdelen van software en het gebruik daarvan willen we tevredenheid meten? Daar is al veel onderzoek naar gedaan. Daar komen 4 onderdelen uit waar organisaties die tevredenheid willen meten op kunnen sturen:  

1. Bruikbaarheid 

2. Vertrouwen 

3. Plezier 

4. (Fysiek) comfort 

Meetmethoden voor die onderdelen kunnen elkaar ook aanvullen. Zo kan de NPS ingezet worden om plezier te meten of de CES voor het meten van bruikbaarheid. Want in algemene zin uitvragen of iemand tevreden is, leidt tot een subjectief antwoord. Een antwoord dat niet per se past bij de losse onderdelen van de software zelf, maar betrekking heeft op de perceptie van de gebruiker van de hele ervaring. Niemand vindt wellicht het doen van een belastingaangifte leuk, maar dat wil niet zeggen dat de software erachter niet ‘goed’ functioneert. Of, iemand die geld terugkrijgt heeft een betere ervaring dan iemand die moet bijbetalen. Maar de software is exact hetzelfde.  

Neem gebruikers mee 

Neem gebruikers daarom ook mee in de context. In het voorbeeld van de belastingaangifte doet de Belastingdienst dat bijvoorbeeld met de slogan: “Leuker kunnen we het niet maken, makkelijker wel.” Daarmee neemt de organisatie vooraf al pijn bij de gebruiker weg. Creëer een situatie waarin een gebruiker zo objectief mogelijk op de 4 verschillende onderdelen van tevredenheid zijn of haar ervaring deelt. Gebruik voor elk onderdeel specifieke meetmethoden. Focus de aandacht op het proces en de onderdelen, en niet op de ervaring.  

Houd rekening met verschillende soorten gebruikers 

Gebruikers verschillen van elkaar. Dat komt naar voren in de ISO-norm, een officiële standaard voor een specifiek onderwerp. Deze norm onderscheidt 3 soorten gebruikers:  

1. Primary user: de persoon die interactie heeft met het systeem om de hoofddoelen ervan te behalen 

2. Secondary user: gebruikers die ondersteuning bieden. Denk bijvoorbeeld aan content providers, systeembeheerders, security managers of installateurs 

3. Indirect user: personen die wel de output van het systeem ontvangen of waarnemen, maar niet direct interactie hebben met het systeem. 

Wat wil je weten? 

Duidelijk moet ook zijn welke informatie je wilt achterhalen. Dat bepaalt welke meethode(n) je inzet om ‘tevredenheid’ te meten. Voorop staat: je wilt de gebruikerservaring weten, zodat je daarop kunt sturen. Dat kan alleen door dicht bij je gebruiker te staan. Meet en verbeter, en blijf dit herhalen. Stel doelen. En betrek een diverse groep gebruikers. Als je steeds test bij dezelfde groep, kun je niet goed testen. Gebruikers verschillen van elkaar. 

Vervolgstappen voor de NPR 

Bestaande meetmethoden, al verricht onderzoek, voorbeelden uit de praktijk en de input die we verzameld hebben tijdens de workshop helpen ons om volgende stappen te zetten voor de praktijkrichtlijn. Dank aan alle deelnemers. Samen zijn we op weg naar een goede basis voor de praktijkrichtlijn.  

Al kwam uit de workshop duidelijk naar voren dat het niet eenvoudig is om tot een standaardmethode te komen voor het meten van tevredenheid. Misschien zelfs onmogelijk. Maar met alle input denken we wel tot een richtlijn te komen die ook jou helpt tevredenheid over software te meten. 

Help ook mee! 

En in het kader van input: help mee! Alle aanvullende suggesties of ideeën zijn welkom. Wat vind je bijvoorbeeld van het indelen van tevredenheid in bouwblokken? Of van de soorten gebruikers die we onderscheiden? Laat het ons weten via info@gebruikercentraal.nl.