Why a study with only 7 respondents can be good – from Dutch paper “De Volkskrant”
Posted by jpluimers on 2021/01/07
[Archive.is] Waarom een onderzoek met maar 7 respondenten toch goed kan zijn | De Volkskrant: Denkfouten in het hedendaags ontwerp gefileerd door innovatie-expert (en cabaretier) Jasper van Kuijk. Deze week: gebruikstest.
TL;DR
Quantitative studies often require large numbers of respondents, but quantitative studies can be done with a very small group.
While quantitative studies often will get you just one result (I rate this application a 7 out of 10, or with this A/B change, click through increases by 5%), qualitative studies will get you much more specific comments like “the main menu is cluttered”, or “the design is slick” (translated from the Image in the article).
Extensive research was done for a 2003 published paper [Archive.is] Beyond the five-user assumption: Benefits of increased sample sizes in usability testing which you can read as PDF [WayBack].
Via
[WayBack] Jasper van Kuijk on Twitter: “Mijn ‘Hoe moeilijk kan het zijn?’ van vandaag. Waarom voor gebruiksgemak een gebruikstest met 7 participanten nuttiger is dan een enquête met 1500 respondenten. #HMKHZ via de @volkskrant”
Related
[WayBack] Ionica Smeets on Twitter: “Hear, hear! Aldus een wiskundige die heel wat jaren nodig had om waarde van kwalitatief onderzoek in te zien…”
and
- [WayBack] Bernie Wolf on Twitter: “Dat geldt zeker voor meten van gebruiksgemak (customer experience, cx) maar ook wel in het algemeen. Die eeuwige spanning tussen validiteit van response en kwantificeerbaarheid/reproduceerbaarheid. Offer bij twijfel dat laatste maar op.”
- [WayBack] Jasper van Kuijk on Twitter: “In gebruikstesten en user-centred design in z’n algemeenheid wordt veel gebruik gemaakt van kwalitatieve onderzoekstechnieken. De discussies die je dan krijgt gelden inderdaad breder, ook buiten UCD/CX/UX.”
and
- [WayBack] NicolettevCronenburg on Twitter: “Herkenbaar artikel. Het is een regelmatige discussie die ik met onze IT’ers voer. Weinig participanten wordt gezien als onbetrouwbaar, maar ook klantreacties trekken ze in twijfel: “de klant kan het wel handig vinden maar ik niet”. Onze marketeers snappen het wel, nu IT nog ;-).”
- [WayBack] Jasper van Kuijk on Twitter: “Ik ken het inderdaad van de meer engineering-achtige disciplines ook, maar vond het opmerkelijk dat je het juist ook bij marketeers ook tegen komt, die toch ook dicht tegen de gebruiker (ok, de koper) staan.”
- [WayBack] NicolettevCronenburg on Twitter: “zeker opmerkelijk, van een marketeer verwacht je klant-denken. Gelukkig heb ik een forse verbetering gezien in de laatste 2 jaar tav gebruikersonderzoeken. Maar zodra het gaat om marketingcommunicatie zie ik vooral weer het product (inside-out) centraal staan ipv de klant.”
- [WayBack] Jasper van Kuijk on Twitter: “Ik denk dat ook marketeers de afgelopen jaren inderdaad veel meer zijn gaan doen met kwalitatief onderzoek.… “
- [WayBack] Jeroen Pluimers on Twitter: “Ik herinner me nog de test labs van midden jaren 90 vorige eeuw. Dat je key users kon observeren. Met slechts enkele gebruikers kon je zo heel snel goede feedback krijgen.”
- [WayBack] Jasper van Kuijk on Twitter: “Die usability labs gaven wel een soort gevoel van serieus genomen worden als usability specialist, maar volgens is zo’n lab steeds minder gangbaar. Hoeft denk ik ook niet per se meer, je kan bijna alles met een paar camera’s en een laptop. Ja, doorkijkspiegel is fijn ;-)”
- [WayBack] Jeroen Pluimers on Twitter: “Precies. En ook dat heel veel van wat we nu doen, eigenlijk al heel oud is, maar dan in een ander jasje. Als je een beetje door de technologie heen prikt, zit hier ontzettend veel in wat je heel breed op het traject van software ontwikkeling kunt leggen: …”(video by Kevlin Henney below the fold)
–jeroen
https://www.youtube.com/watch?v=w3JkpQAbTA4
Leave a Comment