Hoe AI onderzoeksmethoden transformeert

Artificial Intelligence is niet meer weg te denken in het land der innovatie, maar dat wist jij als lezer waarschijnlijk al, dat hoef ik niet meer te vertellen. In onze werkzaamheden bij MakerLab gebruiken we dan ook dagelijks o.a. ChatGPT, custom GPT’s en zelfgebouwde chatbots. De ‘prompt engineering’ skills van het team zijn het afgelopen jaar hierdoor sterk gegroeid.

‍

Op het moment van schrijven zie ik drie algemene toepassingen van AI bij MakerLab:

‍

1. Ondersteuning van ons werk: Naast dat ChatGPT en custom GPT’s voor alles en nog wat worden gebruikt, beschikt onze kennisbank bijvoorbeeld over een chatbot die we kunnen raadplegen over hoe je bepaalde experimenten en methodieken het beste kunt inzetten.
2. Onderzoeksassistent: Denk aan het sneller kunnen uitvoeren van deskresearch, het analyseren van grote datasets en het aanscherpen van interviewscripts a.d.h.v. ‘The Mom Test’ methode.
3. AI-powered eindconcepten: We zijn in staat om AI-prototypes te maken en als gevalideerd eindconcept op te leveren. Equalwrites  - ontwikkeld door collega Melissa - gebruikt bijvoorbeeld AI om teksten te controleren op het gebruik van inclusief taalgebruik.
   ‍

Op elk van deze drie punten zijn we onze processen en innovatiemethodieken met AI aan het versnellen en verbeteren. In deze blogpost zoom ik in op een praktijkvoorbeeld van het tweede punt: toepassingen van AI als assistent in het doen van onderzoek. AI biedt namelijk veel nieuwe vormen en mogelijkheden om onderzoek te doen.

‍

Om hiervan voorbeelden in de praktijk te duiden, zal ik je meenemen in een project dat we recent voor een klant hebben afgerond, dat bestond uit het uitvoeren van een validatieonderzoek voor een digitaal platform. We hebben tijdens dit validatieonderzoek AI op twee manieren ingezet:

‍

• Participanten uit onze doelgroep hebben een AI-powered vragenlijst ingevuld om mogelijke features te bedenken.
• Er zijn synthetische persona’s gecreëerd en geïnterviewd met behulp van een zelfgebouwde GPT.
  ‍

Ik zal toelichten waarom we in beiden gevallen gekozen hebben voor het inzetten van AI, door het in de context van het project te plaatsen.

‍

Formless

‍

De kern van het validatie-onderzoek bestond uit het uitvoeren van twee experimenten: online interviews met de doelgroep en een vragenlijst onder huidige klanten, waarvan het doel was om mogelijke features voor het platform te verkennen. We zochten voor de vragenlijst naar een manier om participanten op afstand interactief features te laten bedenken, in plaats van vooraf opgestelde features te beoordelen (zoals bij een KANO-test). Dit hebben we kunnen realiseren m.b.v. een AI-powered vragenlijst in ‘Formless’: een AI-tool van het bekende enquête-softwarebedrijf Typeform.

‍

Om goed te begrijpen hoe deze AI-tool in dit onderzoek een meerwaarde bracht, is het handig om te weten hoe deze tool verschilt van een ‘traditionele’ online vragenlijst. Een van de belangrijke verschillen is dat je in Formless prompts invoert i.p.v. vragen. Met andere woorden: je voert niet een set aan vragen in, maar geeft de AI van Formless instructies om je vragen te stellen. Bijvoorbeeld: “Kom erachter in wat voor functie de participant werkzaam is en hoelang de participant ongeveer in deze functie werkzaam is.”

‍

De AI is getraind om tweerichtingsgesprekken plaats te laten vinden tussen ‘de vragenlijst’ en de participant. Zowel de AI als de participant zijn daardoor in staat om vragen te stellen en antwoorden te geven. De AI stelt dus niet alleen vragen aan de participant, maar reageert ook op de antwoorden. De interactie die de participant ervaart is daardoor veel meer conversational dan een traditionele vragenlijst.

‍

Om een voorbeeld te geven: als een participant de vraag “In welke functie ben je werkzaam en hoe lang werk je al in deze functie?” antwoord met “Facility manager”, dan zegt de AI vervolgens “Dat is een belangrijke rol. Hoe lang werk je al als Facility manager?”. De AI geeft in dit voorbeeld niet alleen antwoord op de participant, maar behandelt ook alsnog het deel van de vraag dat nog niet beantwoord is (hoe lang werkzaam). Zo breidt de AI een lopend gesprek aan elkaar en haalt alle inzichten op die jij nodig hebt.

‍

Het tofste dat we in de vragenlijst gebouwd hebben is een gedeelte waarin participanten samen met de AI features voor de propositie co-creëren. Dit is als volgt opgebouwd:

‍

• AI: Kun je een specifieke uitdaging of een probleem beschrijven die je ondervindt binnen [taak]?
• Participant: Spreekt een bepaald probleem uit.
• AI: Hoe zou een ideale feature eruitzien die je helpt met het oplossen van [probleem]?
• Participant: Geeft een idee voor een feature.

‍

De AI genereert vervolgens drie features op basis van de input binnen de context van de propositie en vraagt “Welke van deze functionaliteiten zie je als het meest waardevol voor jouw werk en kun je uitleggen wat je ermee bereikt?”. Na het maken van een keuze gaat de participant samen met de AI van Formless verder itereren op deze feature, tot de participant het eens is met het resultaat.

‍

Deze co-creatie zorgt ervoor dat er creatieve, concrete feature-richtingen resulteren uit zo’n gesprek. We konden daardoor achteraf heel specifiek aangeven welke waarde de propositie aan klanten zou moeten leveren.

‍

Synthetische persona’s

‍

Het tweede deel waarvoor we AI hebben ingezet was het verrijken van de inzichten die we al hadden opgedaan na het uitvoeren van doelgroep interviews en de AI-powered vragenlijst. Het doel hiervan was het verder exploreren van mogelijk interessante features voor het platform. We hebben hiervoor synthetische persona’s door AI laten genereren en vervolgens het hieruit voortkomende ‘extra doelgroeppanel’ geïnterviewd over hun behoeften.

‍

Om deze synthetische persona’s te creëren, hebben we eerst samen met de klant persona’s opgesteld van vier verschillende doelgroep segmenten. Elk van deze vier ‘seed-persona’s’ hebben we aan een zelfgebouwde ‘Persona Multiplier GPT’ gegeven. Deze GPT genereert op basis van één seed-persona vijf nieuwe persona’s met zeventien verschillende attributen. Dit zijn niet alleen standaard attributen zoals naam, leeftijd en geslacht, maar bijvoorbeeld ook sociaaleconomische status, persoonlijkheidseigenschappen en motivaties voor beslissingen. Deze attributen zijn gekozen om een gedetailleerd en veelzijdig profiel van elke persona te creëren.

‍

De twintig synthetische persona’s (van ieder segment vijf) hebben we een flinke lijst aan vragen gesteld, overeenkomend met de vragen uit de interviews die we eerder hadden uitgevoerd met ‘echte mensen’. De persona’s zijn één voor één door al deze vragen heengelopen en gaven hier zeer gedetailleerd antwoord op. Het stellen van duidelijke vragen en vervolgvragen is voor zo’n interview cruciaal om algemene antwoorden te voorkomen. We konden zo ook voor elk bedachte feature herleiden uit welke pijn of behoefte van de persona’s dit naar voren kwam.

‍

Het afnemen van deze interviews resulteerde in een immense dataset. We hebben daar een lijst van features uit kunnen halen die door de synthetische persona’s zijn benoemd. Deze features hebben we vervolgens vergeleken met de features die we eerder bij de doelgroep hadden opgehaald. Daarin ontdekten we een hele grote overlap, wat best wel gaaf om te zien was! Want ook al zijn het synthetische resultaten waarmee je je ‘echte’ resultaten vergelijkt, je krijgt toch een soort van bevestiging.

‍

Daarnaast leverde het gesprek met de synthetische persona’s ook nieuwe, niet eerder genoemde features op. Deze hebben we meegegeven aan de klant ter inspiratie voor de verdere ontwikkeling van de propositie.

‍

Conclusie

‍

Het inzetten van Formless gaf tijdens dit project een openbaring in hoe makkelijk je een AI-powered vragenlijst kan opzetten die gedegen onderzoek voor je doet. Het is super interessant om terug te zien in de transcripten hoe participanten intuïtief de gespreksvoering met de AI begrepen en samen met de AI tot hele concrete features konden komen.

‍

Bij het inzetten van synthetische persona’s vind ik dat we als ontwerpers sceptisch en scherp moeten blijven. Het zijn synthetische persona’s, dus je krijgt ook synthetische resultaten. Het mag niet altijd als de waarheid over echte mensen worden beschouwd, dat zou te kortzichtig zijn. Wat echte mensen zeggen is nog steeds leidend, maar AI is wel goed in te zetten ter verrijking van resultaten en ter verbreding van ideeën. Daarnaast zijn er nog andere nuttige toepassingen te bedenken voor deze persona’s, bijvoorbeeld om feedback te geven op de eerste ideeën die je hebt bedacht voor een nieuwe propositie.

‍

Achteraf ben ik zeer tevreden met de manieren waarop we AI ingezet hebben tijdens dit project en wat we daarvan geleerd hebben. AI-tools bewijzen en verdienen steeds meer hun plek in ons werk. Wat ik in deze blog heb beschreven is slechts een topje van de ijsberg wat betreft de inzet van AI bij het doen van onderzoek. Het is echter belangrijk dat we waakzaam blijven over wanneer we AI inzetten en de betrouwbaarheid van AI-gegenereerde resultaten.

‍