Onderzoekstoelichting #DDP06

Over het Digital Dialogues Pulse onderzoek

Digital Dialogues Pulse (DDP) is een onderzoek naar de kwaliteit van de Nederlandse webcare. We sturen diverse organisaties via Facebook en Twitter klachten, vragen en complimenten toe die een weerspiegeling zijn van de dagelijkse berichtgeving van deze organisaties. Vergelijkbaar met mystery shopping, maar dan op social media. Het onderzoek wordt uitgevoerd in samenwerking met Dr. Lotte Willemsen (Hogeschool Rotterdam) en Dr. Charlotte van Hooijdonk (Vrije Universiteit Amsterdam). 


Over #DDP06

In het eerste kwartaal van 2019 zijn 99 organisaties benaderd met klachten, vragen en complimenten, verspreid over Facebook en Twitter. Aan de hand van wetenschappelijke publicaties over webcare, aangeleverd door Dr. Lotte Willemsen en Dr. Charlotte van Hooijdonk, is vervolgens bekeken hoe de organisaties scoren op vijf criteria: (1) reactiepercentage, (2) inhoudelijke reactie, (3) reactietijd, (4) menselijk geluid en (5) grammatica. Deze scores worden gecombineerd tot een totaalscore die een gewogen gemiddelde is van de afzonderlijke scores. Vanzelfsprekend is het geven van een reactie het meest van belang, gevolgd door de inhoudelijke kwaliteit van de reactie. Hierna wordt het meest belang gehecht aan de reactietijd, gevolgd door het menselijk geluid van de reactie en als laatst de grammaticale correctheid.

Criteria

Reactiepercentage

De hoeveelheid gegeven reacties in verhouding tot de hoeveelheid uitgestuurde berichten. De organisaties hebben minstens een maand de tijd gehad om de berichten van een reactie te voorzien. Indien organisaties niet gereageerd hebben, kan de reactietijd en kwaliteit van de reacties logischerwijs niet worden beoordeeld.

Inhoudelijke reactie

Reacties worden beoordeeld op hun inhoudelijkheid: er wordt per type bericht (klacht, vraag, of compliment) gekeken in hoeverre deze inhoudelijk op de juiste manier wordt behandeld. Dit wordt beoordeeld aan de hand van tekstuele kenmerken. Wetenschappelijk onderzoek* toont namelijk aan dat het bij een reactie op een vraag bijvoorbeeld gaat om 'mate van beantwoorden' met als belangrijkste criteria 'informatie geven' en 'hulp aanbieden'. Bij een klacht draait het om 'mate van tegemoetkomen' met als belangrijkste onderdelen 'empathie tonen' en 'informatie vragen'. Bij een compliment gaat het om 'mate van ontvangen' en staan de criteria 'waardering tonen' en 'promoten' centraal. Naast deze beoordeling op tekstuele kenmerken wordt er ook "gevoelsmatig" naar een reactie gekeken door op een 5-puntsschaal aan te geven in hoeverre de gegeven reactie als passend wordt ervaren.

Reactietijd

Bij het berekenen van de reactietijd is rekening gehouden met openingstijden van 08.00 tot 22.00 uur, tenzij anders is aangegeven via Facebook, Twitter en/of de website. Als er buiten deze tijden een bericht is uitgezet, wordt de reactietijd vanaf 08.00 uur berekend.

Menselijk geluid

In hoeverre consumenten op een menselijke wijze worden aangesproken in de reactie. Er is zowel gekeken naar tekstuele kenmerken als conversational human voice. Qua tekstuele kenmerken is er gekeken naar personalisatie, informaliteit en uitnodigende retoriek, waarbij het draait om het gebruik van onder andere namen, ondertekeningen, informele begroetingen en emoticons. Deze tekstuele kenmerken worden in steeds meer onderzoeken aangevuld met conversational human voice. Daarmee wordt beoordeeld in hoeverre een organisatie probeert te communiceren op een menselijke manier, openstaat voor dialoog/conversatie en de berichtgever als een mens behandelt. Door zowel tekstueel als “gevoelsmatig” naar een reactie te kijken en dit allebei even zwaar mee te wegen, kan goed bekeken worden in hoeverre een organisatie menselijk overkomt.

Grammatica

Het is van groot belang dat de reacties grammaticaal correct zijn. Er is gekeken naar (1) interpunctiefouten, (2) spelfouten, (3) fouten in zinsopbouw en (4) genrebreuk. Interpunctiefouten die niet ten koste gaan van de leesbaarheid worden minder zwaar afgestraft dan interpunctiefouten die de leesbaarheid van een reactie bemoeilijken. Ook genrebreuk wordt minder zwaar afgestraft. Om de score voor grammatica te bepalen, wordt het percentage reacties met grammaticale fouten (in verhouding tot de hoeveelheid gegeven reacties) van de maximale score (10) afgehaald.


Wat is er veranderd ten opzichte van #DDP05?

Grammatica

In #DDP06 is de categorie genrebreuk toegevoegd aan de beoordeling van grammatica. Er is sprake van genrebreuk als de communicatiestijl van het bericht op social media niet overeenkomt met de communicatiestijl die gangbaar is binnen dat social media kanaal. Bijvoorbeeld: een tweet die is opgesteld als brief, inclusief aanhef en het gebruik van vele witregels. 


Verdere vragen over #DDP06? Mail naar wouter@guc.nl of stuur ons een Facebookbericht via http://m.me/gucagency.


* Willemsen, L. & Van Noort, G. (2015). Webcare: van experimenteren naar professionaliseren. Amsterdam: SWOCC.

Posted on Jul 03, 2019