6: De selectie van de eenheden: steekproeven

Onderzoek bij concrete eenheden

– Bij wie = operationele definitie van eenheden
– Maar dan vraag: bij iedereen of maar een deel (subset) ervan?
o Iedereen = “census”. Bvb. volkstelling 2001, census in VS.
o Deel = “steekproef”.

Soorten steekproeven?
Op basis waarvan steekproef maken?
– Theoretische overwegingen
o Theoretische of natuurlijke steekproef.
o Vooral voor explorerende studies, kwalitatief van aard (theorievorming)
 Doel = eenheden met meeste informatieve waarde selecteren
 Vb. illegale vreemdelingen selecteren uit zoveel mogelijk verschillende landen, met zoveel
mogelijk verschillende redenen (politiek,econ)

– Toevalsbasis
o Toevalssteekproef
o Vooral voor beschrijvende, toetsende studies (zoals survey onderzoek).
 Doel = onderzoeks-populatie zo goed mogelijk weerspiegelen
 Veralgemening maken naar totale populatie (geldigheid!!)
 Kans van elke eenheid om getrokken te worden is bekend of berekenbaar!
 Kans op toevalsfouten berekenen

Toevalssteekproeven
1 Terminologie
Populatie (universum)
– Verzameling eenheden waarover onderzoek gaat, waarover we conclusies willen trekken, waaruit steekproef
o Te vinden in “operationele definitie” van onderzoekseenheden, bvb. “alle inwoners Vlaamse Gewest
tussen 15 en 85 jaar oud.”
– Zijn niet altijd mensen

Speciaal universum
– Populatie die concreet betrokken is in onderzoek, hier en nu.
– Theoretische veralgeming vind plaats

Algemeen universum
– Denkbeeldige theoretische populatie, niet plaats- en tijdsgebonden
o Onderzoeksresultaten ook geldig, zelfs na geboortes en sterfte van mensen over periode van een
paar maanden of zelfs jaren

Steekproef
– Subset van populatie die effectief betrokken wordt in onderzoek (waar we gaan observeren)
– Geselecteerde elementaire eenheden (onderzoekseenheden in populatie) = “steekproefeenheden” (B.)
o Personen, gezinnen, bedrijven, boeken = elementaire eenheden
Steekproef kader of “frame”
– Lijst van alle eenheden in de populatie waaruit steekproef zal worden getrokken
o Moet zo dicht mogelijk bij populatie aansluiten

1
 o Lijst of administratieve registratie door de onderzoeker opgesteld
o Kader als basis voor het trekken van de steekproef
– Geselecteerde eenheden = geplande steekproef (geselecteerde steekproefeenheden)
o Steekproefplan: wijze van trekken en omvang steekproef
– Eenheden die meewerken aan onderzoek vormen de (feitelijk) gerealiseerde steekproef

Steekproeffractie
– Verhouding aantal in geplande steekproef (steekproefomgang) over aantal in populatie.
o Vb. steekproef van 2500 studenten KULeuven uit 6000= 2500/6000= 0,4167
– Is dus ook de kans op opname in de steekproef
o Elke eerste jaar student KULeuven heeft bij zuiver toevallige selectie 41,67% kans om in de
steekproef te zitten

Representativiteit
– Mate waarin steekproef correcte weerspiegeling is van populatie
o Op geselecteerde kenmerken (geslacht, leeftijd, opleiding) steeds zeggen “representatief naar sekse
en leeftijd ”
o Nooit representatief in het algemeen!
“Onze steekproef is representatief voor de Vlaamse bevolking” = nonsens
o Enkel doenbaar voor kenmerken waarvan verdeling bekend is in populatie (Vb. NIS)
– Representativiteitanalyse gaat na of steekproef significant afwijkt van doelpopulatie

Foutenbronnen bij toevalssteekproeven: vertekening

Voorbeeld
– Stel je wil onderzoeken hoeveel % van alle KULeuven studenten naar een bepaalde soap kijken
– Probleem: je kan niet àlle studenten in je studie opnemen. Te duur, te weinig tijd
o Je zal een steekproef nemen.
o Maar hoe precies, concreet?
– Enkele mogelijke concrete strategieën:
o Centrale plaats kiezen en voorbijgangers interviewen, bvb. Alma of bibliotheek?
o Studentenvereniging contacteren en leden interviewen?
o Iedereen in jouw studierichting interviewen?

Van drie strategieën leidt geen enkele tot representatieve steekproef

– Opname in steekproef te sterk afhankelijk van persoonlijke overwegingen, de beschikbaarheid van
respondenten, selectiecriteria
o De steekproef zal “vertekend” zijn (“bias”).
o Vertekening bij selectie vermijden of minimaliseren door eenheden op toevalsbasis te selecteren

soorten vertekening
1.“sampling error” of steekproeffout
– = het verschil tussen de populatie en de geplande steekproef
– Ongeluk bij trekking  niet-representatieve steekproef
– Nagaan of Vb. sekse en leeftijd niet significant verschilt van verdeling in populatie
– Vaak ook uitval en zelfselectie
– Vb. We willen % soap kijkers in kaart brengen
o Populatie N=200, steekproef, n=50
o Stel in werkelijkheid kijkt 50% naar soaps:

Om grote afwijkingen tussen (geplande) steekproef en populatie te vermijden:

– Toevalsselectie gebruiken, dus a-selecte steekproeven
– Maar ook toeval zal niet altijd perfect werken…

2
 o “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een
interval (betrouwbaarheidsinterval, zie verder).

2. Non- sampling error

– Selectie niet bepaald door toeval,
– dus zeer onderhevig aan selectie bias (bijvoorbeeld: zelfselectie zoals weigeren)
Vb. Non-respons = uitval
– Is geen selectie bias bij trekking (geplande) steekproef, maar selectie bias bij realisatie van de steekproef
door weigering tot medewerken, onbereikbaarheid, verkeerde informant
– Als non-respondenten afwijken van respondenten: vertekening
o Vb. werkende mensen minder bereikbaar
o Vb. jongere mannen weigeren meer
– Motivatie en inzet van interviewer nodig!!
o Drie keer terugkeren naar adres
– = Non-respons error (netlogo voorbeeld)

3. Onvolmaakt steekproefkader
– Wie er niet op staat kan niet worden geselecteerd
– Niet up to date (Vb. lijst werknemers: mensen zijn vertrokken)
– Meervoudige registraties. Sommigen staan twee keer of meer op lijst
o Meer kans om opgenomen te worden
– = Coverage error of dekkingsfout  systematische vertekening

5. Non-respons analyse
– Vergelijkbaar met “representativiteitsanalyse”, en is zelfde indien die analyse gebeurt met gerealiseerde
steekproef.
o Vergelijken van respondenten met populatie (maar fout kan ook bij steekproeftrekking zitten)
o Vergelijken van respondenten met non-respondenten op basis van voor iedereen gekende
informatie  dezelfde populatie???
o Vb. leeftijd en geslacht vaak gekend in steekproefkader. Nagaan of respondenten ouder zijn dan
non-respondenten, of mannen minder meedoen dan vrouwen. Geeft idee over non-respons fout.
o Reserve-respondenten: neemt weigering niet weg!

6.3.4 Schatten en toetsen

Sterktes van toevalssteekproeven
– Toevalssteekproeven > resultaten generaliseren (veralgemenen) naar doelpopulatie/ speciale universum
– Maar we weten dat we vaak geen 100% correcte resultaten zullen hebben (zie selectie bias).
– Onze resultaten zijn slechts “schattingen”, geen zekerheden!
o Altijd een zekere “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te
geven, maar als een interval (betrouwbaarheidsinterval: 1 - α)
o
– Als we toevalssteekproeven gebruiken dan kunnen we deze betrouwbaarheidsintervallen (B.I.) berekenen
o B.I. wordt rond onze schatting gelegd
o Bvb. we vinden 18% rokers in onze steekproef van 1200 mensen.
o Dit zal niet exact 18% zijn in populatie, maar zal wel in de buurt liggen.

We zoeken ondergrens en bovengrens van het interval waarbinnen het echte populatie percentage
met een bepaalde kans (Vb. 95%) zal liggen

3
Dus we kunnen met 95% zekerheid stellen dat het percentage rokers in de populatie tussen 15,83% en 20,17% ligt.
– Waar vind je de waarde van zα?
o In tabellen, maar meestal maar één van drie waarden:
% gewenste zekerheid Alpha niveau Z alpha
90% 10% 1,64
95% 5% 1,96
99% 1% 2,58

We kunnen met 95% zekerheid stellen dat de gemiddelde gezinsgrootte tussen 2,35 en 2,45 zit.

Slotsom
Toevalssteekproeven laten toe om te veralgemenen van steekproef naar doelpopulatie met een berekenbare kans
op vergissing
– Dit kan niet met selecte steekproeven
o Non respons  systematische vertekening
– Als je wil veralgemenen, dan steeds toevalssteekproef gebruiken.

Samenvatting
– Steekproeven
o Op basis van toeval trekken om selectie bias te voorkomen
o Voordeel van toevalssteekproef = veralgemenen naar populatie
 Daarbij drukken we onze onzekerheid uit in de vorm van een betrouwbaarheidsinterval

4
6.3.5 Hoe groot moet een steekproef zijn
– Is technische vraag, vaak ingewikkeld: welke nauwkeurigheid, welk α-niveau
– Onderwerpen aan “power analyse”
Algemeen: “hoe groter de steekproef, hoe kleiner onze kans op vergissing”

Absolute grootte vs. relatieve grootte

– De absolute grootte is van belang, niet de relatieve grootte (steekproeffractie)
o Steekproef van 1000 mensen in VS is even goed als steekproef van 1000 mensen in België, ongeacht
het feit dat de VS veel meer inwoners telt dan België
– Hoe groter de steekproef, hoe kleiner het BI, en dus hoe preciezer onze resultaten (omvang n zit in noemer
van de formules)

– Met zelfde kans op vergissen (5%) kunnen we in de grotere steekproef een kleiner, preciezer BI opgeven.
– Grotere steekproeven zijn dus preciezer, maar…
o Ook duurder en tijdrovender
o Hoe moeilijker om voldoende aandacht te schenken aan de steekproef. Minder zorg leidt tot
slechtere gegevens. Grotere steekproeven dus zeker niet steeds beter
o Dus nagaan of een grotere steekproef wel nodig is

Welke elementen in rekening brengen om grootte van steekproef te bepalen?

– Heterogeniteit in populatie (standaarddeviatie, SE)
– Gewenste kans van vergissing (de gekozen zα )
– Gewenste nauwkeurigheid (breedte van het BI)
– Analysebehoeften
– Praktische overwegingen (tijd en geld)

1. Heterogeniteit in populatie
– Verwijst naar diversiteit in populatie. Dit wordt gevat in variantie (=> Standard Error)

– Hoe heterogener de populatie, hoe groter de SE

o Meer steekproefeenheden om dezelfde nauwkeurigheid te bekomen
– SE: één component in berekening van BI

5
Herneming vb. aantal kinderen in gezin.

– Als populatie heterogener is dan zullen de BI’s groter zijn (minder precies worden)
o Dit tegenwerken door grotere steekproef te nemen (dan verkleint BI)
– Als populatie homogener is = allen van dezelfde sekse of leeftijd  kleinere steekproef
o Let op: een survey bevat meerdere variabelen; heterogeniteit verschilt van kenmerkt tot kenmerk!
Dus zoeken naar compromis.

2. De gewenste kans op een verkeerde beslissing

Meestel 95% betrouwbaarheid

3. Gewenste nauwkeurigheid
– Verwijst naar breedte van het gewenste BI
– Kan soms cruciaal zijn om een onderzoeksvraag te beantwoorden

Voorbeeld 6.4
– Vorige verkiezing: partij X 22% van de stemmen, partij Y 24%.
– We willen weten wie van de twee nu zal winnen.
– Als de BI’s te groot zijn en elkaar overlappen, dan niets besluiten
o Vb. steekproef van 500

– L = lengte van het betrouwbaarheidsinterval

– Gewenste steekproefomvang berekenen

6
 – Als je p en q niet kent: gelijk stellen aan 50  grootst mogelijke spreiding
– Stel 5% kans op vergissen, interval maximaal +/-0,9% punten rond schatter (L=1,8), we weten niet hoeveel p
is in populatie (dan nemen we 50):
50⋅50
n=4⋅1 ,96 2 =11856 , 8
1,8 2

4. Analysebehoeften
– Hoe meer variabelen je wil gebruiken  hoe groter je steekproef moet zijn
– Hoe meer categorieën (waarden) elke variabele bevat  hoe groter je steekproef moet zijn

Voorbeeld 6.6
– Negatieve houding tegenover migranten
– 6 variabelen, met 3 x 2 x 2 x 2 x 4 x 2 categorieën = 192 combinaties. Als je in elke combinatie 20 eenheden
wenst: 3840 eenheden in totaal nodig!
– Als er dan nog eens weinig in de populatie voorkomen van een bepaald type, dan moet je nóg meer
eenheden in steekproef nemen
o Niet haalbaar. In dat geval zal men elke populatie eenheid niet langer een zelfde kans tot opname in
de steekproef geven, maar sommige types een grotere kans. Dat is dan een “disproportioneel
gestratificeerde steekproef”

5. Praktische overwegingen
– Hoe groter de steekproef  hoe duurder  economische aard
– Deadlines als tijdsbeperking
– Datakwaliteit: organisatie is niet in staat om het af te werken  fouten

7
Types van toevalssteekproeven in het survey-onderzoek
1. Enkelvoudige Toevalssteekproef = simple random sample (SRS)
– Meest eenvoudige toevalssteekproef
o Elke populatie eenheid heeft dezelfde kans tot opname in steekproef (=steekproeffractie)
o Via een uitputtend steekproefkader en met toevalsgetallen
o Vb. Onschuldige hand uit hoed trekenn

Voorbeeld. 800 eenheden uit lijst eerste jaar KULeuven studenten (N=5779)
– Elke student heeft kans van 800/5779=13,8% om geselecteerd te worden

Percentages worden min of meer goed weerspiegeld

– Toeval heeft redelijk gewerkt, maar niet “perfect” (sampling error)
– Representativiteit naar faculteit is in orde, maar niet perfect
o Percentage van elke fac. in de steekproef ligt zeer dicht in buurt van het percentage in de populatie

Voordelen:
– Eenvoudig te realiseren
– Eenvoudig te analyseren (formules relatief eenvoudig)

Nadelen:
– Kleine groepen leveren kleine aantallen in steekproef  bemoeilijkt analyse
– Geografische spreiding verhoogt reiskosten interviewers (face-to-face interview)
– Omslachtige method en vaak zijn er geen genummerde lijsten

2. Systematische enkelvoudige toevalssteekproef

– Alleen het eerste element wordt toevallig geselecteerd
– Daarna selecteren we elke n-de eenheid = systematische wijze
o Bvb. elke 10de bezoeker in een bibliotheek
o Voordeel als geen genummerde lijst aanwezig is en enkel bestand
– Gevaar = systematiek kan leiden tot selectie bias
o Lijsten niet toevallig geordend
o Systematiek van ordening valt samen met de systematiek van de steekproeftrekking

8
Voorbeeld 6.8: lijst van soldaten.
– Elke tiende soldaat selecteren.
– Maar lijsten waren gerangschikt per rang in leger in afdelingen van 10 soldaten.
– Resultaat: enkel sergeanten in steekproef

3. Gestratificeerde toevalssteekproef
“Proportionele” gestratificeerde steekproef
– Proporties in de populatie worden volstrekt gerespecteerd: we “helpen” toeval een handje
– Gedeelte van variante onder controle gehouden en correct weerspiegeld wordt.
– Naar één of meer kenmerken
o Dit verdeelt de populatie op in groepen (strata = m)
o Daarna trekken we een toevalssteekproef in elk van die strata met zelfde omvang (n)
o Dit reduceert de variantie – er zijn geen afwijkingen meer tussen steekproef en populatie voor de
kenmerken waarop we stratificeren.

Vb. 800 eerste jaar studenten KULeuven uit frame van 5779
– Gestratificeerd naar faculteit
– Eerst populatie percentages bekijken om te berekenen hoeveel eenheden we per stratum moeten trekken.
o Vb. 6,21% van bewegings- en revalidatiewet. In populatie
o Dus 6,21% van 800=49,68 (=50) trekken

– P = proportie (kans op succes in stratum i)

– Q = complement ( 1 - p)
– W = proportioneel aandeel van stratum in de steekproef
– M = aantal strata
9
 – N = steekproefgrootte van stratum

Voorbeeld 6.9

Globale percentage kerksen berekenen?

– Percentage in elk stratum x aandeel in populatie (hier = w i)
– Sommeren
o (18,90 x 0,203) + (25,69 x 0,224) + (48,19) x (0,154 + 11,90) x (0,104) + (14,36 x 0,125) + (32,32 x
0,102) + (6,52x 0,029) + (8,00 x 0,031) + (32,16 x 0,028) = 24,69

Op basis van de steekproef schatten we 24,69% kerksen in en 95% BI is:

– SE = (1,072)1/2 = 1,035
– 24,69-(1,96 x 1,035)=22,66
– 24,69+ (1,96 x 1,035)=26,72

Indien gedaan alsof SRS:

– SE = [(24,69 x 75,31)/1605]1/2 = 1,076
– 24,69 – (1,96 x 1,076) = 22,58
– 24,69 + (1,96 x 1,076) = 26,80

– BI zal steeds kleiner of gelijk zijn aan dat van een SRS
– Dus gestratificeerde steekproef altijd beter dan SRS, gegeven zelfde kans op fout (α) en zelfde
steekproefomvang!

4. Disproportioneel gestratificeerde toevalssteekproef

Steekproef is gestratificeerd > trekken van eenheden per stratum
Steekproef is disproportioneel > de proporties van in populatie worden niet gerespecteerd in de steekproef
vb. uit elk stratum minimum 30 studenten
 kleinste strata oververtegenwoordigen met dezelfde steekproefomvang

Gewone gestratificeerde steekproef

10
In volgend voorbeeld werden de kleine aantallen opgetrokken tot 30, alleen het kleinste tot 28

Door minimum aantal op te leggen

– Kleine faculteiten oververtegenwoordigd
– Hierdoor andere faculteiten ondervertegenwoordigd
o Reden: totale steekproefgrootte blijft gelijk (let op: niet gerealiseerd in voorbeeld want daar blijven
de grotere groepen gelijk, maar men kan daar wel voor zorgen…)
o Als we méér nemen van enkele groepen, dan stijgt hun aandeel (over vertegenwoordiging)
o En dan daalt automatisch het aandeel van de andere groepen een beetje (onder
vertegenwoordiging)

Omdat bepaalde groepen over- en andere ondervertegenwoordigd worden

– Verhoudingen ten aanzien van populatie niet meer correct weerspiegeld
– Dus kunnen we niet zomaar onze resultaten veralgemenen. We moeten de proportionaliteit eerst terug in
orde brengen >Dit kan door te “wegen”
–
Twee manieren om te wegen (corrigeren)
1. op groepsniveau
– % kerksen berekenen zoals eerder: % x aandeel in populatie, en dan sommeren (29,37 x 0.581) = 17,06 + enz

– Ongewogen gemiddelde = (29,37 + 19,11 + 14,89) / 3 = 21,12%

o Dit zou correct zijn moesten de drie regio’s in de juiste verhoudingen in de steekproef zitten, maar
dat is niet zo  niet zomaar delen door 3!!!!!
– Parameter in elk stratum wegen met aandelen van elk stratum in de steekproef
o Ook fout!! Onderschatting
– Steekproefpercentages wegen met juiste verhoudingen in populatie
o Elke stratum is goede afspiegeling van elke regio (in VL 29,37% kerks)
o Als we naar België willen veralgemenen: elk stratum het gewicht geven dat ze hebben in de
populatie (bvb. VLA: 58,1%)

2. op individueel niveau wegen

– Elke eenheid juiste gewicht geven
– Omvang van steekproef gelijk houden
– Eens je een gewicht hebt per persoon kan je dit altijd gebruiken

11
 o Anders: voor elke analyse (tabel bvb.) steeds opnieuw gaan wegen
o Dus praktischer om eerst voor elk individu een gewicht te berekenen

Individueel gewicht gi = pop/wi

– Aandeel van stratum in populatie delen door aandeel van stratum in steekproef
o Bvb. 58,1% Vlamingen in populatie, 41,4% in steekproef: gewicht = 58,1/41,4 = 1,403
– Algemeen:
o in de steekproef ondervertegenwoordigde groepen krijgen een gewicht groter dan 1
o In de steekproef oververtegenwoordigde groepen krijgen een gewicht kleiner dan 1
o Correct vertegenwoordigde groepen krijgen gewicht 1
– Individueel gewicht wordt berekend op basis van de groepsgegevens (proportie in populatie / steekproef)
o Maar toegepast op individueel niveau

– Aantal kerksen veranderen

– Totaal percentage kerksen = aangepaste aantallen optellen en delen door gewogen steekproefomvang
– Hoger percentage omdat de regio waarin de kerksen beter vertegenwoordigd zijn, krijgen meer gewicht

BI berekenen met zelfde formule als voor gestratificeerde steekproef, maar w i = populatie aandeel!

√
m
pq
SE= ∑ w 2i n −1
i i

i=1 i

– SE voor disproportionele steekproeven niet kunnen berekenen op examen

5. Clustersteekproeven
– SRS met als “primaire eenheid” een verzameling van elementen (“cluster”)
o Onderscheid primaire en secundaire eenheden
 Secundaire eenheden tegelijk gekozen
o Vb. uit lijst van scholen toevallig (SRS) een aantal scholen kiezen (=primaire eenheid).
 Binnen elke gekozen school alle leerlingen (=cluster van secundaire eenheden)
– SRS kan in sommige gevallen ook gestratificeerd zijn als men bijvoorbeeld scholen eerst opdeelt ngl van
zinvolle criteria (Vb. Vrije scholen, officiële scholen.)
– Clusters moeten zo vergelijkbaar mogelijk zijn* (“inwisselbaar”) binnen elk stratum indien gestratificeerd
o Hoe meer verschillend ze zijn hoe groter de kans op vertekening
– SE groter dan bij SRS, maar moeilijk berekenbaar, want hangt af van mate waarin clusters op elkaar gelijken /
van elkaar verschillen

Voordelen
– Eliminatie grote geografische spreiding
o Vb. 10 scholen, dus maximaal 10 verschillende gemeenten
– Studie kan in groep gebeuren (goedkoper)
o Vb. vragenlijst klassikaal invullen
– Lost probleem op van niet-bestaande lijsten van elementaire eenheden

12
6. Tweetrapssteekproef
Vergelijkbaar met cluster steekproef
– Ook primaire en secundaire eenheden die toevallig geselecteerd worden*
o Eventueel binnen strata (Vb gemeenten per provincie in plaats van over gans het land, maar aantal
gemeenten evenredig met bevolkingsomvang per provincie)
– Eerst toevalssteekproef van primaire eenheden
– Daarna opnieuw toevalssteekproef van secundaire eenheden
o In cluster steekproef: geen steekproef op dit niveau, alle eenheden worden geselecteerd
o Om dit verschil aan te geven spreken we van sets ipv clusters
– Aantal primaire eenheden in verhouding tot hun aandeel in de populatie
o Meer primaire eenheden dan secundaire eenheden
– Aantal secundaire eenheden gefixeerd
o Resultaat = goede afspiegeling van de populatie met weinig geografische spreiding
o Vandaar meest gebruikte methode in België (en elders) voor persoonlijke interviews (reistijden
interviewers verkorten)
o Resultaat is dat secundaire eenheden eenzelfde kans hebben om in de steekproef te zitten

Steekproef trekking mét teruglegging

– Stel dat je terecht komt in Brussel, dan mag dit niet impliceren dat je nadien niet meer in Brussel terecht kan
komen. Je moet Brussel “terugleggen” en opnieuw de kans geven dat we Brussel trekken
– Hoe groter gemeente, hoe groter kans dat we ze trekken, en hoe groter ook de kans dat we ze meermaals
trekken
– Dus vaker in grote gemeenten dan in kleine gemeenten.
o Aangezien in elke set bvb. 15 adressen trekken, grotere gemeenten meer stkprfeenheden dan
kleinere gemeenten omdat ze kans hebben meermaals getrokken te worden (dus proportioneel naar
inwonersaantallen)

Vb. 589 gemeenten in België

– Van elke gemeente kennen we inwoners aantal (in totaal 10.541.893 inwoners)
Gemeente Totaal

Anderlecht 97153
Bruxelles 145717
Ixelles 77341
Etterbeek 42033
Evere 33848
Ganshoren 21177
Jette 43269

– We willen x sets trekken van elk 15 adressen zodat we 1000 eenheden in steekproef hebben. 1000 / 15 =
66,66 clusters
o Afronden naar 67 sets, dus in totaal 1005 secundaire eenheden
o
Tweetrapssteekproef:
– 67 sets, kans op selectie = 67/589 = 0,113752
– Kans op selectie secundaire eenheid = 15 / grootte gemeente (is gemiddeld 10.541.893 / 589 = 17.897,95)
o Dus 15/17.897,95=0,000838*
o Dit is gemiddeld, die kans is per set kleiner voor secundaire eenheden in grote gemeenten en groter
in kleine gemeenten, grote gemeenten hebben meer kans op meerdere sets
13
 – Kans op selectie = 0,113752 x 0,000838 = 0,000095

 Dus exact zelfde kans als bij SRS

Gemeente Totaal Clusters
We trekken onze 67 clusters op toevalsbasis uit de Excel file Anderlecht 97153 1
– 53 gemeenten geselecteerd
o Dus geografisch geconcentreerder dan SRS Bruxelles 145717 2
o 1 keer in Anderlecht (15 adressen) Evere 33848 1
o 2 keer in BXL (30 adressen)
Jette 43269 1
o 7 keer in A’pen (105 adressen)
Antwerpen 464038 7
Dus proportioneel naar grootte van de gemeenten Boom 16204 1
Gemeente Totaal % pop. Clusters

Anderlecht 97153 0,92 1

Bruxelles 145717 1,38 2
Evere 33848 0,32 1
Jette 43269 0,41 1
Antwerpen 464038 4,40 7
Boom 16204 0,15 1

Standaardfout (SE)

 blijft relatief beperkt

Voorbeeld 6.12

Effectief trekken van steekproef via software, bvb. Sas, SPSS,…

– Enige dat we nodig hebben: bestand zoals Excel bestand “gemeenten_Belgie”
o En dan via bv. Sas de steekproef trekken.
o Enkel opgeven hoeveel clusters je wil, en welke variabele de populatiegrootte per gemeente bevat.

7. Tweefasensteekproef
– Eerste fase: verkennen (screenen)
o Grote steekproef trekken
o Nagaan of ze aan een bepaald criterium voldoen, zij die daaraan voldoen: naar 2 de fase
– Vb. Onderzoek bij Internet gebruikers

14
 o Geen lijst met alle internet gebruikers in België
o Telefonische enquête (=fase 1) vragen: gebruikt u Internet? Zo ja => enquête afnemen (=fase 2)
8. Quota steekproef
– Geen toevalssteekproef, selecte steekproef

Quota = vaste aantallen of proporties

– Eerst verdeling van bepaalde kenmerken in populatie nagaan
o Vb. 51% vrouwen, 49% mannen; 20% lager geschoolden, 50% middengeschoolden, 30%
hooggeschoolden (matching bij experimenten)
– Dan ervoor zorgen dat de steekproef deze verdelingen volgt
o Interviewer heeft lijst van met eenheden dat van elke klasse gezocht moet worden
o Je contacteert iemand, bvb. een hogergeschoolde man, en gaat na of je nog zo iemand nodig hebt.

Probleem = selectie is niet toevallig

– Gestratificeerde steekproef met selecte keuze binnen strata, afhankelijk van
o Interviewer en diens voorkeuren (of vrienden, kennissen)
o Bereikbaarheid en bereidwilligheid van elementen
– BI niet berekenbaar! Dus geen veralgemenende uitspraken mogelijk…
o Probleem wordt minder erg bij “random walk” = vreemde streek

“Random walk”
– Gebruikt voor persoonlijke interviews
– Geef startpunt aan interviewer
o Bvb. Korte Sint Annastraat A’pen, nummer 15
– Dan regel over route:
o Bvb. 6 huizen tussenlaten, aanbellen, indien geen contact: verder langs deze zijde van de straat,
indien wel contact, oversteken, 6 huizen verder lopen, aanbellen,… enzoverder
– Bij elke contactname nagaan of er iemand woont die we nodig hebben
– Zo wordt de selectie van mensen toch wat “meer toevallig”
o Minder invloed van voorkeuren interviewer
– In commerciële onderzoek vaak gebruikt
o Want goedkoper
o En soms kan men indruk wekken bij klanten dat steekproef in orde is
o Soms berekent men BI’s, en zelfs de BI’s die horen bij SRS. Is misleidend en deontologisch niet
correct.
6.5 Natuurlijke/ theoretische steekproeven
– Selectie niet toevallig
– Maar op basis van theoretische gronden: redeneren
o Doel = cases vinden die theoretisch interessant zijn (rijk aan informatie)
o Vb. zoeken naar grootst mogelijke variatie
o Om te zien of theorie blijft kloppen bij al deze mogelijke cases
o Cfr. analytische inductie: hypothese toetsen door cases te selecteren die grootste kans geven om
hypothese te moeten verwerpen. Als dat niet meer kan: theoretische verzadiging

“Open” steekproeven
– Steekproef wordt groter naarmate veldwerk vordert. In functie van bevindingen: nieuwe (extra) cases
zoeken. Dus steekproef groeit

Toevalssteekproeven binnen survey onderzoek: “gesloten” steekproeven

– We beginnen met een vast aantal steekproefeenheden (bv. 2000), en daarbij gaan we bv. Interviewen
– Steekproef “krimpt” zelfs onder invloed van weigeringen, onbereikbaarheid
o Uiteindelijk zal gerealiseerde steekproef kleiner zijn dan geplande steekproef
15
Vb. 6.15: “Silent community” Delph
– Doel = op welke plaatsen vinden anonieme, vluchtige homoseksuele contacten plaats tss. mannen in New
York, en hoe verlopen die ontmoetingen daar, welke gedragsregels,… (en verschillen die naar soort plaats,
“setting”)?
– Steekproef van “alle openbare plaatsen in NY waar homoseksueel gedrag voorkomt”
o Gedrag verborgen houden  in stilte
Gaat dus op zoek naar zulke plaatsen = participerende observatie
– Geholpen door informant “Dr. E.”
– Probeert zo uiteenlopend mogelijke plaatsen te selecteren
o Openbare parken, Publieke toiletten, Stranden, Tunnels
– Dus “steekproef” van plaatsen, en observeert telkens hoe men zich daar gedraagt

6.5.1 Verschillen theoretische steekproeven en toevalssteekproeven

– Wordt gecreëerd tijdens veldwerk, niet ervoor
o Zolang het nodig is om de theorie bij te schaven worden eenheden geselecteerd op basis van hun
informatieve waarde.
o Selectie van eenheden dus niet toevallig (statistisch), maar op basis van theorie. “Welke eenheid is
meest informatief voor mijn theorie”
o Constant rekening houden met ruimte en tijd  theoretisch verantwoorden
– Interactief
o Selectie ligt bij aanvang niet vast  beslissing nodig
o Steekproef wordt opgesteld in interactie met analyse. Na analyse van bestaande cases: welke
eenheid (eenheden) zou ik nu moeten hebben? Dus keuze afhankelijk van analyse uitkomsten =
interactief
– “Open”
o Representativiteit moet pas op einde gerealiseerd zijn, niet in het begin zoals bij een
toevalssteekproef (die dan minder representatief wordt door uitval)
o Vs. Gesloten: toevalssteekproeven binnen survey onderzoek

Douglas: creatieve steekproeven

– Naarmate fenomenen “meer essentieel” voor menselijk gedrag, hoe minder cases nodig
– Doorgaan met selecteren tot geen nieuwe inzichten meer mogelijk (‘theoretische verzadiging’)
– Actief zoeken naar negatieve gevallen
– Als theorie toch stand houdt: dan sterke theorie
– Cfr. analytische inductie!

time sampling = totale duur vooraf bepaald via verzadiging en cycli

6.5.3 Types van theoretische steekproeven

1. Sneeuwbalsteekproef
– Steekproef wordt groter naarmate onderzoek vordert
– Startpunt = Eén of meer starteenheden
o Die je in contact brengt met anderen (die voldoen aan een bepaald criterium)
– Twee methoden om te beginnen
o Aantal zeer verscheiden subjecten en vragen om anderen aan te duiden
o sleutelinformanten
– Vb. onderzoek Becker bij Marihuana gebruikers
16
 o Je start met een paar mensen die je in contact brengen met andere gebruikers
– Gevaar = blijven steken in “kliekjes”
o Proberen zo gevarieerd mogelijke “ingangen” te vinden

2. Doelgerichte steekproeven
– Selectie van “informatierijke” elementen
o Steekproeven met extreme of afwijkende gevallen
o Steekproeven met zo groot mogelijke verscheidenheid
o Homogene steekproeven
o Steekproeven van typische gevallen

17
7: De gestandaardiseerde vragenlijst
7.1 Inleiding
Survey onderzoek
– Onderzoeksvraag, theorie, hypothesen = kunst en kunde
o Onderzoeksplan
– Concepten geoperationaliseerd in vorm van survey vragen
– Steekproef getrokken
– NU: vragenlijst maken (=H7) en in bepaalde vorm (modus: persoonlijk of telefonisch interview, postale of
web enquête) gebruiken in veldwerk (=H8)
Survey modi
– Interviewer of niet?
– Communicatie kanaal?
– Op papier of computer?
Interviewer Geen interviewer
Papier PAPI (Paper And Pencil Interview) SAQ (Self Administered Questionnaire, bv.
post enquête)
Computer CAPI, CATI (Computer Assisted CASI (Computer assisted Self Interview, bvb.
Personal/ Telephone Interview) web enquête)

Focus H7 = vragen en vragenlijsten ontwerpen

– Operationaliseringen van concepten in vorm van survey vragen is een eerste, ruwe, omzetting naar een
survey vraag
– Nu: verfijnen. Rekening houden met kennis over hoe je best vragen stelt
– Waarom belangrijk?

Voorbeeld 7.2
1983: plaatsen kruisraketten in België
– Veel protest, marsen
– Vraag: “hoeveel procent van de Belgen is voor en hoeveel procent is tegen?”
– Opiniepeiling Panorama bij 1376 Belgen
o Voor: 16,9%
o Tegen: 78,8%
o Geen mening: 4,3%
 Dus “meerderheid Belgen tegen”
– Opiniepeiling Pourquoi-pas bij 1200 Belgen
o Tegen: 34,1%
 Dus “minderheid Belgen tegen”
– Twee opiniepeilingen bij zelfde populatie in zelfde periode geven tegenovergestelde resultaten… Waarom?
o Kan aan allerlei zaken liggen
o Denk aan 4 foutenbronnen van een survey

Vier foutenbronnen survey onderzoek

– Dekkingsfout (coverage error)
– Steekproeffout (sampling error)
– Non-respons fout (nonresponse error)
– Meetfouten (measurement error)

18
Elk survey maakt deze fouten, maar sommige maken ze meer dan andere
– Verschillen in fouten leiden tot verschillen in resultaten
– Bv. de ene peiling gebruikte een beter sampling frame dan de andere
– Of: meer non-respons in het ene survey tov het andere
– Of: meer sampling error in het ene dan in het andere…
 Maar hier vooral aandacht aan meetfouten: hebben we wel dezelfde vraag gebruikt, in dezelfde context?

Vraag Panorama:
– Bent U voor of tegen de plaatsing van kernwapens in België?
o Voor 16,9%
o Tegen 78,8%
o (Geen mening) 4,3%

Vraag Pourquoi-pas?
– Welke van de volgende oplossingen hebben uw voorkeur om beter de verdediging van België en Europa te
waarborgen? 
o Beslist om op z’n grondgebied Pershing
raketten te installeren onder controle van
het Atlantisch Bondgenootschap 34,9%
o Beslist om op z’n grondgebied Pershing
raketten te installeren onder uitsluitende
controle van de Belgische regering 27,1%
o De installatie van Persing raketten op z’n
grondgebied weigert 34,1%
o (Geen mening) 3,9%

Ontleding van de vraag van Pourquoi-pas

– Manisfest attitude object (plaatsing van raketten ) EN tweede attitudeobject (bevoegheid van Belgische
regering vs. NAVO maar in feite alleen Amerikanen bevoegd!
– Kernwapen werd vervangen door Pershing maar is fout, het gaat om kruisraketten
– Er is geen expliciete geen mening  zonder mening hebben 2/3 kans voor te zijn
– Eénzijdig argument in vraagtekst: oplossing om de verdediging van België en Europa te waarborgen
o Uitgangspunt = er is een probleem (nl. bedreiging van B en Eur.) en we moeten daar iets aan doen:
wat?
o Maakt het de respondent (R.) moeilijk om te zeggen “niets”
– Er zijn twee antwoordmogelijkheden die het plaatsen van de raketten goedkeuren, en slechts één die het
afkeurt  onevenwicht
– Het afkeurende antwoord staat laatst en goekeurende eerst
o Verlaagt de kans dat de R dit zal noemen
o Hangt af van modus: telefonisch, schriftelijk of face-to-face
 Conclusie: deze vraag “duwt” R naar het goedkeuren van het plaatsen van raketten!

Voorbeeld: gemeentelijk stemrecht voor migranten?

– Politiek “hot topic” rond 2002-2003
– Hoeveel % van de Belgen is voor of tegen?
o Le Soir: 55% voor
o Het Belang van Limburg: 80% tegen
o Wat is het nu? Voor of tegen???

Wetenschappelijke peilingen (cijfers voor Vlaanderen):

– ISPO 1999: 36% tegen
– APS 2001: 49% tegen
– DWTC 2002: 61% tegen
– ISPO 1999 (face-to-face)

19
 o “Vreemdelingen die hier lang genoeg legaal wonen moeten gemeentelijk stemrecht krijgen”
– APS 2001 (face-to-face)
o “Vreemdelingen die meer dan 5 jaar legaal in België wonen moeten gemeentelijk stemrecht krijgen”
– DWTC 2002 (postaal)
o “Vreemdelingen die hier 5 jaar verblijven moeten gemeentelijk stemrecht krijgen”
Verschillen?
– Verblijfsstatuut
o ISPO en APS vermelden dat het gaat om legaal verblijvende vreemdelingen, DWTC zegt hier niets
over
o Mensen allicht eerder geneigd gemeentelijk stemrecht voor legale vreemdelingen goed te keuren
– Duurtijd van verblijf
o ISPO zegt lang genoeg, APS zegt 5 jaar of langer en DWTC zegt 5 jaar
o “lang genoeg” is vaag en houdt element van integratie in.
– Modus
o ISPO en APS: persoonlijk interview, DWTC: postale enquête
o Met interviewer: meer sociale wenselijkheid: men zal een meer politiek correct antwoord geven

Zijn deze verschillen belangrijk genoeg om van minderheid tegenstanders (36% ISPO) naar meerderheid
tegenstanders (61% DWTC) te gaan?
– Kunnen we nagaan in een experiment
– We houden alles gelijk in de groepen, behalve de vraag waarop ze antwoorden (of de survey modus waarin
ze antwoorden)
– Vb. van experiment ingebed in survey onderzoek

Studie in 2004, bij eerste jaar KUL studenten

– Web enquête:
o 6 condities (= 6 versies van de vraag)
o Resultaat van kruising van 2 factoren:
 Status van verblijf: “legaal” vs. niets vermelden (2 levels)
 Duurtijd van verblijf: “5 jaar of langer” vs. “lang genoeg” vs. niets vermelden (3 levels)
 Dus 2 x 3 = 6 levels of condities
– Face-to-face enquête met één versie van de vraag (DWTC versie)

Resultaten:

– Vraagverwoording alleen: van 29,1% naar 56,5% dus +27,5% punten

– Modus alleen: van 31,9% naar 47,6%, dus +15,7% punten
– Samen zouden we dus maximaal +43,2% punten kunnen bereiken als effecten cumulatief zijn
– Door andere vraagverwoording en andere survey modus kunnen we een volledig ander resultaat bekomen
o Als survey onderzoeker goed de effecten begrijpen en zorgen voor de “beste vraag
o Erover waken dat anderen dit niet misbruiken voor eigen doeleinden
o Bv. politieke partijen zouden hun eigen maatschappelijke basis kunnen creëren door een bepaalde
vraag en survey modus te kiezen

Hoe effecten van vraagverwoording en context (bv. Survey modus) begrijpen?

– Theoretische inzichten in het vraag-antwoord proces
– Op basis van “methodologische experimenten”, vrnl. “split-ballots”
– Op basis van ervaring

20
7.2 Algemene aanbevelingen
1. Onderzoeksvragen niet uit het oog verliezen
– Elke vraag moet verband houden met je onderzoeksvraag of -vragen
o Enkel vragen wat je echt nodig hebt om de onderzoeksvraag te beantwoorden. De rest is “ballast” en
moet je schrappen
– Neiging om steeds meer vragen te verzinnen
o Geduld en tijd is echter beperkt
o Geen enkele specifieke vraag
o Vraag je af: waarom wil ik dit weten?

2. Putten uit vorige vragenlijsten van andere onderzoekers

– Warm water niet opnieuw uitvinden, recycleer vragen
o Sommige topics worden mbv “standaard-vragen” bevraagd.
o Dit verhoogt vergelijk-baarheid van surveys onderling.
– Maar let op: geen al te oude vragen hergebruiken. Gewijzigde sociale context kan hun betekenis gewijzigd
hebben
o Dus kijken of ze wel nog zelfde betekenen en dus “meten”

3. Begrijpelijke vragen met geen te moeilijke woorden

– Vervang moeilijke woorden door eenvoudigere synoniemen of omschrijvingen
o Vrijetijdsbesteding……………..ontspanning
o Toelage………………………….bijslag

4. Vragen stellen in “goed Nederlands” en in volledige zinnen

– Hoeft geen stijve schrijftaal te zijn
o Bij interviews zelfs richten naar gesproken taal
o Bij homogene groepen kan evt. slang gebruiken
– In volledige zinnen, dus niet “Leeftijd”, “Uw postcode”,… (vb.)

21
Aantal jaar gewoond in Vlaanderen
Verwacht patroon:
___________ jaar
Uw stad of gemeente
40
___________stad of gemeente
Uw deelgemeente
Leuven
___________deelgemeente

Kessel-lo

Aantal jaar gewoond in Vlaanderen

Geobserveerd
___________ jaar patroon voor 20%:
Uw stad of gemeente
40
___________stad of gemeente
Uw deelgemeente
___________deelgemeente
5

Men interpreteert elke vervolgvraag in termen van aan

1. Hoeveel jaar hebt u gewoond in Vlaanderen? ___________ jaar
2. In welke stad of gemeente woont u? ___________stad of gemeente
3. In welke deelgemeente woont u? ___________deelgemeente

5. Vragen best kort houden, tenzij in bijzondere gevallen

– Toevoeging van zinnen is nuttig zolang de vraag niet gewijzigd wordt
– Soms wat langere vraag om
o Mensen de tijd te geven na te denken
 Vooral voor herinnering nodig
o Een bedreigende context weg te werken

22
  Vooral voor bedreigende vragen (zie verder)
– Antwoord op langere vraag is vollediger omdat vraag wordt herhaald
6. Eenduidige en eendimensionele vragen: slechts één attitudeobject
– Vermijd vragen die naar twee of meer dingen tegelijkertijd peilen (“double barreled questions”)

Voorbeeld
– Bent u ervoor of ertegen dat vreemde-lingen die ons land binnenkomen medisch onderzocht worden en in
afzondering geplaatst worden als zij drager zijn van het aids-virus?
o Voor
o Tegen

Twee attitudeobjecten
– Houding tegenover medische controle
– Houding tegenover het in afzondering plaatsen
– Voor het ene en tegen het andere  wat dan antwoorden?
– Verschillende dimensies opsplitsen in meerdere vragen

– V1. Bent u ervoor of ertegen dat vreemdelingen die ons land binnenkomen medisch onderzocht worden?
o Voor: Ga naar Vraag 2
o Tegen: Ga naar Vraag 3
– V2. Bent u ervoor of ertegen dat vreemdelingen die ons land binnenkomen in afzondering geplaatst worden
als zij na medisch onderzoek drager blijken te zijn van het aids-virus?
o Voor
o Tegen

7. Vermijd dat respondent JA moet zeggen om NEEN te bedoelen (dubbele negaties)

– Bent u voor of tegen het niet toestaan van de staat om belastingen te verhogen zonder 60% meerderheid?
– Bent u voor of tegen het vereisen van een 60% meerderheid om de belastingen te verhogen?

8. Alle antwoordmogelijkheden overzichtelijk meegeven, maar niet vooraan in de vraagtekst

– Bij post of web-enquête: niet in vraagtekst vermelden
– Bij persoonlijk interview achteraan in vraagtekst, antwoordkaart gebruiken als meer dan 3 antw. cat.
– Bij telefonische: achteraan in vraagtekst

9. Vermijd vragen die het kennisniveau van respondenten overstijgen

– “Hebt u de indruk dat de prijzen van de meeste producten in vergelijking met vorig jaar sneller gestegen zijn,
even snel gestegen zijn, of trager gestegen zijn?”

9b. Vermijd het om respondenten onnodige berekeningen te laten maken

– Welke proportie van uw zakgeld besteedt u maandelijks aan de film? ________
o Betekenis van proportie?
– Hoeveel zakgeld hebt u vorige maand in totaal besteed? ________
– Hoeveel zakgeld hebt u vorige maand aan de film besteed? ________
9c. Vermijd vragen die ten onrechte veronderstellen dat de respondent een exact antwoord kan geven
– “Hoeveel boeken hebt u gedurende de laatste 12 maanden gelezen?”
– “Hoeveel boeken hebt u ongeveer gedurende de laatste 12 maanden gelezen?”
o Geen
o 1-10
o 11 of meer

9d. Maar probeer toch zo exact mogelijke info te krijgen

– Hoe vaak woonde u kerkelijke diensten bij gedurende het afgelopen jaar?

23
 o Nooit, zelden, soms, vaak, altijd
– Hoe vaak woonde u kerkelijke diensten bij gedurende het afgelopen jaar?
o Geen enkele keer
o Een paar keer
o Ongeveer een keer per maand
o Ongeveer een keer per week

10. Onderscheid tussen vragen over feiten en opinies

– Vragen over persoonlijke feiten, ervaringen = makkelijker te beantwoorden
– Perceptievragen: oordeel uitspraken = moeilijker

11. Geef indien nodig een precieze definitie van begrippen in de vragen
– Gemeenschappelijk referentiekader bieden
o Hoe de vraag duidelijk overbrengen
– Zorgt ervoor dat mensen hetzelfde idee hanteren bij het beantwoorden van de vragen
– Vooral van belang als exacte informatie nodig is
o Vb. definitie van “huishouden”, “kamers”, “een job hebben”

Voorbeeld. VS: National Health Institute

– Wat zijn groenten?
o Frieten worden ook gerekend als groenten!
o Hoeveel mensen zouden spontaan frieten meerekenen?

Let op: definities “verzwaren” de vragenlijst (VL)

– Worden vaak niet gelezen
– Geven indruk dat VL complex is
– Definitie al of niet geven maakt soms zelfs niet eens zoveel uit voor de antwoorden
– Dus enkel voor cruciale vragen gebruiken!

Volgende aanbevelingen eerder op het niveau van vragenlijst

12. Algemene inleiding in vragenlijst, en inleidende stukjes bij onderdelen vragenlijst

– Introductiebrief: informatie over onderzoek
o Onderzoeksorganisatie voorstellen
o Onderwerp & doel onderzoek
o Vertrouwelijke verwerking gegevens
– In algemene inleiding: kort herhalen, taak van respondent duidelijk maken, anonimiteit
– Bij nieuw thema in vragenlijst: kort situeren om overgang duidelijk te maken
13. Volgorde van de vragen!
– Vragen schikken om tot een zinnig en logisch geheel te komen
– Vragen samen zetten naar thema vanuit perspectief respondent
o Inhoudelijk samenhorende onderwerpen bij elkaar plaatsen
– Eerste vraag moet gemakkelijk, interessant en op de meeste mensen van toepassing zijn
o Gesloten vragen
Niet
1. In welk jaar bent u geboren?
1. Denk aub na over alle dingen die deze wijk een leuke plaats maken om in te wonen. Schrijf dan de 5 belangrijkste
dingen neer, gerangschikt van het meest belangrijke tot het minst belangrijke ding.

Wel
1. Als je aan deze wijk denkt, in welke mate vind je dit leuke plaats om te wonen?
1. Hoe lang woon je al in deze wijk?

24
 – Doorheen VL: van gemakkelijke naar moeilijkere vragen (die kern van informatie bevatten), dan terug
gemakkelijkere = soort cadans.
– Trechterkeuze = algemeen  specifiek = beste keuze
– Omgekeerde trechterkeuze = specifiek  algemeen = bij complex onderwerp
– Laatste blok = debriefing. Ervaring van R met vragen (evt. over gevoelige vragen)

14. Schriftelijke VL: opmaak goed verzorgen

– Instructies duidelijk onderscheiden van eigenlijke vragen
– Vermijden dat interviewer fouten maakt
– Doel = vooral oriëntatie in VL bevorderen
o Naar welke vraag moet ik nu gaan?
o Waar staan de antwoordopties die bij deze vraag horen?
o Hoe moet ik deze vraag beantwoorden?
– Bevorderlijk voor de verwerking van de vragenlijst
– Mooie en duidelijke lay-out, geen overdaad!
– Vragen en antwoordopties visueel groeperen
– “Doorverwijzingen” goed zichtbaar maken (bv. pijltjes gebruiken)

Samenvatting
– Manier waarop vragen gesteld: effect op antwoorden
– Enkele “regels” om in achterhoofd te houden bij aanmaak vragenlijst
o Gebaseerd op theorie, experimenteel onderzoek, ervaringen

7.3 Specifieke regels voor verscheidene vraagsoorten

– Feiten: het ‘ware’ antwoord in principe bekend dat gecontroleerd kan worden
– Opinie: waarderende betrokkenheid

Foutenbronnen
– Onnauwkeurige omschrijving van de gewenste informatie in de vraag
– Falende geheugen van respondent
o R. categoriseren gebeurtenissen niet per precieze maand of jaar
o Sommige zaken te alledaags
– Sociale (on-) wenselijkheid; dreigend karakter
7.3.1 Vragen over feiten, gedragingen en gebeurtenissen
A. Niet-bedreigende vragen
1. Zo volledig mogelijk qua antwoord categorieën bij een gesloten vraag
– Vermijd andere, specificeer  teveel moeite voor respondent

2. Geheugensteuntjes (bronnen raadplegen) tegen onderraportering

3. Overzichtelijke chronologische tabellen zodat niets vergeten wordt

– Nadeel: kan respondent in richting duwen
– Screening question = voorafgaande open vraag of de feiten wel eens voorkwamen

4. Precies omschreven tijdsperiodes: algemene vragen opsplitsen

– Voor weinig voorkomende gebeurtenissen: geen al te lange tijdsperiode:
o “Hoeveel keer hebt u in de afgelopen 3 jaar een dokter bezocht?”
o “Hoeveel keer hebt u in de afgelopen 6 maanden een dokter bezocht?”
– Voor alledaagse gebeurtenissen: vragen naar schatting voor een typische week (hier periode niet te kort
maken!)

25
 o “Hoeveel keer hebt u in het afgelopen jaar op restaurant gegeten?”
o “Hoeveel keer gaat u in een gemiddelde maand uit eten op restaurant?”

5. Tweetrapsvragen met eerst ruime klasse en daarna specifieke items

6. Verscheidene vragen om te voorkomen dat R zich van periode vergist

7. “Cognitief design” om herinnering te stimuleren

Niet cognitief
10. Nu zou ik u iets willen vragen over de laatste keer dat u met de wagen reed. Gedurende die laatste rit, zou u
zeggen dat u uw veiligheids-gordel
– de hele tijd droeg
– ongeveer de helft van de tijd droeg
– of niet droeg?

Cognitief
10. Nu zou ik u iets willen vragen over de laatste keer dat u met de wagen reed. Wanneer was dat?
– Vandaag
– Gisteren
– Eergisteren of daarvoor
11. Zou u ongeveer kunnen zeggen waar die laatste rit begon en eindigde?
12. Hoe lang was deze rit ongeveer?
– Minder dan 2 kilometer
– 2 tot 10 kilometer
– Meer dan 10 kilometer
13. Was u tijdens deze rit...
– De bestuurder
– Een passagier in de voorste zetel
– Een passagier, achteraan gezeten
14. Gedurende die laatste rit, zou u zeggen dat u uw veiligheidsgordel...
– de hele tijd droeg
– ongeveer de helft van de tijd droeg
– of niet droeg?
Doel
– = bewuste rit voor ogen halen om zo een betere herinnering van de gebeurtenissen te krijgen
Nadeel
– = maakt vragenlijst zeer lang.
– Enkel gebruiken voor cruciale vragen!

8. Lange vragen gebruiken respondent kan langer nadenken.

9. Opletten met proxy respondenten

– “proxy” = iemand in “nabijheid” van persoon waarin we geïnteresseerd zijn en die ons over die persoon info
verschaft. (Vb. man over zijn vrouw, moeder over haar zoon)
– Is minder nauwkeurige info (zeker niet gebruiken voor opinies!)
– Geen info over ouders bij kinderen vragen zonder toestemming ouders

10. De vijf W’s: Wie, wat, waar, wanneer, waarom?

B. Bedreigende vragen
– Gevaar op onderrapportering, ontwijkende antwoorden
o Gezondheid, Illegaal gedrag, Gedrag tegen gangbare normen, Financiële vragen

26
1. Open vragen indien mogelijk
– Vermijd suggestie van sociaal wenselijke antwoorden

2. Lange vragen ipv korte vragen voor frequentie vragen

3. Vertrouwde woordenschat gebruiken: familiaire

4. Sociaal onwenselijk gedrag: eerst: is het al eens voorgekomen? Daarna pas het actuele gedrag.
– Is het al eens gebeurd dat u onveilig gevrijd hebt?
o Ja
o Neen
– Hebt u tijdens de voorbije twee weken onveilig gevrijd?
o Ja
o Neen

Bij sociaalwenselijke vragen: direct actuele gedrag

– Hebt u tijdens de voorbije 3 maanden een goed doel financieel ondersteund?
o Ja
o Neen

5. Vraag minder bedreigend maken door woordkeuze

– Hebt u ooit een winkeldiefstal gepleegd?
o Ja
o Nee
– Hebt u ooit iets meegenomen uit een winkel zonder er voor te betalen?
o Ja
o Nee

6. Geen controles op antwoorden op bedreigende vragen (bv. meermaals stellen)  wantrouwen

7. Bijzondere technieken om anonimiteit te waarborgen

o ACASI of stembustechniek
o Randomized Response
o Voet tussen de deur techniek

ACASI
– Audio Computer Assisted Self Interview
– Gebruikt bij CAPI. Bij reeks van bedreigende vragen wordt laptop aan R gegeven, die dit gedeelte zelf invult.
– Audio: stem leest vragen voor (hoofdtelefoon) om mensen met leesmoeilijkheden te helpen.

Stembustechniek
– Bij PAPI, bedreigende vragen zelf invullen op papier, en in gesloten omslag aan interviewer geven

Randomized Response
– Twee vragen, één bedreigend, één niet bedreigend
– Welke van de 2 beantwoorden: gebaseerd op toeval, enkel R weet op welke van de 2 hij antwoordt
– Antwoordverdeling op niet bedreigende vraag moet gekend zijn, alsook kans dat de bedreigende vraag
gesteld wordt

Vraag A = “Hebt U inkomens niet aangegeven aan fiscus?”

Vraag B = “bent u geboren in Juli?”
– Toestel dat bepaalt welke vraag moet worden beantwoord, 70% kans op A, 30% kans op B. Enkel R weet wat
uitkomst is!

27
 – Op basis van antwoorden in volledige sample kunnen we % inkomens niet aangegeven bij fiscus schatten

Voorbeeld 7.7 . stel dat 450 R op 1500 JA zeggen

Op welke vraag (A of B) weten we niet!
– Kans dat men vraag B moest beantwoorden (geboortemaand) = 0,30
o Kans dat men dan JA zal zeggen is 1/12
o Gecombineerd: 0,30 x 1/12 = 0,025
o Dus 0,025 x 1500 = 37,5 zegt JA op vraag B
– De rest (450-37,5=412,5) heeft JA gezegd op vraag A.
o Dus 412,5 / (0,7 x 1500) = 39,3% heeft bepaalde inkomens niet aangegeven

Problemen met Randomized Response

– Geen info op individueel niveau, dus we kunnen niet correleren met andere variabelen (zoeken naar
samenhangen dus uitgesloten)
– Wantrouwen bij R (is dit een truuk?)
– Goede controlevraag niet eenvoudig (geboortemaand vaak gekend of gevraagd in enquête). Zoeken naar
vraag waarvan we verdeling kennen in populatie, niet bedreigend is, en waarbij aantal JA’s groot genoeg is
(+/-10%)

Voet tussen de deur techniek

– Eerst een minder bedreigende vraag, daarna de bedreigende
– Vb. inkomensvraag

1. Hoeveel bedraagt uw maandelijks netto inkomen? ____ Euro

1. Bedraagt uw maandelijks netto-inkomen meer of minder dan 1.500 Euro?

– Meer
– Minder

2. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

Minder dan 1000 Euro 1501 – 1750 Euro

1000 – 1250 Euro 1751 – 2000 Euro
1251 – 1500 Euro 2001 – 2250 Euro
Meer dan 2250 Euro

(schaal afhankelijk van antwoord op vraag 1)

1+2. Gecombineerd
V1. Hoeveel bedraagt uw maandelijks netto inkomen? ______ Euro => ga naar V5
Weigert te antwoorden => ga naar V2

V2. Ik begrijp dat het niet gemakkelijk is om op deze vraag te antwoorden. Toch is deze informatie voor ons heel
belangrijk. Ik zou u daarom willen vragen of uw maandelijks netto-inkomen meer of minder bedraagt dan 1.250
Euro?
– Meer
– Minder
– Weigert => ga naar V5

28
3. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

• Minder
dan 1000
Euro
• 1000 –
1250
Euro
• 1251 –
1500
Euro
GA NAAR V5
4. In welke inkomenscategorie valt uw maandelijks netto-inkomen?

• 1501 –
1750
Euro
• 1751 –
2000
Euro
• 2001 –
2250
Euro
• Meer
dan
2250
Euro
5. (vervolg van de VL)

Schema

29
Experiment: Niet in schemas

8. Op aggregaatsniveau de antwoordverdelingen controleren op geldigheid

– Betrouwbare statistische informatie

9. Laden van de vraag door gebruik van leading questions

10. Laden van de vraag door gebruik van question loading

Question Loading
– “laden van vragen” om het geven van sociaal onwenselijke antwoorden te vergemakkelijken
o Veronderstel het gedrag
o “Iedereen doet het”
o Rechtvaardigen
o Anderen doen het ook

1. De Kinsey techniek: Kijk de respondent recht in de ogen en vraag in klare taal, met de woorden die de respondent
gewoon is..
– “Hebt u uw echtgenoot vermoord?”

2. De achteloze benadering
– “Gebeurde het wel eens dat u uw echtgenoot vermoordde?”

3. De genummerde kaart
– “Wilt u het nummer van deze kaart lezen dat overeenkomt met hetgeen met uw echtgenoot gebeurde?”
o a. Hij stierf een natuurlijke dood
o b. Ik heb haar vermoord
o c. Andere (wat?)

4. De « iedereen doet het » benadering

– “Zoals u weet hebben al veel vrouwen hun echtgenoot vermoord.
o Hebt u uw echtgenoot vermoord?”

5. De « andere mensen » benadering

– “Kent u iemand die zijn echtgenoot vermoord heeft?
o Hebt u uw echtgenoot vermoord?”

Je kunt natuurlijk ook nog “vermoord” vervangen door “van het leven benemen”, maar of dat in zo’n geval zal helpen
om cimineel gedrag te rapporteren???

Question loading
– Veronderstel het gedrag (“leading questions”)
o Hoeveel sigaretten rookt u per dag ?
30
 o hoeveel lessen bros je gewoonlijk per week ?
o wanneer was je de laatste keer dronken ? 
o welke kleur had de fiets die je onlangs hebt meegenomen?
– Anderen doen het ook
o Kent u studenten die al eens een fiets ontvreemd hebben om een tijdje te gebruiken?
o Hebt U al eens een fiets vervreemd?
– Rechtvaardigen
o Nogal wat geneesheren zijn van oordeel dat wijn de spijsvertering kan verbeteren.
o Hebt u in de afgelopen week wijn gedronken?
– Iedereen doet het
o Zelfs de meest kalme ouders worden al eens kwaad op hun kinderen.
o Hebt u zich in de afgelopen week kwaad gemaakt op uw kinderen?

Let op: leading questions niet hetzelfde als question loading

– Leading question = vraag waarin de veronderstelling fout is
o “welke kleur had de fiets die je meenam?”
o “hoe snel reed de wagen toen hij door het stop-teken reed?”
– Question loading = vraag zodanig schrijven dat het geven van een sociaal onwenselijk antwoord minder
moeilijk wordt
o “iedereen doet het”, “rechtvaardigen”,…
o Pas op: het gedrag veronderstellen is dus door middel van een leading question aan question loading
doen

11. Na-interview (debriefing vragen)

– Ervaringen met interview
o Bv. hoe moeilijk waren de vragen, hoe interessant,… (zie vb 7.9)
– Ook peilen naar welke vragen gevoelig lagen
o Laat toe in te schatten op welke vragen je allicht een sociaal wenselijkheids effect hebt gekregen

102. Soms hebben vragen een verschillend effect op mensen. We zouden graag Uw
opinie kennen over sommige vragen uit het interview. Ik zal nu een aantal vragen ter
herinnering brengen. Wilt U mij dan meedelen of volgens Uw mening de meeste mensen
zich bij die vragen zeer ongemakkelijk, redelijk ongemakkelijk, licht ongemakkelijk of
helemaal niet ongemakkelijk voelen'. (overhandig kaart nr. … ).
Hoe voelen volgens U de meeste mensen zich bij de vragen over:
Niet Licht Redelijk Zeer
ongemakke ongemakke ongemakke ongemakke
lijk lijk lijk lijk
A.Vrije tijd en ontspanning? 1 2 3 4
B. Sport activiteiten? 1 2 3 4
C. Geluk en welzijn? 1 2 3 4
D. Sociale activiteiten? 1 2 3 4
E. Het gebruik van bier, wijn, en 1 2 3 4
sterke drank?
G. Dronkenschap 1 2 3 4
H. Gebruik van marihuana of hasj? 1 2 3 4
I. Gebruik van stimulerende of 1 2 3 4
opwekkende middelen
J. Vrijen en kussen? 1 2 3 4

C. Demografische en achtergrondkenmerken bevragen

– Vragen over leeftijd, geslacht, samenstelling gezin, huwelijkstoestand, opleiding, levensbeschouwing
– Zoveel mogelijk standaardiseren (vooraf = input standaardisatie)
o Vergelijkbaarheid andere survey onderzoeken
– Best achteraan in VL, tenzij info nodig tijdens interview (bv. adaptieve vragenlijst)

Aanbevelingen
31
 – Gezin: overzichtelijke tabellen met informatie per gezinslid
o Ga niet zomaar uit van het twee-oudergezin
o Precieze geboortedatum
– School: onderscheid tussen volledige dagonderwijs en bijkomend onderwijs
o Behaalde diploma en richting
– Werkloosheid: ook rekening met tewerkstelling en beroep
o Zelfstandige, vrij beroep
– Inkomen: netto - bruto inkomen, maandelijks - jaarlijks

D. Kennisvragen
Waarom in survey onderzoek?
– Rechtstreekse interesse in wat mensen weten: kennis
– Onrechtstreekse interesse om betrokkenheid bij thema (“attitude sterkte”) te meten
– Moeilijkheidsgraad van vragen achterhalen
– Eerst attitude en opinievragen om respondent met onvoldoende kennis af te zonderen
– In elk geval: bedreigend karakter
o Iets niet weten: schaamte

Aanbevelingen
– Enkele gemakkelijke vragen stellen zodat iedereen iets kan beantwoorden
o Andere formulering
– Fictief onderwerp om gokken te detecteren
– Meerdere JA/NEEN vragen stellen
o Verminderen van gokken
– Numerieke vragen: best open vraag
– Niet gebruiken in zelf in te vullen vragenlijsten (R kan opzoeken, vragen aan anderen)

Voorbeeld. intUne project

– Europees survey, over 16 verschillende landen
– Topic: houding tegenover Europa
o Euroscepticisme, vertrouwen in Europese instellingen
o Can you tell me which of the following countries are members of the European Union (European
Community)?
 The Netherlands (ja)
 Malta (ja)
 Croatia (nee)
o How many member states are there in the EU? ___ aantal (27)

Voorbeeld. kennis als indicator van attitude sterkte

– Attitude sterkte = “kracht” waarmee men bepaalde overtuiging heeft (ook: de mate waarin men bij het
onderwerp betrokken is)*
o Hoe sterker een opinie, hoe weerbaarder ze is
 Beter bestand tegen tegenargumenten
 Beter bestand tegen “de tand des tijds”: stabieler
 Groter effect op eigen gedrag
* Let op: attitude sterkte alleen te meten door meerdere vragen te stellen,
is niet hetzelfde als “extremiteit” = de sterkte van de attitude richting

Studie 2001 bij ruime populatie (web)

– Eerst 3 kennisvragen over migranten (multiple choice)
o Wat is de Arabische term voor “vrijheidsstrijder”?
32
 o Wat bedoelen Moslims met “jihad”?
o Wat betekent “taliban”?
– Verder in VL: “Vindt u dat bedrijven wettelijk verplicht moeten worden om een vast percentage allochtonen
aan te werven?” (quota vraag)
o Ja
o Neen

Direct na deze vraag: adaptief tegenargument om sterkte attitude te meten

– Indien voor quota:
o “zelfs indien dit betekent dat het bedrijf niet de beste persoon voor de betrekking kan aanwerven?”
– Indien tegen quota:
o “zelfs indien dit betekent dat allochtonen economisch achterblijven?”

Sommige mensen “veranderden van idee”

– Geeft een zwakkere attitude aan, onder invloed van tegenargument wijzigen ze standpunt.

Bevindingen:
– Hoe langer men erover deed om een antwoord te kiezen op de 3 kennisvragen, hoe kleiner de kans werd dat
ze het correcte antwoord kozen
– Hoe minder correcte antwoorden men selecteerde, hoe groter de kans werd dat men het standpunt wijzigde
onder invloed van tegenargument
– Dus: hoe minder kennis, hoe zwakker de attitude.

7.3.2 Opinie- en houdingsvragen

Opinievragen bedoeld om “attitude” (houding) te meten
– = niet rechtstreeks waarneembaar
– Attitude = neiging om iets (een “psychologisch object”) systematisch positief of negatief te evalueren =
subjectief en persoonlijk
o Kenniscomponent: je weet iets over het thema
o Gevoelscomponent: je voelt er iets bij
o Gedragscomponent: je gedraagt je er op een bepaalde manier tegenover
– Discrepantie tussen houdingen en gedragingen
o Andere context
o Overeenstemming: attidusterkte

Voorbeeld. “attitude tegenover aanwerving van migranten in bedrijf”

– Kennis
o Werken even hard als Belgen
o Gedragen zich loyaal tegenover werkgever
– Gevoel
o Positief*
– Gedrag
o Niet discrimineren bij aanwerving
De richting van de attitude kan ook negatief zijn: perceptie van negatieve feiten, negatief gevoel, negatief gedrag

Opinie meten veronderstelt dat mensen een opinie hebben

– Maar is niet steeds het geval!
– Vb. houding tegenover Europese Parlement
o Voor veel mensen een ver-van-mijn-bed-show, dus heeft men er eigenlijk geen opinie over
– Ook onderscheid tussen sterke en zwakke attitudes!

33
A het beantwoorden van opnievragen: RAS-model van Zaller
– Reactie tegen “fichebak model”
o Wat is uw houding tegenover pizza met ansjovis?
 Even het kaartje “pizza met ansjovis” opzoeken in mijn mentale fichebak en het antwoord
genereren
– Mensen “maken” hun attitude (volgens het RAS model)
o Opinie over doodstraf: nooit over nagedacht  nadenken en overwegingen
o Veel over het onderwerp weten  voor de vraag geen opinie hebben
– Veelzijdige opinie
Externe factoren: media
o Correcte antwoord bestaat niet

RAS model
– Mensen zijn ambivalent en staan constant bloot aan informatie stromen (=Receive)
o Sommige info slaan ze op = Accept, receptie
o Andere niet (evt. wegens weerstand) = Resistentie
– Als gevolg veel overwegingen in hun hoofd, allemaal wel iets te maken met de attitude
– Op moment dat je het hen vraagt: ze rakelen een aantal overwegingen op (=Sample), en “knutselen” het bij
mekaar tot een “opinie”

RAS model: receive

RAS model: resistence, accept

Bent u ervoor of ertegen dat geweld wordt getoond in tekenfilms voor kinderen?”
– Voor
– Tegen

34
Predispositie
– = afhankelijk van betrokkenheid bij onderwerp om bepaalde informatie wel op te slaan en andere niet

Vier axioma’s
– Receptie axioma
o Begrijpen en ontvangen stijgt als cognitieve engagement tot issue groter is
– Resistentie axioma
o Toehoorders hebben weerstand tegen argumenten die inconsistent zijn met presdisposities
o Verband leggen tussen boodschap en predisposities
– Accessibility axioma
o Respondent gebruikt informatie die het gemakkelijkst bereikbaar is en minst tijd vergt
o Meestal meest recente informatie = information accessibility
o Massamedia of informatie uit voorafgaande vragen
– Response axioma
o Respondenten antwoorden uit overwegingen die het meest toegankelijk zijn

Belang!
– Verklaring voor gebrek aan stabiliteit van de antwoorden op opinievragen
– Verklaring waarom antwoorden stabieler zijn bij degenen die sterkere opinies hebben
o Bewuster met informatie omgaan
– Aanzet voor het beantwoorden van complexe vraag als kans toeneemt om werkelijk van opinie te
veranderen
– Belang van het discours onder politieke elites en aanwezigheid van massamedia

Centrale” versus “perifere” route

Waarom slechts steekproef van overwegingen?
– Psychologisch model: “centrale” versus “perifere” route
o Centraal = informatie diepgaand verwerken. Cognitief belastend!
o Perifeer = informatie oppervlakkig verwerken, op basis van “heuristieken” (vuistregels). Cognitief
veel gemakkelijker.

Wanneer welke route?

– Belang (motivatie)
o Nieuwe mp3 speler kopen: alles zorgvuldig overwegen (functies, prijs, design, merk,…).
o Balpen kopen: “moet gewoon schrijven”
– Taakmoeilijkheid / cognitieve vaardigheden
o Europese verkiezingen: “ik snap er niks van, maar politica X ziet er wel sympathiek uit. Ik zal voor
haar stemmen”
35
Extremen op continuüm

perifeer
centraal
– Nooit absoluut centraal of perifeer
o Maar meer van het ene of meer van het andere
o Bvb. mp3 speler kopen: “merk” overwegingen zijn perifeer! (“Sony is goed”, “Ipod is duur voor wat
het is”, “X is brol”)

Enquête meestal niet erg belangrijk voor de ondervraagde

– Meer aan de perifere kant
– Dus enkel steekproef van overwegingen
o De info die snel toegankelijk is zal antwoord bepalen (“information accessibility”)
o Maar vraagverwoording kan oproepen van sommige info gemakkelijker maken…
o of kan zelfs sommige info op voorhand “oproepen” en dus zo het antwoord sturen (=“priming”)

Consequenties?
– Als je de vraag een beetje anders stelt: andere overwegingen worden geactiveerd
o Dus andere gerapporteerde opinie!
– Dus opinie vragen waarschijnlijk erg gevoelig voor formulering, de context en de moeilijkheidsgraad van de
vragen
– En voor de motivatie en “cognitieve vaardigheden” van de respondent
– Er speelt ook een conversatie component mee = conversatienormen
Samenvatting
– Feiten, gedragingen, gebeurtenissen
o Bedreigende vs. niet-bedreigende
– Demografische vragen
– Kennisvragen
– Opinie- en houdingsvragen
o Theoretisch model: (RAS model)
o Enkele voorbeelden van problemen en aanbevelingen

Opinievraag om attitude te meten

– Attitude = “neiging om iets (een “psycho-logisch object”) systematisch positief of negatief te evalueren
o Kenniscomponent: je weet iets over het thema
o Gevoelscomponent: je voelt er iets bij
o Gedragscomponent: je gedraagt je er op een bepaalde manier tegenover

RAS model (Zaller, 1992)

– Receive: informatiestromen bereiken individuen
– Accept: sommige informatie wordt geaccepteerd
– Resistence: andere informatie niet niet geaccepteerd
– Op moment van bevraging: “steekproef” van overwegingen (Sample) waarmee antwoord wordt opgebouwd

Conversatienormen
Pragmatically significant answer
– Enkel zeggen wat betekenisvol is voor interviewster
o Informatief in het licht van (veronderstelde) bestaande kennis
o Bruikbaar voor (veronderstelde) doel vh gesprek
o Vraagt niet meer inspanning dan nodig bij ondervraagde
36
Given new contract
– Veronderstelling dat interviewster enkel info zal vragen die ze nog niet weet.
– Inclusion / exclusion model hierop gebaseerd
o Enkel info waarvan men denkt dat de interviewer die nog niet heeft moet opgenomen worden
(inclusion)
o De rest niet (exclusion)
 Ook wat “niet hoort”, waarmee de interviewer “geen zaken heeft”

B De gevoeligheid van opinievragen voor formulering en context

– Afkomstig van split ballot experimenten = vergelijkbare toevalssteekproeven met éénzelfde vraag in
verschillende varianten
o Vergelijkbaar  verschillen in vragen
– Inzichten uit psychologie
o Voor alle types survey onderzoek
– Inzichten uit linguïstiek
o Voor survey onderzoek via interviews

Vier types “effecten” op antwoorden op opinievragen

1. Overtuigingskracht van de vraag
2. “Question constraint” (onuitgesproken spelregels)
3. Onbedoelde info in antwoordschalen
4. Referentiekader ondervraagde
1. Overtuigingskracht van de vraag
Respondent in bepaalde richting sturen: manipulatie
– Eenzijdige argumenten in de vraag
– Gekleurde informatie in inleiding tot de vraag
– Onevenwicht in vraagformulering
– Onevenwicht in antwoordcategorieën

Eenzijdige argumenten in de vraag

– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft om sneller noodzakelijke
maatregelen te kunnen nemen?”
o Ja: 73,2%
o Neen: 26,7%
– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft?”
o Ja: 62,9%
o Neen: 37,1%

Onevenwicht in de vraagformulering
– “Vindt u het een goede zaak dat de regering soms bijzondere machten heeft?”
o Ja: 62,9%
o Neen: 37,1%
– “Vindt u het een goede of een slechte zaak dat de regering soms bijzondere machten heeft?”
o Een goede zaak
o Een slechte zaak

Onevenwicht in antwoordcategorieën
– Hoe tevreden was u met de dienst na verkoop van deze winkel?
o Volledig tevreden
o Eerder tevreden
o Nogal tevreden
o Noch tevreden, noch ontevreden

37
 o Ontevreden
– Hoe tevreden was u met de dienst na verkoop van deze winkel?
o Volledig tevreden
o Eerder tevreden
o Noch tevreden, noch ontevreden
o Eerder ontevreden
o Helemaal ontevreden

2. Question constraint
– Respondenten houden zich aan onuitgesproken spelregels van sociale interactie: “antwoord op de vraag,
niet tegenspreken” (vrnl. inzichten uit linguïstiek hier van belang)
– Bv. wie eigenlijk geen mening heeft zal toch een antwoord geven

Voorbeeld. 7.12: ‘geen mening’ filter

– Wie geen mening heeft kiest waarschijnlijk “noch noch” indien de “geen mening” optie er niet staat
=‘question constraint’
– Regel: maak onderscheid tussen “neutraal midden” en geen mening door “geen mening” als laatste
categorie aan te bieden
o Prijs is natuurlijk verlies aan data!

Voorbeeld. 7.15
– “2 werknemers, een Vlaming en iemand van een etnische minderheidsgroep. Op alle punten zijn beide
werknemers gelijk. Als één van hen ontslagen moet worden, wie moet dat dan zijn: de werknemer behorend
tot de minderheidsgroep of de Vlaamse werknemer?”
– Of mag dat geen verschil uitmaken?”

Steekproef A Steekproef B
(zonder “geen verschil” in (met “geen verschil” in vraag)
vraag)

38
 Etnische minderheid 45,1% 25,9%

Vlaamse werknemer 7,4% 6,4%

Mag geen verschil uitmaken 39,5% (spontaan) 65,1%

Geen mening (spontaan) 7,9% 2,60%

– Als mensen niet de optie krijgen “mag geen verschil maken”, dan kiezen ze toch voor één van de twee, al
zouden ze eigenlijk liever “mag geen verschil maken” zeggen (40% spontaan)
– De stabiele categorie met etnische minderheid ligt een stuk lager
– A: uitgesproken categorie die discriminatie afwijst
o Spontaan voor ‘mag geen verschil maken’ kiezen
– B: inzicht op meer uitgesproken neiging tot discriminatie
o Meer voor ontslag van de etnische minderheid

3. Onbedoelde info in antwoordschalen

– Via antwoordschaal op onbedoelde en ongewilde wijze informatie verschaffen voor R
– Idee te vormen over “ware verdeling” in populatie.
o Het midden is het modale gedrag  extremen = outliers
o Dit is een “heuristiek” (cf. perifere route)
– “Waar zou ik ongeveer zitten tegenover de rest?”

Vb. aantal uren TV kijken

– A: schaal met lage waarden
– B: schaal met hoge waarden

Voorbeeld. 7.13
– “Er wordt soms beweerd dat werklozen niet willen werken. Hoe groot schat u het percentage werklozen dat
niet wil werken?”
Antwoord Gesloten vraag % Open vraag %

< 5% 18,3 5,6

5-9% 27,8 2,8

10-14% 28,8 21,4

15-19% 8,4 5,6

20 of meer 16,7 62,4

Weet niet 0 2,8

– Met open vraag: R kan geen beroep doen op schaal om af te leiden waar het ware antwoord ongeveer zal
zitten.
39
 o Resultaat: grove overschatting
o Ook geduwd in die richting door eenzijdig argument in vraag “er wordt soms beweerd dat werklozen
niet willen werken”)
– Gesloten vraag: geeft idee over waar de werkelijke waarde zal liggen (niet in extremen)

4. Context effecten
– Referentiekader van de ondervraagde
– Context van een vraag = “vorige vragen” en de antwoorden daarop
o Antwoord in overeenstemming brengen
 “carry-over effect”
o Of juist contrasteren met vorige antwoorden
 “contrast effect” of “backfire effect”

Voorbeeld 7.14: algemene vs. specifieke vraag over abortus: in welke volgorde stellen?
– Algemene vraag wordt beperkter in context van voorafgaande specifieke vraag
Algemene vraag
– “Vindt u dat het voor een zwangere vrouw wettelijk mogelijk moet zijn een abortus te ondergaan als ze
gehuwd is en geen kinderen meer wil?”
Specifieke vraag
– “Vindt u dat het voor een zwangere vrouw wettelijk mogelijk moet zijn een abortus te ondergaan als er een
grote kans bestaat dat haar baby ernstig gehandicapt zal zijn?”

Als volgorde van vragen geen effect heeft,

– Verwachten we even groot % voor en tegenstanders op de specifieke vraag, ongeacht of ze nu eerst komt of
als tweede
– Verwachten we even groot % voor en tegenstanders op de algemene vraag, ongeacht of ze nu eerst komt of
als tweede

Antwoorden op specifieke vraag

– Als eerst specifiek en dan algemeen:
o 89% voor, 11% tegen
– Als eerst algemeen en dan specifiek:
o 93% voor, 7% tegen
– Zeer klein verschil
o Statistische test: p>0,05 dus GEEN VERSCHIL
– Dus: specifieke vraag niet gevoelig voor vraagvolgorde

Antwoorden op algemene vraag

– Als eerst specifiek en dan algemeen:
o 40% voor, 60% tegen
– Als eerst algemeen en dan specifiek:
o 56% voor, 44% tegen
– Groot verschil
40
 o Statistische test: p<0,05 dus VERSCHIL
– Dus: algemene vraag wel gevoelig voor vraagvolgorde
 moeilijk om nog voor abortus in het algemeen te zijn

Verklaring van dit soort effecten:

– Vorige vragen vestigen aandacht op onderwerp zodat de antwoordverdeling wijzigt
– Vorige vraag maakt dat betekenis van de volgende vraag wijzigt
o Sluit aan bij “given new contract” (contrast, “nu gaat het over iets anders”)
o Toepassen op het abortus voorbeeld
Dus beter eerst de algemene vraag stellen, en pas daarna pas de specifieke
– Of enkel specifieke vragen gebruiken
– Of aankondigen dat er twee vragen zijn
– In algemeen: best geen al te algemene vragen gebruiken. Stel liever specifieke vragen
– Maar in geval van twee specifieke vragen kunnen zich ook volgorde effecten voordoen
– Twee soorten effecten: assimilatie en contrast

Dit was vb. van contrast effect (of backfire effect)

– Als eerst specifieke vraag (handicap), dan lijkt tweede vraag te gaan over alle overige situaties (“given new
contract”), dus buiten “groot risico op handicap”. En dan zal men minder geneigd worden om “voor” te
zeggen.
o Dus contrast effect tussen twee vragen. De specifieke vraag wordt gecontrasteerd met de algemene.

Waarom een contrast effect?

Sleutel om op te lossen:
– kijk naar de vraag waar volgorde effect heeft (algemene vraag)
– bekijk eerst situatie ZONDER effect (algemene vraag eerste)
– vergelijk dan met situatie waar effect is (algemene op tweede plaats)
– indien verschil tussen de twee vragen toeneemt, dan is er contrast

– Hier wordt antwoord op 2de vraag in overeenstemming gebracht met 1ste vraag (voor groep A)
– Hun antwoord op 2de vraag ligt in lijn met dat op 1ste vraag
– = consistentie of carry-over effect
– “priming” hier van belang: de “reden” werd al gegeven in de eerste vraag, dus in de tweede vraag wordt
deze herhaald

Besluit
– Precieze en objectieve regels om vragen te formuleren of kwaliteit ervan te oordelen
o Mogelijke manipulaties aanwijzen
– Twijfel over goede formulering
o Effect van formulering of volgorde bekend
– Meerdere varianten gebruiken

41
C Een verklaring van effecten van de vraagverwoording
– Eerste fase: meten en verklaren van responseffecten = nadruk bij ons
– Tweede fase: vermijden van fouten

Geïntegreerd model
1. Interpretation
2. Information retrieval
3. Editing the response
4. Mapping response onto response categories

1. Interpretation
Moeilijke termen, gekleurde woorden

2. Information retrieval
– Geheugen aftasten: heb ik daar een opinie over?
– Indien niets gevonden: opinie “fabriceren”
– Overwegingen selecteren en integreren tot een opinie (zie RAS model)
– Externe factoren helpen het antwoord vormen
o Context vraaggesprek
– “accessibility” hier van belang: gebruikte vraagverw. en aangeboden antwoordcat., “priming” maken
sommige overwegingen meer bereikbaar: stuurt antwoord

3. Editing the response

Conversatienormen: interpreteren en beantwoorden van vragen
– Welk antw. is meest betekenisvol voor interviewer (pragm. sign. answer)
o Respondent kent kennis en belangstelling interviewer
– Wat weet interviewer al en kan ik weglaten (given new contract)
o Respondent denkt dat interviewer antwoord niet kent
o Inclusion/exclusion = algemeen: gebruik van gemakkelijk toegankelijke informatie
– Bijsturen antwoord in licht van “aanvaardbare” antwoorden (sociale wenselijkheid)

4. Mapping response onto response categories

– Hoe mijn antwoord in het “keurslijf” van de antwoordcat. krijgen?
– Welk antw. cat. past het beste bij mijn antwoord?

– Effect ‘geen mening filter’ door vermelding ervan in vraagtekst

– Gebruik van ‘mag geen verschil uitmaken’ als hint van de interviewer
– Respondent grijpt terug naar informatie uit voorgaande vragen

42
D. Regels voor het ontwerpen van opinievragen
1. Duidelijk omschrijven van attitude object, niet vaag blijven
– Concepten moeten eenduidig zijn

2. Drie aspecten aan attitudes

– Cognitief, affectief/evaluatief, gedragscomponent
– Duidelijk weten wat je wil meten
o Affectief: pro en contra gevoelens
o Cognitief: bekendheid van verscheidene aspecten
o Gedrag: bereidheid om activiteiten te ontplooien
– Merk op: componenten hangen samen, maar niet perfect!

3. Richting houding ≠ sterkte houding!

– Sterkte: belang dat men eraan hecht, intensiteit en centraliteit van gevoelens
o Niet meten door sterk voor - sterk tegen = verfijning van richting
o Meten door aparte vragen: open vraag

4. Richting houding ≠ sterkte houding!

– Richting = mate van extremiteit
o Meten door meerdere vragen over meerdere aspecten
– Verfijnen door antwoordschaal of tweetrapsvraag

Voorbeeld: tweetrapsvraag

Welke drie onderwerpen zijn voor u de belangrijkste thema’s voor deze verkiezingen?
1. Belastingen verlagen
2. Staatshervorming doorvoeren
3. Invoeren van gemeentelijk stemrecht voor migranten
4. Werkgelegenheid verzekeren
5. Jobs creëren

5. Duidelijk omschrijven van attitude object

– Slechts één attitude object in vraag
– Tenzij ze samen voldoende eenheid vormen

6. Alle antwoordalternatieven geven!

– Mensen spelen spel volgens de regels, te weinig gemotiveerd om zelf antwoorden te verzinnen
– Vooral geen antwoord categorieën vergeten

7. Nieuwe vragen uittesten vooraleer te gebruiken

– Indien ze een effect kunnen hebben: experiment (‘split-ballot’) om dit na te gaan

8.Vergelijkingen over de tijd:

– Vraag en context perfect gelijk houden
43
 – Indien nieuwe versie: zowel oude als nieuwe samen gebruiken om te zien of ze zelfde resultaat op leveren.
Pas daarna de oude echt weglaten

9. Liever specifieke dan algemene vragen

– Minder onderhevig aan context effecten
1 3 5 2 .
o Zie abortus vraag
– Betere voorspellers van gedrag
1 2 1 4 2
10. Geen mening antwoord
3 4 . 1 1
– Spaarzaam mee zijn! Respondenten kiezen het té gemakkelijk
o Zich niet inspannen
2 . 1 . 3
– Rekening houden met analyse: “listwise deletion”. Alle observaties
waarvoor één ontbrekende waarde: verloren!
2 2 . 1 1
11. Gebruik gebalanceerde schalen
– Gaat volgzaamheid tegen (“ja” zeggen, “acquiescence”) of laat tenminste toe deze bias te detecteren
o Evenveel positieve als negatieve uitspraken

Samenvatting
Opinievragen om attitudes te meten
– Theoretische inzichten uit psychologie:
o RAS model
o Centrale vs. perifere route
– Theoretische inzichten uit linguïstiek
o Conversatienormen

7.3.3 Het registreren van de antwoorden op vragen

– Eentonigheid en routine vermijden
– Open vraag: respondent vrij de om in zijn eigen woorden te antwoorden
– Gesloten vraag: antwoordmogelijkheden liggen vast = minder inspanning

A. Open vragen
– Interessant om R wat ademruimte te geven
– Maar zeer lastig om te analyseren = niet vergelijkbaar
– Geheel van specifieke vragen inleiden of aflsuiten

B. Gesloten vragen
Algemene regels voor gesloten vragen
– Bij de vraag passende respons opties voorzien
– Respons opties moeten elkaar uitsluiten
– Geen overlap in respons opties
– Bij lange lijsten, zo weinig mogelijk “duidt alles aan wat van toepassing is” maar vraag telkens “ja” of “neen”
te antwoorden

Bij de vraag passende opties:

– “Uit angst dat ik word overvallen sluit ik altijd onmiddellijk mijn wagen als ik instap”
o Helemaal eens
o Eerder eens
o Noch eens, noch oneens
o Eerder oneens
o Helemaal oneens
– “Uit angst dat ik word overvallen sluit ik altijd onmiddellijk mijn wagen als ik instap”
44
 o Ja
o Neen
Regel: Geen “eens….oneens” bij feitelijke vragen over wat je zelf doet, men gebruikt hier zelfs beter een vraagvorm in
plaats van uitspraak…

Bij de vraag passende opties

– Gaat u vaak naar het fitness centrum?
o Meer dan een keer per week
o Eens per week
o 2 of 3 keer per maand
o Eens per maand
o Nooit
– Hoe vaak gaat u naar het fitness centrum?
o Meer dan een keer per week
o Eens per week
o 2 of 3 keer per maand
o Eens per maand
o Nooit

Elkaar uitsluitende respons opties

– Hoe hebt u onze winkel leren kennen?
o Via een advertentie
o Via het internet
o Via de gouden gids
o Via vrienden of familie
o Via de krant
De gouden gids raadplegen kan ook via het internet, een advertentie kan ook in de krant verschenen zijn (hoeft niet
op radio of tv)

Geen overlap in respons opties

– Hoeveel bedraagt uw maandelijks netto inkomen?
o 1000 euro of minder
o 1000-1250 euro
o 1250-1500 euro
o 1500-2000 euro
o Meer dan 2000 euro
– Hoeveel bedraagt uw maandelijks netto inkomen?
o 1000 euro of minder
o 1001-1250 euro
o 1251-1500 euro
o 1501-2000 euro
o Meer dan 2000 euro

Zo weinig mogelijk “duid alles aan wat van toepassing is” vragen (“check-all-that-apply”)
– Welke sporten hebt u sinds 1 september vorig jaar beoefend?
– U kunt meerdere antwoorden aanduiden
Badminton Handbal
Basketbal Squash
Bowling Zwemmen
Voetbal Tennis
Golf Andere, specificeer

45
Hebt u sinds 1 september van vorig jaar...
– Badminton gespeeld? JA NEEN
– Basketbal gespeeld? JA NEEN
– Aan bowling gedaan? JA NEEN
– Voetbal gespeeld? JA NEEN
– Golf gespeeld? JA NEEN
– Handbal gespeeld? JA NEEN
– Squash gespeeld? JA NEEN
– Gezwommen? JA NEEN
– Tennis gespeeld? JA NEEN
Hebt u in die periode nog andere sporten beoefend?
– Ja: specificeer:
– Neen

Reden!
– Respondenten lezen niet alle antwoord-mogelijkheden
o Primacy effect: vooral bovenstaande categorieën worden gekozen

Types gesloten vragen

B1. Antw. cat. niet expliciet in de vraag
– Vb. Ja/neen vragen:
o “Bent u tevreden met uw werk?”
o “Is het prettig om in deze wijk te wonen?”
– Na instructie:
o “In welke mate gaat u akkoord met volgende uitspraken? Antwoord met helemaal eens, eerder
eens, noch eens noch oneens, eerder oneens en helemaal oneens”
 Kinderen onder de 3 jaar worden best door hun ouders opgevoed (1)
 Men stuurt kleuters best zo vroeg mogelijk naar school (2)
– Zeer gericht
– Ook bruikbaar voor schaaltechnieken met pro (1) en contra (2) uitspraken

B2. Antwoordmogelijkheden in vraag

– Contrastvragen (2 contrasterende mogelijkheden)
o “Vindt u dat migranten die hier wonen zich voldoende inspannen om Nederlands te leren of vindt u
dat zij zich niet voldoende inspannen?”
o “Vindt u dat migranten die hier langer dan vijf jaar legaal wonen gemeentelijk stemrecht moeten
krijgen of vindt u van niet?”
– Forced choice
o Gedwongen te kiezen uit een van de mogelijkheden (contrast of niet)
o Dwingt R om na te denken, en niet gewoon “JA” te zeggen of “akkoord”
o “Hebben de christen-democraten meer dan de liberalen bijgedragen tot de sanering van de openbare
financiën in de vorige regering?”
 Gemakkelijk antwoord = ja (christen-democraten)

46
 o “Welke regeringspartner heeft in de vorige regering het meest bijgedragen tot de sanering van de
openbare financiën, de christen-democraten of de liberalen?”
 Meestal andere antwoordalternatief kiezen (liberalen)
– Uit “gemak” ja zeggen/akkoord zijn = “volgzaamheidsbias” of “acquiescence”
o Respons set = een systematische manier van respondenten om te antwoorden.
o Vb. Batterij items om functioneren van politiediensten in België te evalueren, maar R wil er niet echt
over nadenken of weet er niet genoeg over

Helemaal Eerder Eerder Helemaal

eens eens oneens oneens
1. Burgers werken makkelijk samen met de R £ £ £
politiediensten
2. Politiediensten werken onderling slecht samen R £ £ £
3. Politiediensten beschikken over voldoende R £ £ £
middelen
4. Politiediensten worden slecht geleid R £ £ £
5. Politiediensten werken professioneel R £ £ £
6. Politie en justitie werken moeilijk samen R £ £ £

– Bij gebalanceerde schaal kan je dit zien

o R geeft inconsistente antwoorden
o Zou eigenlijk “van kant moeten wisselen”, maar doet dit niet
– Bij niet-gebalanceerde schaal zou je het niet zien...
o Dus steeds gebalanceerde schalen gebruiken, en checken op mensen die op één kant blijven zitten

Meerkeuzevragen
– Meer dan 2 antwoordmogelijkheden
o Heel sterk tegen, redelijk sterk tegen, eerder tegen, eerder voor, redelijk sterk voor, heel sterk voor
o Helemaal eens, eerder eens, noch eens noch oneens, eerder oneens, helemaal oneens
– Bij persoonlijk interview: vanaf meer dan 3 antwoordalternatieven: antwoordkaarten gebruiken

Hoe zou je jouw kot omschrijven?

KAART 3
1. Een kamer in een peda of residentie
van de universiteit
2. Een kamer bij een particulier
3. Een studio
4. Een appartement
5. Een kamer in een
gemeenschapshuis
6. Een kamer in een huis of pand
waarvan mijn ouders de eigenaar zijn
7. Andere, specificeer
B3. Niet-alternatieve antw. categorieën
– R mag meerdere antwoorden aanduiden
– Soms onbeperkt, soms beperkt ≠ door onderzoeker
47
 o Naar welke TV zenders gekeken afgelopen week? (onbeperkt)
o Voor welke politieke partijen hebt u al allemaal gestemd? (onbeperkt)
o Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar? (beperkt)

B4. Rangschikkingsvragen
– “Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar?”
o Je krijgt er wel 3, maar welke is nu hét belangrijkste?
– Vragen om te rangschikken
o Kan snel heel moeilijk worden!

a. Rangschikken uitersten
– Gekozen uitersten meedelen + ordenen
– Welke 3 eigenschappen zijn volgens u het belangrijkste voor kinderen van 12 jaar?
o (R zegt 3 eigenschappen)
– Welk van deze 3 eigenschappen vindt u het belangrijkste?
o (R zegt 1 eigenschap)
– Welk van de twee overblijvende eigenschappen vindt u het belangrijkste?
o (R zegt 1 eigenschap)
– Prioriteiten achterhalen van R = R middelen verschaffen die hij moet verdelen
o Politieke doeleinden: beperkt budget verdelen over veel doeleinden

b. Rangschikken van alle mogelijkheden

– Antwoordcategorieën volgens een criterium ordenen
– “Hieronder staan enkele eigenschappen die kinderen van 12 jaar kunnen hebben. We willen u vragen deze
eigenschappen van belangrijkste naar minst belangrijke te ordenen. Dus zeg mij eerst wat u de belangrijkste
eigenschap vindt, daarna de tweede belangrijkste eigenschap”

c. Partieel rangschikken van telkens enkele mogelijkheden

– Gebruikt indien veel mogelijkheden: enkele vergelijken en ordenen
o Paarsgewijs (per twee)
 Aantal vergelijkingsparen erg groot
o Triades (per drie)
 Rangschikking van drie categorieën: tradia drie paarsgewijze vergelijkingen
 Één vergelijken met 2 andere

Voorbeeld 7.19 Paarsgewijs

– Welk van deze twee vindt u telkens het belangrijkst
– Warme maaltijden - gemengde klassen
– Warme maaltijden - voor- en naschools toezicht
– Gemengde klassen - voor- en naschools toezicht

Voorbeeld 7.20 Triades

– Meest belangrijk = 1, volgende = 2, minst belangrijk = 3
– Warme maaltijden 3
– Gemengde klassen 2
– Voor- en naschools toezicht 1

d. plaatsen op een continuüm

– “Zelfbeoordelingsschalen” of “self rating scales”
– Continuüm onderverdeeld in oneven aantal categorieën (5, 7, 9, 11)

48
Hoe belangrijk of onbelangrijk vindt u elk van onderstaande zaken bij de aankoop van een gsm?”
Onbelangrijk Belangrijk

-3 -2 -1 0 +1 +2 +3

Camera £ £ £ £ £ £ £

FM player £ £ £ £ £ £ £

Prijs £ £ £ £ £ £ £

“Hoe belangrijk vindt u elk van onderstaande zaken bij de aankoop van een gsm?”
Niet belangrijk Belangrijk

0 1 2 3 4 5 6

Camera £ £ £ £ £ £ £

FM player £ £ £ £ £ £ £

Prijs £ £ £ £ £ £ £

– Nummeren van -3 tot +3 of van 0 tot en met 6?

o Als “bipolair” en we willen echt duidelijk maken dat er een middenpunt is: - naar + of omgekeerd
o Als “unipolair” (gevoel kan maar in één richting gaan): van 0 tot en met 6 (of 1 tot en met 7)

– Semantische differentiaal
o Associatieve betekenis bij een attitudeobject
o Tegengestelde adjectieven: bipolair
o Enkel de uiteinden zijn benoemd (“gelabeld”)

Vb. Als u denkt aan BMW, wat roept dit bij u op?
Actief £ £ £ £ £ Passief
Oud £ £ £ £ £ Jong
Langzaam £ £ £ £ £ Snel
Duurzaam £ £ £ £ £ Niet duurzaam

B5. Numerieke schalen

Aantal punten
– 4 à 7, afhankelijk van situatie en doel (te maken construct of schaal)
o Metrische latente variabele verwerkt als quasi-metrisch: 5 of 7
o Categorische latente variabele: 2 tot 4
o Scheefheid verwacht: differentiëren

Alle punten benoemen (labelen) of enkel de uiteinden?

– Afhankelijk van analyse doel
o “Item op zichzelf gebruiken”: alles labelen
o 7 punten schaal: geen labels alleen uiteinden
o Aangepaste benaming van categorieën: eens, oneens
o Labels tot 6 punten
– Veronderstelt kennis van analyse technieken
o “Op zichzelf gebruiken” betekent dat in rapportering aandacht wordt gegeven aan elke categorie
apart.

Voorbeeld
– Sommige mensen voelen dat zij helemaal geen racist zijn. Anderen vinden dat zij heel racistisch zijn. Hoe voelt
u zich?
49
 o Helemaal niet racist
o Eerder niet racist
o Eerder wel racist
o Heel racist
Als dan 55% van de R zich in één van de twee laatste categorieën plaatst: uitspraak is verantwoord.

Voorbeeld 7.1 uit een Eurobarometer vraag in 1997

Bestempelt 55% van de Belgen zichzelf als racist?
(Eurobarometer ‘97: vraagtekst)
“Sommige mensen voelen dat zij helemaal niet racistisch zijn.
Anderen vinden dat zij heel racistisch zijn. Bekijk deze kaart en
geef mij het nummer dat uw eigen gevoelens daaromtrent toont.
Als U zich helemaal niet racistisch voelt, geef dan score 1. Als U
zich heel racistisch voelt, geef dan score 10. De scores tussen 1
en 10 geven weer hoe dicht U bij de ene of de andere zijde staat”.

Maar antw. cat. in een Eurobarometer van 1997 waren

Helemaal H
niet racist

1 2 3 4 5 6 7 8 9 1

– Verwoording vraag: Niemand bestempelt zichzelf als racist

– Met deze antwoordschaal kan je het item maar moeilijk op zichzelf gebruiken.
– Het enige dat je kan zeggen is: x% heeft categorie “7” of “3” aangeduid. En dat zegt niets

MAAR DE ONDERZOEKERS DEDEN ALS VOLGT

 55% noemt zich racistisch!

Latente variabelen maken met items (vragen of stellingen)
– Factor analyse
– Likert schalen

– Hier gebruik je info uit verschillende items om er één latente variabele van te maken
o Info in verschillende items best zo “fijn” mogelijk (veel differentiatie).

Metrische latente variabele vs. latente klasse variabele (categorische latente)

– Metrische: hogere score = meer van iet
o Vb. “Onveiligheidsgevoelen”: hoe hoger de score, hoe meer men zich onveilig voelt
– Categorische benadering: maakt “types” van mensen

50
 o Vb. NLSY (National Longitudinal Survey of Youth, VS)
o Op basis van 17 antisociale gedragingen (Ja/neen vragen, 0/1 score) maken we “types”

Resultaat analyse: één variabele met cat.

1. Property Offense Class (9,8%)
– Mensen die eigendommen beschadigen, winkeldiefstallen plegen, geld stelen, inbreken in gebouw, gestolen
goederen
2. Substance Involvement Class (18,3%)
– Mensen die marihuana en andere drugs gebruiken
3. Person Offenses Class (27,9%)
– Mensen die vechten, bedreigen, bedriegen
4. Normative Class (44,1%)
– De jongeren die zich aan de normen (regels) houden

Verwachte scheefheid.
– Vb. Je verwacht dat mensen niet erg veel boeken lezen. De meerderheid zal er 0 tot 5 lezen, een minderheid
leest er meer

Neutraal middenpunt en “geen mening”?

– Nooit samen gebruiken
– Forced choice: geen middenalternatief
– Unipolaire schaal (weinig => veel): middenalternatief gebruiken
– Indien “weet niet” of “geen mening” logisch mogelijk is (concreet onderwerp) dan mag je “geen mening” of
“weet niet” aanbieden
o Niet te veel aanbieden, want veel dataverlies!! (cf. listwise deletion)
C. Algemene regels
– Keuze tussen open en gesloten vragen: nooit veldcoderen!
– Gesloten vragen laten volgen door open vragen als check
o Verminderen van gokken
– Sociaal wenselijke antwoord niet eerst aanbieden
– Bij numerieke responsschalen gebruik maken van hulmiddelen
– Primacy en recency effecten: “duid alles aan” vragen omvormen tot JA/NEEN vragen
o Primacy: eerst aangeboden categorie meer gekozen
o Recency: laatst gehoorde antwoord kiezen

7.4 Richtlijnen bij het voorbereiden van de vragenlijst

– Optimaal verwoorden van vragen
– Checken of er al vragenlijsten bestaan
– Vragen aan grondig onderzoek onderwerpen

7.4.1 Het gebruik van cognitieve interviewtechnieken bij voorbereiding

A. Expertevaluatie
– Beoordelen van experts = inhoudsanalyses
– Verwoordingen die moeilijkheden brengen ontdekken
51
 – Voorbereidende gesprekken

B. Uitgebreid interviewen
– “think aloud”
o Vraag stellen en R hardop laten nadenken om te zien waar hij/zij aan denkt
– “probing”
o Doorvragen om te zien waarop het antwoord gebaseerd is
– Gelijktijdig bij antwoorden of retrospectief
– Dieper ingaan op spontane opmerkingen: hoe worden vragen geïnterpreteerd

C. Doelgerichte methodes
– Particuliere component van het proces
– Parafraseren van de vraag: herhalen van vraag in eigen woorden van respondent
– Vrije sorteertaken: niet-verbale opdrachten ter vervanging van verwoording
o R kan onderliggende dimensie niet onder woorden brengen
o Vrije classificatie: uitspraken sorteren volgens eigen gekozen criterium
o Dimensionele classificatie: gesorteerd volgens criteria van onderzoeker
o Groeperen via theoretische dimensie van concept
o Vignette-classificatie: beschrijving leest en dan plaatsen binnen set

D. Groepsmethodes
– Focusgroepen, groepsinterviews en groepsexperimenten
– Betekenis van vragen als voorwerp voor discussie tussen studenten of experts
o Invullen van vragenlijst = discussie observeren
– Achtergrondinformatie verzamelen

7.4.2 Participerend en blind uittesten

– Participerend: R weet dat het een testinterview is
– Blind: R weet dit niet
– Doel = nagaan of betekenis vragen goed overkomt (=zelfde als bij cognitief interviewen)
o Kan vragenlijst vlot en inadequaat ingevuld worden

A. Testen van specifieke vragen

– Vragenlijst uittesten bij zeer verscheiden groep
– Beoogde betekenis overeenkomt bij R?
– Moeilijkheid van de taak: geen geldig antwoord
– Voldoende interesse en aandacht

B. Testen van VL als geheel

– Overgangen vlot?
– Volgorde onderdelen goed?
– Verwijzingspatroon in orde?
– Duurtijd?
– Voldoende aandacht en interesse

C. Enkele aandachtspunten:
– Na testfase: herwerken én opnieuw testen! = twee fasen!
– Meestal gesloten vragen
– Testinterviews niet langer dan twee x duur van interview
– Pretest meet 25-50 proefrespondenten

52
 – Proefrespondenten: uit doelpopulatie, maar zo veel mogelijk verscheidenheid (soort theoretische
steekproef)
– Goede interviewers, zelf interviewen
– Op band opnemen!
– Interviewer een lijst met vragen bezorgen
– Ervaringen bespreken met interviewers
– Schriftelijke VL: soortgelijke pretesting (maar dan niet in vorm van interview!)

7.5 Cross-cultureel onderzoek

Cross-cultureel = over “culturele” grenzen heen
– Vb. European Social Survey: 25 Europese landen
– Problemen:
o Vragen in andere taal: vertaalproblemen
o Heeft een concept dezelfde betekenis in een ander land?

1. Vertaalproblemen (ESS R1)

D51 The government should be generous in judging people's applications for refugee
status.
Neither agree nor
Agree (strongly) Disagree (strongly) N
disagree
Belgium 18,0 17,9 22,8 22,6 59,2 59,5 1852
Germany 15,8 15,9 24,8 24,7 59,4 59,4 2873
France 62,9 63,1 18,8 18,6 18,3 18,3 1470
United Kingdom 27,2 27,2 26,1 25,7 46,8 47,1 2028
Luxembourg 31,3 31,0 23,5 24,3 45,2 44,7 1416
Netherlands 10,0 10,0 14,9 15,2 75,2 74,8 2336

– Some people come to this country and apply for refugee status on the grounds that they fear persecution in
their own country. Using this card, please say how much you agree or disagree with the following
statements. “The government should be generous in judging people’s applications for refugee status”

– Des gens viennent en [pays] et demandent un statut de réfugié car ils se sentent persécutés dans leur propre
pays. A l’aide de cette carte, dites-moi s’il vous plaît dans quelle mesure vos êtes d’accord ou en désaccord
avec les propositions suivantes “Le gouvernement devrait être généreux en traitant les demandes du statut
de réfugié”

 Vertaling blijft zeer dicht bij bron, dus “gelijke stimulus” en ook vergelijkbare antwoorden (in de zin dat de
antwoorden met elkaar vergeleken mogen worden)

– Certaines personnes arrivent en France et demandent le statut de réfugié parce qu’elles craignent des
persécutions dans leur pays “Les pouvoir publics devraient se montrer plus ouverts dans l’examen de ces
demandes”

Enkele verschillen met de bron:

– “pouvoir publics” ipv “gouvernement”
– “plus ouverts” ipv “plus généreux”
– “ces demandes” ipv “les demandes du statut de réfugié”
53
Dus: slechte vertaling en daardoor geen vergelijkbare stimulus. Dus geen equivalente vraag!
– Bij cross-cultureel onderzoek gemakkelijke introductie van fouten door slechte vertalingen te gebruiken
o Speciale procedures zoals “translation-back translation”
o Deze is echter niet gebruikt in ESS want men komt dan tot zeer veel irrelevante verschillen, daarom
 twee onafhankelijke vertalers
 vergelijken van verschillen
 beoordeeld door hoofdonderzoeker die weet waarover het gaat
 discussie, beslissing, annoteren
 dan pas vergelijken binnen taalgroepen (vb Ned, Vla)

Betekent een bepaald concept wel hetzelfde in twee verschillende culturen?

– Vb. typisch Westerse concepten worden getransplanteerd naar niet-westerse culturen: “vrijheid, gelijkheid,
democratie”: in andere landen denkt men niet noodzakelijk in deze termen
– Vb. Amerikaans onderzoek in Afrika: gewoon de Amerikaanse VL vertalen?
– Dit is moeilijker probleem dan vertaalproblemen! Veronderstelt “feeling” met andere culturen.

8: Dataverzameling: gestandaardiseerde interviews en zelf-in-

te-vullen vragenlijsten
8.1 Inleiding
Na planning onderzoek: data verzamelen
– Onderzoeksplanning: theorie, hypothesen, operationaliseringen, steekproeftrekking, vragenlijst opmaken.
o Onder controle van onderzoeker: eigen sturing
– Dataverzameling: respondenten en evt. interviewers (evt. onderzoeksbureau)
o Veel minder onder controle van onderzoeker: afhankelijk
o Kenmerken effectief waarnemen

8.2 Kiezen voor een methode van dataverzameling

8.2.1 Bondige omschrijving van de verschillende methodes
Twee belangrijke manieren om survey data te verzamelen:
– Met interviewers
o Persoonlijk (face-to-face) interview = R direct en persoonlijk ontmoeten
o Telefonisch interview = geen fysiek en visueel contact
o Groepsenquête = vragenlijst door alle leden van groep ingevuld
– Zonder interviewers
o Post-enquête = vragenlijst via post bezorgen
o Web enquête

Belangrijkste verschillen
– Kostprijs hoger met interview(st)ers
– Datakwaliteit hoger bij gebruik van interviewers
o Op voorwaarde dat interviewers getraind zijn
o Maar bij sociaal-wenselijke vragen problemen
o Datakwaliteit zeer ruim begrip!
 Verwijst meestal naar meetbare kwaliteit van data, bv. percentage “geen mening”, mate van
“differentiatie” op antwoordschalen,...

54
8.2.2 Computerondersteunende methodes
Survey modi
Interviewer Geen interviewer
Papier PAPI (Paper And Pencil SAQ (Self Administered Questionnaire, bv.
Interview) post enquête)
Computer CAPI, CATI (Computer Assisted CASI
Personal/ Telephone (Computer assisted Self Interview, bvb. web
Interview) enquête)

– CATI
o Interviewer stelt één voor één vragen die op scherm verschijnen
– CAPI
o Interviewer brengt draagbare PC mee en neemt interview af
– CASI
o R leest zelf de vragen af via een computerprogramma)
o Disk-by-mail = R krijgt diskette met programma en terugsturen
o Electronic Mail Survey = via computernetwerken een lijst en terugsturen via email
o Tele-interview = R vult vragenlijst in om bepaalde tijd en doorsturen via modem
o Touchtone Data Entry = R opbellen en verbinden met pc
o Voice Recognition = beperken tot ja of nee

8.3 Voor- en nadelen van de verschillende types

8.3.1 Voordelen van het interview
– Soepelheid
o Vraag herhalen, uitleg geven, doorvragen
– Hogere respons
o Minder weigeringen
o 60-70% respons vs. 30-50% bij post enquêtes
– Niet-verbaal gedrag
o Interviewer ziet omgeving en beoordeelt die
– Controle over setting
o Zijn er “derden” aanwezig? R laten antwoorden, niet familie!
– Volgorde van de vragen
o Volledig onder controle van interviewer. R kan niet eerst alle vragen bekijken.
o Wel manipulatie: vorige vragen bekend voor R
– Spontane uitingen registreren
– Kennisvragen
o In zelf-in-te-vullen VL niet echt aangewezen
– Volledigheid / adequaatheid
o Interviewer als hulp bij controle
55
 o Doorvragen, niet-adequate antwoorden opvangen en bijsturen (aanleren rol van “betrouwbare
respondent”)
– Info over de tijd
o Wanneer interview gedaan? Starttijd / Eindtijd.
– Meer complexe zaken
o Sorteren
o Veronderstelt wel dat I voldoende getraind is

8.3.2 Voordelen van schriftelijke enquêtes

– Lagere kostprijs
o 120-150€ F2F vs. 5-20€ post
– Tijdsbesparing
o Geen capaciteitsplafond (# interviewers, # telefoonterminals).
o Dus meer data op kortere tijd verzamelbaar (na 1 maand volledig rond)
– Invullen op door R gekozen geschikt moment
o R kan stoppen als er iets in de weg komt
– Indruk van anonimiteit
o Vrij om ook op bedreigende vragen te beantwoorden
– Meer gestandaardiseerd
o Geen verschillen in stimuli over de R heen
– Geen interviewer effecten
o Geen interviewer, dus geen effecten van deze mogelijk (zie verder)
– Gebruik van bronnen
o Informatie opzoeken alvorens in te vullen
– Bereikbaarheid
o Post komt overal, interviewers niet altijd (VS: “gated communities”)

8.3.3 Voor- en nadelen van computergestuurd interviewen

Voordelen
– Controle over routing
o Doorverwijzingen foutloos (indien goed geprogrammeerd!)
– Controle over ingevoerde gegevens
o “On the spot checks”: direct nagaan of een bepaald antwoord wel logisch mogelijk is gegeven de
andere antwoorden
– Experimenten gemakkelijk te implementeren
o Randomisering mogelijk
o Niet langer slechts 2 condities (“split-ballots”), véél meer (zelfs honderden!)
– Vermindering codeerfouten (eigenlijk “input fouten”)
o Coderen = codes toekennen aan een antwoord
o Inputten = gegevens invoeren
o Gegevens direct ingevoerd in PC, met checks (Vb. kan deze code wel?).
 Uitschakelen editing- en codeerfase
– Documentatie verloop (proces)
o “Process data”: voor elke vraag precieze tijdsduur, we kunnen zien of men terug is gegaan in de VL,
antwoorden heeft gewijzigd
– Groter gevoel privacy
o Gegevens direct in PC = anoniemer dan een papieren VL waar alles ingevuld is en zichtbaar is.
– Grotere bereidheid tot medewerking
– Meer standaardisatie
o Interview proces wordt strakker in de hand gehouden, minder speelruimte voor interviewer, dus
meer gestandaardiseerd

56
Nadelen
– Kostprijs
o Vooral initiële kost (aankoop PC’s, laptops, software) + (laptop) onderhoud
– Grotere rigiditeit
o Minder flexibiliteit
o Wat niet voorgeprogrammeerd is, kan niet (bvb. vraag overslaan, “andere” opnoemen indien niet
toegelaten,...)
– Drempelvrees
– Minder privacy
o Big Brother gevoel: niet vertrouwd met PC  meer sociaal wenselijke antwoorden
– Bekwaamheid om te typen
o Open vragen: onervaren interviews: problemen bij vlot intikken
– Extra training nodig (software)
– Ergonomische aspecten
o Gewicht van de computer

Computersturing
– Niet enkel vragenlijst
– Maar ook “case management” systeem
o Houdt bij welke eenheden (cases) al data verzameld werden, bij welke niet
o Vb. CATI
 Random Digit Dialing: software maakt random telefoonnummers aan
 Systeem vormt het nummer
 Indien beltoon: wijst toe aan een beschikbare interviewer
 Indien geen beltoon of geen contact: zal later (bvb. na minstens 20 minuten) opnieuw
gebeld worden
 Indien afspraak gemaakt (bv. “morgen om 20u”): software houdt dit bij en zal morgen om
20u bellen naar dit telefoonnummer

8.4 Het gestandaardiseerde survey-interview

– Vraaggesprekken courant:
o Job interview
o Politieverhoor
o Journalistiek interview
– Doel
o verzamelen informatie
o uit mededelingen geïnterviewde persoon
o om een vooraf bedachte vraagstelling te beantwoorden
– Vb. Job interview:
o Verzamelen informatie om de vraag te beantwoorden of sollicitant de job goed zou kunnen
uitvoeren
– Vb. Politieverhoor:
o Is deze persoon een mogelijke verdachte? “is hij degene die X gedaan heeft?”

Survey interview

57
 – Eén type interview
– Toegepast in sociale wetenschappen
– Grote aantallen respondenten die beschouwd worden als steekproef van populatie
– Via stellen van vragen achterhalen wat de “waarden zijn van een aantal kenmerken”
o Deze informatie moet kwalitatief goed zijn, anders vertekende resultaten! (datakwaliteit)
o Hangt af van vragenlijst en de manier waarop interviewers hun werk doen (heel goed – heel slecht)

8.4.1 Kenmerken van het survey-interview

Gesprek tussen 2 personen, met zeer duidelijke rolverdeling
– Gesprek van persoon tot persoon met duidelijke rolverderling (I en R)
– Interviewer stelt de vragen
o Formulering en volgorde van vragen list vast in vragenlijst
o Over meningen, gedragingen, feiten
– Geïnterviewde (=Respondent) beantwoordt deze naar best vermogen
o Zo volledig en accuraat mogelijk

A. Interactie tussen 2 personen

– Sociologie
o Interactie met personen als rolbekleders
o Wederzijdse rolverwachtingen: reageren op basis van rollen
– Psychologie: conversatienormen
o Ondervrager kent antwoord niet, wil het kennen, gelooft dat er een waar antw. bestaat, en hij denkt
dat R het antw. kan en wil geven
 Probleem bij informatie die R al weet (= in de val lokken)
o Antw. R bepaald door wat R veronderstelt dat ondervrager al weet (inclusion/exclusion model), doel
vh interview, en waarde van antwoord voor ondervrager (pragmatically significant answer)

B. Duidelijke rolverdeling
– Vaste rollen
– Rol interviewer = vragen stellen + motiveren en stimuleren R + evalueren
o Aanleren via “training” (zie verder)
– Rol respondent = vragen zo accuraat en volledig mogelijk beantwoorden
o Onrechtstreeks aanleren via de interviewer
 Hoe zijn rol best spelen: adequaat  inadequaat rolgedrag
o Door toepassen psychologische principes: belonen en “straffen”
 “goed zo”, “dank u”, “hmm”
 “wil u daar nog eens over nadenken”, “bent u daar zeker van”
 Maar nooit sturend: “amai, vindt u dat écht???”
– Respondent niet op zichzelf belangrijk
o Geen directe interesse in deze particuliere respondent, zoals dat wel het geval is bij job interviews,
politieverhoren,...
– Maar als “vertegenwoordiger” van een categorie personen waaruit dit individu toevallig werd geselecteerd

Dubbelzinnige statuut respondent

– De respondent is zéér belangrijk
o Medewerking zeer geapprecieerd, liefst niet moeten “vervangen” omdat anders kans op vertekening
door selectieve uitval vergroot.
– Maar anderzijds is de respondent niet belangrijk als particulier individu
o We proberen geen inzicht te krijgen in deze ene persoon. Moesten we toevallig een andere persoon
geselecteerd hebben in de steekproef, dan zou dat even goed geweest zijn.

58
 o Maar eens we een persoon geselecteerd hebben, is het uitermate belangrijk dat we deze persoon
kunnen overtuigen mee te werken (reden hierboven).

8.4.2 Functies van het survey-interview

A. Motiveren tot medewerking
– Met survey in algemeen (‘unit respons’)
– Op elk moment tijdens het interview (op elke vraag een adequaat antwoord geven; elke vraag
beantwoorden [=‘item respons’])

B. Verkrijgen van informatie

– Vragen bedoeld om “waarde op kenmerken te bepalen”
o Dezelfde informatie vragen bij iedereen
– Adequaat antwoord = antwoord dat gewenste info oplevert.
o Vb. Bent u het daarmee eens of oneens? Neen.
o Vb. Hoe oud bent u? 19 (adequaat, niet noodzakelijk “waar”!, kan eigenlijk 18 zijn)

C. Aanleren adequaat respondentengedrag

– R aanleren wat van verwacht wordt
– Verschillende “rollen” die R zich kan aanmeten
o De volgzame respondent
o De R die goede indruk wil geven
o De negatief ingestelde R
o De betrouwbare R
 Spant zich in om vragen zo goed mogelijk te beantwoorden
 Interviewer moet proberen dit gedrag op te wekken, te vestigen, en te ondersteunen
(hulpmiddel = psychologische principes van straffen / belonen en instructies en feedback)

8.4.3 Foutenbronnen bij het survey-interview

A. Een model van het vraag-antwoord proces
– 5 stappen om tot accuraat antwoord te komen
– R kan op elk moment een “shortcut” nemen om cognitieve belasting te verminderen en een niet-accuraat
antwoord geven
– R begrijpt vraag niet of niet gemotiveerd = situationele aanwijzingen

59
1. Duidelijkheid, woordgebruik en complexiteit
2. Welk referentiekader relevant is en welke informatie nodig is
3. Adequaat antwoord: nauwkeurigheid, volledigheid en oprechtheid
4. Evaluatie van persoonlijke doelstellingen van R (goede indruk geven)
5. Zich niet laten beïnvloeden door allerhande factoren = accuraat antwoord
1b-4b. Context vraag en eigen opvattingen en doelstellingen  situationele aanwijzing
5b. Situationele aanwijzing spelen mee bij antwoord = vertekening

B. Foutenbronnen vd kant van respondent

– Communicatie
o Bij onvoldoende motivatie: niet voldoende nadenken, antwoorden zijn onvolledig en onnauwkeurig,
last van geheugen en weinig herinneren
o Verdringing: bedreigd voelen door informatie
– Perceptie
o R kan “interview” beschouwen als iets anders
o Vb. opsporen zwartwerkers. R zal informatie verzwijgen: sociaal wenselijk antwoord

C. Interviewer effecten
– Interviewers kunnen fouten maken
o Interviewers kunnen antwoorden van respondent systematisch fout interpreteren, in de plaats van
de respondent een antwoord geven,…
– En R kan zijn antwoorden laten sturen door kenmerken van de interviewer
o R laat zich leiden door zijn perceptie van de interviewer
o Wat I zegt, hoe I zich gedraagt, zich kleedt

1. Rolafhankelijke kenmerken
Alles wat te maken heeft met rol als interviewer
– Vragen niet goed voorlezen, onvoldoende tijd laten om na te denken, vragen vergeten
– Antwoorden (on-)bewust beïnvloeden: eigen opinie geven, (vage) antwoorden van R interpreteren en zelf
invullen, versterken van antwoorden door verwachtingen
– Verwachtingen
o Attitudestructuur = antwoord in overeenstemming met vorige antwoorden
 Wat zou hij zeggen, gegeven zijn vroegere antwoorden
o Probabiliteitsverwachtingen = meest voorkomende antwoord in populatie
o Rolverwachtingen = kenmerken van respondent
 Het is een vrouw, dus moet ik het zo begrijpen

60
2. Rolonafhankelijke kenmerken
– Kenmerken die niets met rol van interviewer te maken hebben (leeftijd, geslacht, kledij)
– Effect als kenmerken manifest samenhangen met onderwerp
– Vb. “Hebt u een seksueel overdraagbare ziekte?” % JA
Interviewer man Interviewer vrouw

Respondent man 9% 4%

Respondent vrouw 12% 23%

– Hoogste scores indien overeenstemming geslachten respondent / interviewer

8.4.4 Hoe kan de kwaliteit van het survey-interview verbeterd worden?

Kwaliteitsverbetering interviews
– Maatregelen vooraf
o Selectie
o Training
– Maatregelen tijdens
o Supervisie
o Beloning

A. Selectie van interviewsters(voor een onderzoeksproject)

– Zorgvuldige selectie van de interviewers
– Lijst van beschikbare en betrouwbare interviewers: ervaren interviewers
o Ervaring met interviewers in vorige projecten
o MAAR! Neiging te vlug te werken
– Nieuwe interviewers
o Screenen op communicatieve vaardigheden
 Kan ook tijdens de “algemene training”

B. De training
– Algemene taakuitvoering + particuliere vragenlijst als onderwerp

Algemene training
– Bruikbaar voor alle survey onderzoeken
– Algemene regels voor het interviewen
o Kennismaking, voorstelling van inhoud, belang
o Uitleg over survey-interview, voorstelling taakregels
 Vragen letterlijk lezen
 Alle antwoordopties lezen
 Antwoordkaarten leren gebruiken
o Inoefenen van taakregels via rollenspellen
o Aanleren van bijzondere technieken
 Instructies geven aan R
 Feedback = R aanmoedigen bij adequaat gedrag
 Probing = doorvragen bij meerdere antwoorden
– Contactmodule
o Gebruik van “contactblad” (zie verder)
o Contactstrategieën
61
 o Overtuigen van respondenten: medewerking bekomen

Problemen
– Fysieke barrière
o Van at-home patroon van R
o Van het aantal en tijdstip van contact
– Verschillende factoren spelen mee
o Sociale context
o Sociaal-demografisch kenmerk
o Kennis van onderwerp
o Ervaring met survey
– Survey design (legnte) en samenstelling van interviewers (controle door onderzoeker)

Specifieke training
– Gericht op particulier onderzoek
– Vragenlijst overlopen met interviewers
– Onduidelijkheden uitklaren
– Interviewers vullen zelf de VL eens in
– Specifieke zaken contactblad verduidelijken

Eenvoudig contactblad

62
Bedoeling van contactblad
– Controle over data kwaliteit
o Informatie over elke contactpoging (hoe, wanneer, met wie?)
o Opvolgen van verloop van veldwerk
o Elke contact uitkomst documenteren
o Redenen van niet contacteren
o Redenen van weigering
o Andere nonresponse
o Waarneembare informatie over steekproefeenheid en over de woonsituatie en buurt
– Zeer bruikbaar voor de studie van de nonrespons

C. Supervisie
Houdt verloop veldwerk in de gaten: voortdurende opvolging
– Zijn alle interviewers bezig?
– Binnenkomende interviews evalueren: goed ingevuld, volledig ingevuld, geen verdachte zaken te merken
(Vb. zeer snel, met twee kleuren balpen ingevuld)
– Controles uitvoeren (telefonisch, schriftelijk)
o Contactblad: richtlijnen contactnames gerespecteerd?
o R contacteren en nagaan of interviewer er geweest is, hoe lang, welk?
 Enkel een paar vragen stellen, rest zelf in vullen
 Interviews doorgeven aan mekaar (bv. Interviewerkoppels)
– Tijdig en gepast reageren: bijsturen, eventueel interviewer vervangen
D. Beloning
– Duidelijke afspraken
– Meestal vergoeding per afgewerkt interview (rond €35-50)
– Bijkomende reiskostenvergoeding
– Soms bijkomende vergoeding correct invullen contactblad

E. Vooruitzicht dat gecontroleerd wordt

– Interviewers moeten weten dat ze gecontroleerd worden
– Stimuleren om degelijk werk af te leveren

8.4.5 Evaluatie van de kwaliteit achteraf

A. Hoeveelheid bruikbare informatie
Kwaliteitscontrole
– (Unit-) non-respons
o Weigering, non-contact, resultaten registeren

63
  Info uit contactblad (laat ook toe na te gaan of I richtlijnen omtrent contactnames heeft
gerespecteerd)
– Ontbrekende antwoorden = moeilijk te interviewen respondent
 Weet-niet geen antwoord, geen mening
 Analyse van item non-respons
– Informatie op open vragen
o Aantal woorden, topics
– Extreme antwoorden, non-differentiatie, inconsistente antwoorden

B. Interviewer effecten (interviewer-variantie)

– Bekijken als “hiërarchische structuur”:
o Interviewers / respondenten
o Cf. operationalisering Hfst 4
– Noodzakelijke voorwaarden
o R toevallig toewijzen aan interviewers
o Bijhouden door welke interviewer elke respondent ondervraagd werd.

Toegepast op interview
– De interviewer mag de antwoorden van de R niet beïnvloeden!
– Elke interviewer heeft een (toevallig samengestelde) set van respondenten
o Dus de verkregen antwoorden zouden op toevalsfouten na gelijk moeten zijn per interviewer
o Grote verschillen = interviewer effecten

Geen interviewer effecten Wel interviewer effecten

In twee stappen
– Eerst nagaan of er verschillen zijn per interviewer (variantie op niveau van de interviewer)
– Daarna, indien mogelijk, info over interviewer hiermee in verband brengen
o Belang van interviewers zelf ook een VL te laten invullen!
 Aanwijzingen dat houdingen van R gelijken op die van hun interviewers

Voorbeeld. Vragen naar “belangstelling voor sport”

– Zou ongeveer gelijk moeten zijn voor alle interviewers (want random assignment)
– Maar: gemiddelde score = 6,81 bij interviewers die zelf zwak geïnteresseerd zijn in sport
– En 10,09 bij interviewers die zelf sterk geïnteresseerd zijn in sport! (p<0.01)
 eigen houding van I speelt door op die van de R.

C. Interactie tussen interviewer en R

– Interviews op (video-)band opnemen
– Beluisteren, eventueel formeel analyseren (inhoudsanalyse) = taak adequaat uitvoeren?

D. Kwaliteit van de informatie: Accuraatheidsonderzoek

– Gekende informatie vergelijken met antwoorden respondenten
o Kan enkel voor feiten, gebeurtenissen, gedragingen!

64
 o Ware antwoorden zijn niet bekend
– Denver Validity Study:
o Hoe meer tijd tss gebeurtenis en interview, hoe groter de kans op onderraportering
o Voor R belangrijke gebeurtenissen worden accurater gerapporteerd
o Sociaal onwenselijke gebeurtenissen: kans op onderraportering stijgt; sociaal wenselijke:
omgekeerde
– Als interviewers:
o Hogere frequenties behalen op
 Onbelangrijke gebeurtenissen
 Die verder in het verleden liggen
 En op sociaal onwenselijke gebeurtenissen
o En lagere frequenties behalen op
 Sociaal-wenselijke gebeurtenissen
o Dan nemen we aan dat deze interviewers “betere data” opleveren.

Voorbeeld 8.2 Heeft het volgen van een interviewer-training een positief effect op de datakwaliteit?
– Getrainde interviewers
o Significant meer informatie bij getrainde
interviewers
o Hogere respons op bedreigende vragen

E. Informatie uit het na-interview

– “Debriefing vragen” voor R: enkele vragen over
interview kort na interview
o Moeilijkheid, interessant
– Rapport van de interviewer
o Vragen worden niet voorgelegd aan R, Interviewer vult ze zelf in (na het interview)
 Hoe gemotiveerd en bekwaam was de R?
 Aanwezigheid van derden?
 Hoe vaak heeft R moeilijkheden gehad om de vragen te beantwoorden?
 De “moeilijk te interviewen respondent

F. Evaluatie op basis van telefonische controles

– Steekproef uit de steekproef als controle
o Subset van respondenten EN weigeraars opnieuw contacteren
o Enkele basisvariabelen opnieuw bevragen
o Hoe lang duurde interview?
o Welk geslacht had de interviewer, leeftijd?
o Controle van weigeraars of die wel degelijk gecontacteerd zijn
– Bij vermoeden dat er iets niet klopt: alle interviews van de bewuste interviewer nakijken

Samenvatting
– Belangrijk om training, supervisie, kwaliteitscontrole vooraf in te plannen (onderzoeksplan)
– Als niet gepland (en gebudgetteerd), dan zal het er hoogstwaarschijnlijk niet van komen
o Voor studie interviewer effecten = random toewijzen, wie dr wie?
o Accuraatheidsonderzoek: vragen over verleden, soc.onw vragen opnemen
o Telefonische controles: budget opzij houden om dit te doen
o Ruimte voor na-interview voorzien in vragenlijst
o Sommige interviews per interviewer op band opnemen
65
8.5 Postenquête
8.5.1 Verhogen van de respons: de Total Design Method
Don Dillman
– Postenquêtes
– Probleem was zeer grote non-respons
– Ontwikkelde reeks “strategieën” om respons te verhogen, gebaseerd op “sociale ruiltheorie”
– Noemde dit de “Total Design Method”
– Reden: integratie aantal losstaande bevindingen (met dank aan sociale ruiltheorie)
o Respons variatie door onderwerp, opdrachtgever, follow-up contacten
o Verhogen: aantrekkelijke onderwerpen, bekende opdrachtgever, persoonlijkheid

A. Theoretisch uitgangspunt: de ruiltheorie

Sociale ruiltheorie
– Sociale handelen bepaald door voordelen die men denkt te maken = kosten-baten analyse
o Ook sociale emotionele voordelen
– Kosten
o Tijdsinvestering, mogelijk “gezichtsverlies” = zo gering mogelijk
– Baten
o Dankbaarheid, persoonlijke interesse, gevoelen van waardering, gevoelen bij te dragen tot
wetenschappelijk project = zo groot mogelijk
– Vertrouwen
o Overtuigd zijn dat baten (op termijn) groter (zullen) zijn dan kosten

Toepassing
– Kosten verlagen:
o Korte, makkelijk in te vullen vragenlijst
– Baten verhogen
o Persoonlijk aanspreken van mensen, bv. hun naam gebruiken in briefwisseling, persoonlijk
handtekenen brieven, adres met de hand op de enveloppe schrijven
o Invloedrijke of bekende opdrachtgever = persoonlijk
– Vertrouwen verhogen
o Pre-paid incentive, legitieme survey sponsor (bv. Universiteit)

B. Toepassing van de TDM

– Persoonlijkheid: vorm en uitzicht introductiebrief en omslag
– Herinneringen: hoeksteen van de TDM
o 5 contacten voorzien
 Eerst introductie brief, aankondigen onderzoek
 Enkele dagen (max. 1 week) na (1): vragenlijst mailout
 Brief, vragenlijst, eventuele incentive, retour enveloppe
 Vragenlijsten zijn genummerd!
 2 weken na (1): bedankkaartje / herinnering
 4 weken na (1): herinneringsbrief + VL voor non-respondenten
 8 weken na (1): laatste poging om belang onderzoek aan te tonen: andere survey modus
(telefoon, face-to-face) of koerierdienst, persoonlijke afgifte VL
o Alleen effect als alle richtlijnen opgevolgd worden
o Percentage antwoorden stijgt na elke herinnering tot 65% soms
– In vroegere TDM
o Laatste contact = aangetekend schrijven, maar is aangepast want kan negatief werken

66
 o Nu dus eerder bijkomende inspanningen van kant van onderzoeker om belang van onderzoek aan te
tonen
 Vooral overschakelen naar andere survey modus tegenwoordig “in”
 = Mixed mode surveys
– Verschil naar gelang betrokkenheid populatie
o Sociale voorzieningen bij studenten: 90%
o Betrokkenheid als stimulerende factor (beloning helpt)

8.5.2 Evaluatie van de non-respons

– Vaak toch nog non-respons van 1/3
o Meestal samenhang tussen weigeringen, aard van onderwerp en kenmerken R
o Non-respons zelf als voorwerp nemen van onderzoek
– Vergelijken met bekende gegevens (1)
– Respons vgl. met non-respons (2)
– Opnieuw benaderen van weigeraars (3)
– Vergelijken van “response waves”(4)
o 1 tot 3 kan evenzeer in interview surveys en voor 3 is er aan alternatief ontwikkeld: refusal
conversion)

A. Vergelijken met bekende gegevens

– Als er geen bijkomende informatie is en data afkomstig van bekende populatie
– Uitgangspunt = geplande steekproef is representatief en feitelijk gerealiseerde steekproef dus ook
– Probleem: populatiegegevens vaak veroudering: niet meer zoveel samenhang
– Geslacht, leeftijd, opleiding van gerealiseerde steekproef met hoe dat zit in populatie (NIS)
o Eerst univariaat (kenmerk per kenmerk)
o Dan multivariaat (alle kenmerken samen als mogelijk)

– Zo mogelijk ook nog kruisen meet opleidingsniveau

B. De respons en non-respons vergelijken

– Als steekproefkader gegevens bevat over aantal kenmerken van R
o Vb. Geslacht, leeftijd gekend voor respondenten én nonrespondenten
– Nulhypothese niet verworpen = minder zorgen
o Wel eventueel verschillen over niet-onderzochte kenmerken
– Nagaan of respondenten afwijken van non-respondenten op deze kenmerken
o Univariaat
o Multivariaat

67
C. Opnieuw benaderen van de weigeraars
– Steekproef uit nonrespondenten:
o Korte VL naartoe sturen
o Of telefonisch contact nemen
o Of persoonlijk langsgaan (interviewers) en deze korte VL afnemen
o Informatie vergelijken van de antwoorden van “geconverteerde” weigeraars met R
– Refusal conversion: in ESS worden met dat doel de weigeraars opnieuw benaderd en men kan dan
vergelijken als er voldoende bekeerde weigeraars zijn; in R3 van ESS zelfs een apart survey onder weigeraars
enkele maanden na het hoofdsurvey
o Veronderstelling: bekeerde weigeraars gelijken op finale weigeraars

D. Vergelijk de stromen van binnenkomen van de vragenlijsten

– Beschikken over weinig middelen: stromen van binnenkomende antwoorden uit elkaar houden tussen
verschillende tijdstippen vergelijken
– Vroege respondenten vgl met late respondenten (ideaal voor postenquête)
– Assumptie = late respondenten gelijken meer op non-respondenten dan dat de vroege respondenten
gelijken op non-respondenten
– Late respondenten als “proxy” voor non-respondenten

– Na tweede herinnering antwoorden: tussen de meewerkers en niet-meewerkers

– Weigeren hangt samen met leeftijd, sekse, opleiding, woonomgeving
– Weigeringen neemt toe als men minder geïnteresseerd of betrokken is
– Interviewer speelt belangrijke rol bij interviews

Hoe werkt het vergelijken van stromen van binnenkomen?

– Hou goed bij op welk moment de formulieren binnenkomen (na eerste, tweede, derde herinnering)
– Vergelijk de stomen van binnenkomen op een aantal cruciale variabelen
– Probeer de volgende hypothese niet te verwerpen: « Er is geen verschil! »
– Welke veronderstelling moet de onderzoeker maken opdat de methode van de ‘stromen van binnenkomen’
geldig zou zijn?
o Klopt die veronderstelling?

Voorbeeld 8.3. Onderzoek “vrijwilligerswerk”

68
 – Respons stromen vergelijken: vroeg vs. laat: Iets minder vrijwilligers in de late groep, maar niet significant
(p=0,769) omwille van klein aantal wellicht
– Weigeraars opnieuw benaderen met korte VL: hier zien we wel veel minder vrijwilligers.
– Dus:
o We overschatten allicht % mensen dat vrijwilligerswerk doet of deed
o Late respondenten gelijken meer op non-respondenten dan dat vroege respondenten gelijken op
nonresp.

– Significante samenhang tussen snelheid respons en afhankelijke variabele

o Onmiddellijk antwoorden: meer vrijwilligerswerk
o Vrijwillig engagement wordt overschat

8.6 Web enquêtes

– Elektronische variant” van postenquête
o Een aantal principes overdraagbaar:
 Personalisering, herinneringen, lay-out,...
o Maar toch ook eigenheid
 Bv. herinneringen korter op elkaar
– Heeft problemen met non-respons, maar nog groter probleem is dekkingsprobleem

Dekkingsprobleem
– Niet iedereen heeft internet verbinding
– Van iedereen die dit wel heeft hebben we geen lijsten...
– Maakt steekproeftrekking zeer problematisch voor algemene populaties
o Voor specifieke populaties geen probleem
o Studenten, werknemers, leden van organisaties,...

Oplossingen?
– On-line panels (“access panels”)
o Vaak vele duizenden leden
o Krijgen allerhande voordelen (cadeaucheques, kunnen punten sparen om dingen te kopen in
winkels,...)
o Maar zijn mensen die zichzelf inschrijven
 Zeer selectief!
 De “professionele respondent”
 Niet representatief voor “algemene populatie”!
Oplossingen?
– “Wegen”
o Te weinig mannen? We geven ze een groter gewicht
o Te veel hooggeschoolden? We geven ze een lager gewicht

69
 – Soms zeer geavanceerd
o Vb. “Propensity Score Adjustment” (PSA) = men past de cruciale variabelen aan een ‘gold standard’
aan (een face to face survey van hoge kwaliteit)
o Assumptie: ook verdelingen van andere cruciale variabelen komen dan beter overeen met
populatie(?)

Onderzoeksresultaten?
– Eigenlijk maakt wegen niet zoveel uit
o Soms verbetering, soms niet, soms zelfs verslechtering na weging!
– Fundamentele probleem blijft dekking en selectiviteit. Kan je niet zomaar oplossen met technische ingrepen
o Voorlopig dus geen statistische methode die vertekening kan wegwerken

Toepassingsmogelijkheden web survey?

– In “gesloten” populaties (studenten, werknemers)
– Maar ook in algemene populaties indien steekproef getrokken uit goed frame en we offline contacteren (vb.
brief)
– Om bepaalde zaken uit te testen
o Methodologisch georienteerd onderzoek
o Vb. over vraagverwoording, operationaliseringen

8.7 Mixed mode surveys

– Geen enkele reden om slechts één survey modus te gebruiken in onderzoek
o Combinatie kan goedkoper zijn én betere data genereren...
o 1967: eerste mixed mode survey door Hochstim. Eerst postaal, daarna opvolgen met telefonische
enquêtes
– In praktijk: eerst goedkoopste survey modus, daarna pas duurdere survey modi gradueel inzetten, bv.
o Eerst web survey
o Dan post enquête
o Dan telefonisch
o Dan face-to-face
– Volgende survey modus vangt telkens de non-respondenten van de vorige survey modus op

“Sequentieel design”

Problemen?
– Mode effecten
o Exact zelfde vraag geeft verschillende antwoorden in de verschillende survey modi
 Sociale wenselijkheid, acquiescence
 Visueel vs. auditief communicatiekanaal
 Primacy vs. recency
 Interviewer vs. R controleert stimulus
 Vraagvolgorde effecten

Oplossing?
– “Uni-mode” constructie principes, o.a.:
70
 o Alle antw. cat. zelfde over alle survey modi heen
o Verminder aantal antw. cat. indien nodig
 Telefonisch: maximaal 4 cat.
o Rangordeningvragen vooraf laten gaan door zelfbeoordelingschaal (rating scales)
o Doorverwijzingstructuur eenvoudig maken
 Vooral indien postenquête gebruikt wordt

Bijkomend probleem:
– Differentiële groepssamenstelling
o Cfr. Quasi / pre-experimenten
– Non-respondenten opvolgen in latere survey modus: niet enkel mode effecten, maar ook andere mensen!
o Dus 2 effecten tegelijkertijd aanwezig, en we kunnen ze niet van elkaar scheiden
o Nood aan “methodologisch onderzoek”

Simultane mixed mode designs

– Houdt samenstelling van de groepen gelijk
– Varieert de survey modus
o Cfr. het echte experiment
– Om effect van survey modus op zichzelf te evalueren en op zoek te gaan naar manieren om deze effecten te
elimineren

Appendix: Ethiek en deontologie van de onderzoeker

1. Deontologische regels eigen aan het wetenschapsbedrijf
– Gebruik de meest aanvaarde inzichten en methodes
o Gebruikers moeten er op kunnen vertrouwen dat de onderzoeker op de hoogste is van de recente
stand van zaken en dat die daar gebruik van maakt
o Onderzoeker maakt melding van eventuele verschillen in opvatting over de best geschikte methode
– Transparant over je methode = kenbaar maken van gebruikte methode
– Openheid voor controle / replicatie
o Materiaal ter beschikking stellen eens gepubliceerd
– Correct refereren naar ander onderzoek
o Geen plagiaat
– Vergissingen toegeven / kenbaar maken
– Reviewen van artikels: info niet zelf gebruiken

Toegepast op survey onderzoek : AAPOR code: « best practice »

– Doel van het survey?
– Is survey beste methode gegeven doelstelling? = adequaatheid
71
 – Kwaliteit van steekproef verzorgen
– Optimale balans tussen kostprijs en kwaliteit realiseren
– Zorg voor geldigheid van indicatoren
– Informatie over non-respons
o Kwaliteitscontroles
– Aandacht voor pre-testen
– Goede interviewertraining
– Gepaste analyse technieken
– Ontsluiten van informatie
o Informatie voor sponsor, bedoeling en doelstellingen, steekproefdesign

2. Ethische regels m.b.t. onderzochte subjecten

– Confidentialiteit en anonimiteit
o Cfr. Wet op de privacy bescherming: nooit informatie prijsgeven
– Bij responsverhoging: grens van correcte behandeling niet overschrijden
o Meermaals terugbellen, aanmelden, brieven
– « Informed consent » respecteren
o = Subjecten hebben recht op wanneer het onderzoek, bedoelingen
o Subjecten moeten vrijwillig deelnemen
o Verschillende modaliteiten, opletten bij verborgen waarneming

Regels m.b.t. onderzochte subjecten: rond informed consent

– Onderzochten zijn geïnformeerd over bedoelingen, anonimiteit
o Kennis niet meedelen bij effect op resultaten
– Maak afweging met maatschappelijk belang van onderzoek bij verborgen of semi-verborgen
– Jezelf of anderen niet in psychisch of fysiek gevaar brengen
– Publieke (verantwoording aan publieke opinie) vs. Private rollen (privé-sfeer eerbiedigen)
– Vertrouwen toch in acht nemen bij doorbreken ‘privacy’
– Wetten en regels van fatsoen in acht nemen, dus toch ethische lijn indien overtreding ‘informed consent’
– Welzijn van onderzochten bij ‘misleiding’
– Onderzochten mogen geen last ondervinden uit publicatie van onderzoek (vb.).
o Subjecten zijn menselijke wezens, eventueel embargo op publicatie (of thesis)
– Als onderzoek verandering teweegbrengt is er steeds ethisch probleem
– Wat indien getuige van criminele feiten?
– Bij overtreding ‘informed consent’ wel informatie achteraf
– Niet oneerlijk zijn om ‘eerlijke’ data te krijgen, maar ook niet naïef zijn
– Rekening houden met later onderzoek

Geen kinderen ondervragen over ouders

– Enkel als proxy R gebruiken bij toestemming van ouders
– Geen:
o “Sugging”: Selling under the guise of surveying
o Frugging”: Fund raising under the guise of surveying
o “push-polling”: opdringen van politieke overtuiging via survey
– Veld proper achterlaten
o Andere onderzoekers ook nog een kans laten

72