COLLEGE 5

QUASI-EXPERIMENTENTELE ONDERZOEKSONTWERPEN

LITERATUUR

H9 – BASIC ISSUES IN EXPERIMENTAL RESEARCH

Van de vier typen onderzoek (beschrijvend, correlationeel, experimenteel en quasi-experimenteel) levert

alleen experimenteel onderzoek afdoende bewijs voor oorzaak-gevolgrelaties.

In een goed opgezet experiment  (1) Varieert de onderzoeker ten minste één onafhankelijke variabele om
de effecten ervan op het gedrag van deelnemers te beoordelen, (2) wijst hij deelnemers toe aan de
experimentele omstandigheden op een manier die de initiële gelijkwaardigheid van de omstandigheden
verzekert en (3) controleert hij externe variabelen die de deelnemers hun gedrag kunnen beïnvloeden.

Een onafhankelijke variabele moet minimaal 2 niveaus hebben  elk experiment moet dus ten minste 2
voorwaarden hebben. (1) De controlegroep in een experiment, als die er is, krijgt een nul niveau van de
onafhankelijke variabele en (2) onderzoekers kunnen een onafhankelijke variabele variëren door omgevings-,
instructie- of invasieve manipulaties.

Om ervoor te zorgen dat hun onafhankelijke variabelen sterk genoeg zijn om de veronderstelde effecten te
produceren  testen onderzoekers vaak hun onafhankelijke variabelen en gebruiken ze manipulatiecontroles
in het experiment zelf. Naast onafhankelijke variabelen die door de onderzoeker worden gemanipuleerd,
bevatten experimenten soms subject- (of deelnemer-) variabelen die kenmerken van de deelnemers
weerspiegelen. De logica van de experimentele methode vereist dat de verschillende experimentele en
controlegroepen equivalent zijn voordat de niveaus van de onafhankelijke variabele worden geïntroduceerd.

Initiële gelijkwaardigheid van de verschillende voorwaarden wordt bereikt op een van de volgende 3
manieren  (1) In eenvoudige of gematchte willekeurige opdrachten, (2) bij ontwerpen binnen proefpersonen
en (3) herhaalde metingen dienen alle deelnemers in alle experimentele omstandigheden, waardoor hun
gelijkwaardigheid wordt gegarandeerd.

Binnen-proefpersonen-ontwerpen zijn krachtiger en economischer dan tussen-proefpersonen-ontwerpen,

maar orde-effecten en overdrachtseffecten zijn soms een probleem. Niets anders dan de onafhankelijke
variabele mag systematisch verschillen tussen condities  (1) wanneer iets anders dan de onafhankelijke
variabele verschilt tussen condities, treedt confounding op, (2) waardoor de interne validiteit van het
experiment wordt vernietigd en het moeilijk en (3) zo niet onmogelijk wordt om conclusies te trekken over de
effecten van de onafhankelijke variabele.

Onderzoekers proberen de foutvariantie te minimaliseren  Foutvariantie wordt geproduceerd door

onsystematische verschillen tussen deelnemers binnen experimentele omstandigheden. Hoewel foutvariantie
de validiteit van een experiment niet ondermijnt, maakt het detecteren van effecten van de onafhankelijke
variabele moeilijker.

1
De verwachtingen van onderzoekers en deelnemers over een experiment kunnen de resultaten vertekenen
 Er moeten dus inspanningen worden geleverd om de invloed van verwachtingen van de experimentator,
vraagkenmerken en placebo-effecten te elimineren. Pogingen om de foutvariantie in een experiment te
minimaliseren, kunnen de externe validiteit van het onderzoek verminderen = de mate waarin de resultaten
kunnen worden gegeneraliseerd.

De meeste experimenten zijn echter ontworpen om hypothesen over de oorzaken van gedrag te testen. Als de
hypothesen worden ondersteund, zijn ze - niet de specifieke resultaten van het onderzoek - gegeneraliseerd.
Gedragsonderzoekers gebruiken het World Wide Web om enquêtes, correlatiestudies en experimenten uit te
voeren, waardoor ze grotere en meer diverse steekproeven kunnen verkrijgen met minder tijd en geld.
Onderzoekers die webgebaseerd onderzoek uitvoeren, hebben echter vaak moeite met het identificeren en
controleren van de aard van de steekproef, en ze hebben geen controle over de zoekinstellingen.

COLLEGE

ONDERZOEK DOEN

 Onderzoeksvraag; Wat willen we weten;

 Onderzoeksmethode; Wat kunnen we concluderen op basis van deze studie? We bepalen wat we
uiteindelijk kunnen concluderen, hoe we het onderzoek gaan ontwerpen;
 Statistiek Beschrijvend; Hoe ziet de gemeten data eruit? Wat hebben we gevonden?
 Inferentiële Statistiek; Wat kunnen we zeggen over de populatie op basis van een steekproef

SOORTEN ONDERZOEKSMETHODEN

 Beschrijvend (Hoe ziet deze variabelen eruit);

 Relationeel (Relatie tussen twee variabelen, hoe zijn ze met elkaar verbonden);
 Experimenteel (Causale conclusie te kunnen trekken, naast een relatie ook weten of het anders is en komt
het specifiek door deze reden);
 Statistiek is hetzelfde ongeacht het soort onderzoek (meer complexe designs vragen om meer complexe
analyses, hoeven jullie niet te kunnen).

CAUSALITEIT

 We willen vaak de oorzaak van een fenomeen weten 

o Wat leidt tot depressie?
 Causaal verband 
o Oorzaak en gevolg (situatie A leidt tot situatie B);
o Vaak lastig want het gevolg kan vervolgens ook weer de oorzaak zijn (bijv. Motivatie en
tentamencijfers, we doen veel aannames die onterecht zijn of er is sprake van een derde
variabele).

OORZAAK EN GEVOLG

 Vaak heel complex en afhankelijk van vele factoren 

o Bosbrand  sigaret, droog, brandbaar materiaal, zuurstof etc. (Dus niet één oorzaak).
 Voorbeeld  Jeugdcriminaliteit;
o Genetisch, leefomgeving, vrienden/familie etc.

2
 o Factoren vaak (deels causaal kunnen zijn) onderdeel van een groter geheel, zorgt de leefomgeving
er puur alleen voor dat er sprake is van jeugdcriminaliteit of zijn er meerdere factoren die ervoor
zorgen?
 Gevolg begrijpen door middel van counterfactual;
o Hoe had de situatie geweest als we niks gedaan hadden? Zou het leesvermogen veranderen als
we geen interventie hebben gehad?
 Voorbeeld  Leestherapie voor kinderen;
o Zou het leesvermogen zonder extra oefeningen ook zo vooruit zijn gegaan? Heeft de tijd er ook
mee te maken?
 Gevolg is  verschil in wat wel is gebeurd en wat anders gebeurd zou zijn.
o Zelfde persoon meten in twee verschillende situaties is heel lastig!
o Helaas onmogelijk!

CAUSAAL VERBAND

 Om van een causaal verband te spreken moeten we aan 3 voorwaarden voldoen 

o De oorzaak komt voor het gevolg;
o Er is covariantie tussen de twee variabelen tussen wie we een causaal verband verwachten;
o Er zijn geen alternatieve verklaringen voor het verband. Zeker in de sociale wetenschappen zijn er
veel correlaties tussen meerdere variabelen.

CAUSATIE, RELATIE, CONFOUNDS

 Correlatie bewijst geen Causatie 

o Zelfs als het erg vanzelfsprekend lijkt!
o Relatie kan beide kanten op of toevallig zijn;
o https://www.tylervigen.com/spurious-correlations
 Confounding variabelen 
o Bijv. inkomen en opleidingsniveau (intelligentie is ook erg
erfbaar, dus dat kan ook een oorzaak zijn);
o Verwachte leeftijd en aantal artsen (welvaart, mensen die in
een land wonen waar weinig artsen zijn, hebben ook vaak minder drinkwater, goed eten en
gezondheid).

HET BLIJFT BLIJKBAAR LASTIG

 Zowel oorspronkelijke auteur van het wetenschappelijke artikel als ikzelf benadrukten het feit dat er geen
causale conclusies getrokken kunnen worden.
 Titel Trouw 

“Migratieachtergrond verkleint kans op gewilde studieplek bij studies als geneeskunde of psychologie.”

INTERNE VALIDITEIT

 Interne validiteit = hoe sterk is de conclusie die we kunnen trekken dat de covariatie tussen variabelen A
en B een reflectie is van het causale verband tussen variabelen A en B;
o Hoe sterk is de conclusie die we kunnen trekken? Conclusie kan vaak sterker getrokken worde bij
experimenteel onderzoek.
 Bedreigingen voor de validiteit 

3
 o Ambigue tijdsverloop (Welke variabele komt eerst?);
o Deelnemer selectie (Zijn de groepen wel gelijk?);
o Geschiedenis (Wat speelt er zich nog meer af tijdens de studie?);
o Tijdsverloop (Zou de proefpersoon sowieso al veranderen? Vocabulaire verandering van de
kinderen door de jaren heen);
o Regression to the mean (Zouden proefpersonen bij nog een test nog zo goed/slecht zijn?);
o Uitval (Wie zijn er uitgevallen? Mensen die stoppen, omdat het medicijn niet aanslaat, ga je alleen
maar een conclusie trekken over de mensen bij wie het medicijn wel aanslaat);
o Herhaling/leereffect (Heeft de eerste poging effect op vervolgpogingen? Twee keer achter elkaar
dezelfde toets geven, heeft dat echt alleen te maken met de bijles);
o Instrumentatie (Zijn de meetinstrumenten wel valide of hetzelfde? En betrouwbaar?).

EXTPERIMENTEEL ONTWERP

 De drie eigenschappen van een experiment 

o Een variabele manipuleren;
o Random toewijzen aan groepen;
o Een controlegroep (of placebo/nocebo);
 Wat is het nut van elke drie eigenschappen?
 Controlegroep 
o Om te kijken hoe onze onderzoeksparticipanten gemiddeld (waarschijnlijk) veranderd zouden zijn
gedurende het experiment = counter factual thinking. (Zelfde persoon twee keer meten is nu
twee keer een soort gelijke persoon meten).
 Random toewijzing 
o Ervoor zorgen dat op andere variabelen, de groepen gemiddeld gelijk zijn. (Kans zo klein mogelijk
maken dat een derde variabele de resultaten beïnvloed).
 Variabele manipulatie 
o De variabele meten en veranderen voor het meten van de uitkomst (tijdsverloop controleren en
covariantie meten).

WAT NOU ALS EEN VOLLEDIG EXPERIMENT NIET KAN?

 Wat als?
o We geen controlegroep hebben?
o We geen variabelen kunnen manipuleren?
o We geen random toewijzing kunnen doen?
 Maar toch op zoek zijn naar een causaal verband?
 Quasi-experimenten!
o Veel voorkomend in de sociale- en medische wetenschappen.

QUASI-EXPERIMENTELE ONTWERPEN

 Enkele quasi-experimentele ontwerpen 

o Eén groep design;
o Non-equivalent groups (niet volledig vergelijkbaar);
o Time Series;
o Cross sequential.

4
 Deze studies zitten op een spectrum tussen correlationele- en causale studies (in sommige situaties dichter
bij correlationeel, niks zeggen over causale relaties, en soms lig je heel dichtbij een causale relatie en kan je
een poging wagen);
 Veel voorkomende “threats to internal validity” in Quasi-experimentele ontwerpen 
o History (wat heeft er zich afgespeeld tijdens de studie);
o Maturation (mensen veranderen over tijd en hoeveel invloed heeft dat);
o Regression to the mean (is er sprake van een leerproces, twee keer dezelfde toets geven, er zit al
een leerproces in het maken van de toets bij de eerste keer);
o Pretest sensitization;
o Selection bias (ongelijke groepen);
o Local History (wat speelt er tijdens de studie verschillend af tussen de groepen onderling).

EÉN GROEP ONTWERP

 Voorbeeld 

We doen een rekeninterventie bij kinderen in groep 5. Na het de interventie laten we de kinderen een toets
maken. De kinderen scoren gemiddeld genomen een 8.

 Vraag 1  Heeft de interventie geholpen? Weten we niet.

 Vraag 2  Hoe kunnen we dit onderzoeksontwerp verbeteren?
 Verbeterpunten 
o Pre-test = Hoeveel scoorden de studenten gemiddeld vóór de interventie?
o Natuurlijke controlegroep = Hoe deden kinderen in andere groepen of jaren deze toets? De
groepen zijn niet 100% gelijk, maar wel gelijk genoeg om te kijken of er wat te vinden valt.
 Welk(e) nadeel(en) heeft deze studie nog waardoor we geen sterke causale conclusie kunnen trekken?
o Geen gelijkwaardige/willekeurige controlegroep (andere variabelen of gebeurtenissen kunnen
nog steeds een rol spelen, of ze echt gelijkwaardig zijn weten we niet);
o Leereffect, want de participanten hebben een pre-test gemaakt.

NIET EQUIVALENTE GROEPEN

 Als we gebruik maken van een natuurlijke controlegroep hebben we het over een niet-equivalente
groepen ontwerp 
o Veel voorkomend in sociale/medische wetenschappen;
o Weten niet waar, wanneer en hoeveel de groepen van elkaar verschillen
o Manipulatie  quasi-experimentele onafhankelijke variabelen (denk bijvoorbeeld aan roken,
soms ook niet ethisch).
 Mogelijk oplossingen  meerdere controlegroepen voormeting van variabelen waar de groepen
waarschijnlijke op verschillen;
o Maak groepen met mensen die gerookt hebben, maar gestopt zijn of een groep waarvan mensen
verslaafd zijn aan alcohol, zodat je andere factoren ook uit kan sluiten.
 Voorbeeld leesvaardigheid interventie bij ene groep en niet andere groep na meting heeft experimentele
groep een hogere score dan de andere groep;
o Komt deze hogere score door de interventie?

In Leary (p. 195) wordt een experiment beschreven dat twee verschillende interventies doet op basis van
willekeurig gekozen verdiepingen in een verzorgingshuis. Er wordt in deze studie dus gekozen voor verdiepingen
en niet losse participanten. Hierdoor creëren we (mogelijk) zelf nietequivalente groepen. Wat zou een rede
kunnen zijn voor de onderzoekers om dit te doen?

5
 Antwoord  Als bijvoorbeeld “contamination” een probleem zou opleveren;
o Als bijvoorbeeld kinderen uit de experimentele groep uitleg geven aan kinderen uit de
controlegroep over wat ze geleerd hebben, zijn de participanten uit de controlegroep niet meer
‘zonder’ interventie;
o We gaan een leesinterventie doen op een basisschool. De ene groep krijgt deze wel en de andere
niet. In de pauze wisselen ze uit hoe het werkt, waardoor de kennis van de controlegroep over de
interventie ook toeneemt.

TIME SERIES

 Interrupted time series (vaak meten en zien wat er gebeurd over de tijd heen)
o Een serie metingen waarbinnen een interventie of gebeurtenis plaatsvindt;
o Hiermee kunnen we de trends vaststellen van voor en na de interventie, deze
kunnen we daarna met elkaar vergelijken, en kijken of er een verschil is.

PROBLEMEN

 Gebeurtenissen tijdens de time series kunnen het resultaat beïnvloed (Naast een dieet, ook gaan sporten,
dus de dieetinterventie is niet de enige verklaring meer waarom het gewicht zou gaan dalen);
 Trendlijnen 
o Verschillende soorten trendlijnen;
 Lineair (verband, langzaam omhoog of naar beneden), kwadratisch etc.
 Periodieke trends (seizoenen, depressie, dagen en stijgen).
 Problemen met trends  wanneer begint het effect van de medicijnen, wanneer stopt het? Hoe weet je
wanneer je in welk moment van de cyclus bevindt? (Bijvoorbeeld anti-depressie medicijnen, voel je je nu
beter door de medicijnen of omdat je sowieso alweer zou gaan stijgen met je gevoel);
o Hebben we meer tijd nodig om het effect te kunnen zien?

VERBETERINGEN

 Welke verbeteringen zouden we toe kunnen passen om de interne validiteit te verhogen?

o Controlegroep;
 Trendbreuk wel in experimentele groep, niet in controle. Waarschijnlijker causaal effect.
o Interventie plaats laten vinden op verschillende tijdstippen over verschillende groepen, meer
controlegroepen als ze niet equivalent zijn;
o De interventie periodiek toepassen en weer weghalen (bijv. gebruik medicijnen, 4 weken wel, 4
weken niet).

CROSS-SEQUENTIAL DESIGN

 Soort combinatie tussen cross-sectioneel en longitudinaal. Voor longitudinale designs lees Leary p.204 
o Mogelijkheid om over generaties te vergelijken over de tijd heen;
 Bijv.  Zijn jongere mensen handiger met technologie?
o Hierbij kunnen we niet zomaar ouderen met jongeren vergelijken want een hoop
van de technologie is recentelijk pas ontworpen. Er is dus een “effect van
generatie”.
o Uiteindelijk kan je het woord van ‘generatie’ eruit halen en kan je leeftijden gaan
vergelijken;
 Meer complexe analyses mogelijk, maar hoeven jullie niet te leren!

6
HERHALING & CONCLUSIE

 Het aantonen van een causaal verband is erg lastig.

 Om een causaal verband aan te tonen zijn Experimenten ontwikkelt.
 In veel situaties in het echte leven zijn Experimenten onhandig, niet ethisch of onmogelijk.
 Er zijn mogelijkheden om via een quasi-experimenteel ontwerp toch een (soort van) causale conclusie te
kunnen trekken. Maar altijd met een kanttekening!