Leesvragen

Onderzoekspracticum 3, opdracht 2

Deadline: Dinsdag 15 Februari, 10:00 ‘s ochtends

Literatuur
Deze week hebben we één video die een annotatieproject beschrijft, en een artikel dat een
inhoudsanalyse uitvoert én methodologie bespreekt.

● [Video] Pedersen, T. (2020) Automatically identifying Islamophobia in Social Media.

Invited talk at the Muslims in ML workshop at NeurIPS 2020.
● Proferes, N., Jones, N., Gilbert, S., Fiesler, C., & Zimmer, M. (2021). Studying
reddit: A systematic overview of disciplines, approaches, methods, and ethics.
Social Media+ Society, 7(2), 20563051211019004.

Leesvragen
Beantwoord de vragen over de literatuur voor deze week. Bij de bespreking van het artikel van
Fiesler & Proferes (2018) wordt er ook verwezen naar de video van Pedersen (2020). Je bent
vrij om te doen wat je wil: eerst de video kijken en dan het artikel van Fiesler & Proferes lezen
met de video in je achterhoofd, of andersom, zodat je ook kunt reflecteren op de vragen die het
artikel van Fiesler & Proferes oproept, tijdens het kijken van de video.

Pedersen (2020)
Inmiddels heb je al enigszins een beeld van hoe een annotatieproject eruit ziet. Denk
bijvoorbeeld aan de flowchart van Neuendorf, het MAMA/MATTER-model van Pustejovski &
Stubbs (samengevat in sectie 2 van Finlayson & Erjavec (2016)), of het artikel van Van
Hooijdonk & Liebrecht (2021). Ted Pedersen heeft al een aantal stappen gezet in het proces,
maar is nog niet klaar. In deze video geeft hij een overzicht van de stappen die hij al wel heeft
doorlopen.

1. Wat is het doel van Pedersen met dit onderzoek?

2. Waar is hij in zijn project?
3. Welke stappen heeft hij al uitgevoerd?
4. Welke stappen wil hij nog zetten?
5. Wat was er lastig aan zijn project?
6. Welke tips heeft hij voor onderzoekers die iets vergelijkbaars willen doen?
Proferes et al. (2021)
In het werkcollege hebben we het er al kort over gehad: ethiek is belangrijk, maar er zijn wel wat
praktische haken en ogen aan het idee van informed consent, als je op grote schaal data wil
verzamelen. Op zich is het oké om openbare data te verzamelen, en als onderzoeker aan een
universiteit heb je ook een uitzonderingspositie wat betreft persoonlijke data: als er een
geoorloofd maatschappelijk belang is, dan kun je zulke data verzamelen en bestuderen.1 Maar
dat ontslaat je niet van de verantwoordelijkheid om goed met je participanten om te gaan.
Daarom is het ook goed om hier naar te blijven kijken. (De algemene consensus is nog steeds
aan het verschuiven, dus dat maakt het in de toekomst belangrijk om af en toe te kijken of er
iets veranderd is.)

7. Wat is het doel van dit artikel?

8. Hoe hebben Proferes et al. dat onderzocht? (algemeen)
9. Wat is de samenstelling van het onderzochte corpus?
a. Welke sampling-strategie hebben ze gebruikt?
b. Hoeveel items hebben de auteurs verzameld?
c. Bevat het artikel alle relevante details, of denk je dat er iets ontbreekt?
10. Hoe is de data gecodeerd?
a. Wie waren de codeurs?
b. Wat hebben de auteurs gedaan om te zorgen voor betrouwbare resultaten?
11. Hoe worden de resultaten gerapporteerd?
a. Wat voor statistieken worden er gegeven?
b. Wordt er naast de statistieken ook andere informatie gepresenteerd? Zo ja: wat
voor soort informatie is dat?
12. Welke twee problemen zien de auteurs bij het gebruiken van data van Reddit?
13. Waar moet je volgens de auteurs, naast de algemene “Terms of Service” nog meer
opletten, als je data wil verzamelen van Reddit?
14. Welk verband zien de auteurs tussen de grootte van de community/subreddit,
anonimiteit, en de wenselijkheid van onderzoek?
15. Wat zou je kunnen doen als wederdienst voor de gemeenschap, als je onderzoek klaar
is?
16. Wat vond je sterke punten van dit onderzoek?
17. Wat vond je minder sterke punten van dit onderzoek?
18. Nu je dit artikel hebt gelezen, wat vind je van het onderzoek van Pedersen? (Niet alle
relevante informatie wordt gegeven in zijn praatje, maar je weet in ieder geval wel hoe hij
ongeveer te werk gaat.) Wat zou je hem aanraden?

1
Probeer wel altijd zo min mogelijk data te verzamelen, en waar nodig te anonimiseren. Daarbij is het ook
van belang dat je nadenkt over hoe je de data opslaat, en welke data je deelt met anderen. Hierover gaan
we het later deze cursus nog uitgebreid hebben.