Projectplan

Lectoraat Smart Cities

RAAK-publiek November 2020

Verhalen vertellen met data

Eerste hulp bij datagedreven inwonerparticipatie aan
duurzaamheidsbeleid

Een samenwerkingsverband van Saxion, gemeente Almelo, Amersfoort, Apeldoorn, Eindhoven,

Enschede, Hoorn, Rotterdam en Zwolle; ROC van Twente; VNG; Universiteit Utrecht en
technologiebedrijven Antea Groep, Atos, Esri
Naam auteurs: Dr. Mark Melenhorst, Dr. Mettina Veenstra
Met dank aan: Timothy Geesing, Meike Kolk, Anouk van Twist en Miriam Losse
Versie: v1.0
Datum: 23 november 2020

2
Samenvatting (296 woorden)

Gemeentelijk beleid wordt steeds belangrijker om verschillende duurzaamheidsdoelen te vertalen naar concrete
actie: wijken gaan van het aardgas af om CO2-besparingen te realiseren, binnensteden vergroenen om
klimaatbestendig te worden, etc. Deze duurzaamheidsvraagstukken zijn ‘wicked problems’ die vragen om een
beleidsproces dat anticipeert op onvoorziene omstandigheden en dat inwoners een belangrijke rol geeft. Voor
zowel beleidsproces als inwonerpartcipatie zijn geloofwaardige en begrijpelijke data en informatie die passen bij de
leefwereld van de betrokkenen een vereiste. Echter, de datageletterdheid van een deel van de inwoners is beperkt:
ze hebben moeite om visualisaties van complexe duurzaamheidsinformatie te interpreteren.

Gemeenteprofessionals worden hiermee voor een dubbele uitdaging gesteld. Enerzijds is het een probleem dat
gemeenten slechts een groep ‘usual suspects’ kunnen bereiken voor de totstandkoming en uitvoering van
duurzaamheidsbeleid, wat het draagvlak ondergraaft. Anderzijds ontbreekt het bestaande visualisaties van
duurzaamheidsinformatie aan discussiemogelijkheden en zijn ze te complex voor inwoners met een beperkte
datageletterdheid. Deze dubbele uitdaging maakt het bijzonder lastig om een participatietraject op te zetten
waarin een diverse groep inwoners wordt bereikt en waarin datavisualisaties die uitnodigen tot het uitwisselen van
perspectieven een rol spelen.

Dit project ontwikkelt een toolbox ‘Eerste hulp bij datagedreven inwonerparticipatie aan duurzaamheidsbeleid’ om
deze uitdagingen het hoofd te bieden. We ontwikkelen en testen met drie gemeenten en hun inwoners
enthousiasmerende en eenvoudig te begrijpen datavisualisaties. We zetten met drie andere gemeenten
participatieprocessen op waar deze visualisaties deel van uitmaken en we evalueren de inzet van deze visualisaties
in praktijkcases over klimaatadaptatie en de energietransitie. De resultaten vertalen we naar voornoemde toolbox,
bestaande uit deze visualisaties, ontwerprichtlijnen, een aanpak voor datagedreven participatie in
duurzaamheidsbeleid en een aanpak om samen met inwoners visualisaties te ontwikkelen. De toolbox levert naast
concrete handreikingen voor datagedreven inwonerparticipatie aan duurzaamheidsbeleid ook een bijdrage aan de
adoptie van datagedreven werken binnen gemeenten.

3
1 Inleiding (684 woorden)

Wereldwijd stijgt het bewustzijn dat we ons als mensheid duurzamer moeten gaan gedragen. De afgelopen jaren
zijn zorgen over bijvoorbeeld klimaatverandering en biodiversiteit steeds meer mainstream aan het worden.
Enerzijds is corona een wake-up-call geweest om duurzamer te gaan leven [1], anderzijds leidt corona volgens het
SCP tot een verminderd gevoel van urgentie hiervoor [2]. Duurzaamheidsbeleid komt voor inwoners steeds
dichterbij: hun eigen gemeente gaat een steeds belangrijkere rol spelen. Klimaatadaptatie, energietransitie en
luchtkwaliteit zijn voorbeelden van duurzaamheidsbeleidsthema’s waarvoor landelijke kaders zijn gesteld in beleid
als het Klimaatakkoord [3] en het Deltaplan Ruimtelijke adaptatie [4]. Zorgen voor draagvlak onder inwoners en
andere belanghebbenden is onderdeel van de puzzel om de vertaalslag van landelijk naar lokaal beleid te maken.

Deze vertaalslag is net zo uitdagend als de duurzaamheidsproblemen zelf. Duurzaamheidsproblemen zijn ‘wicked
problems’ [5], waarvoor het betrekken van stakeholders vereist is, aangezien dit de kans op een oplossing vergroot
[6]–[8]. Vooral het betrekken van inwoners is een grote uitdaging. Hun betrokkenheid is niet alleen van belang
vanwege hun bijdrage aan het oplossen van het probleem, maar ook met het oog op draagvlak en legitimiteit van
duurzaamheidsbeleid [9] [10]. Gemeenten bereiken met participatietrajecten echter vaak alleen de ‘usual
supsects’[11], [12], terwijl dit mogelijk onbedoelde gevolgen heeft voor machtsverhoudingen tussen (groepen van)
inwoners [8].

De vraag is dus hoe gemeenten bij hun duurzaamheidsbeleid een diversere groep inwoners kunnen bereiken. Er is
behoefte aan nieuwe participatieprocessen die meer motiverend en beter toegankelijk zijn, waarin begrijpelijke
informatie wordt geboden die relevant is voor lokale stakeholders en beleidsmakers die aansluit bij hun leefwereld
[13]. Hiermee wordt gehoor gegeven aan de oproep van het SCP in een rapport over klimaatbeleid: voorkom
ongelijkheid en ondersteun kwetsbare groepen [2].

Visualisaties van complexe duurzaamheidsinformatie kunnen een bijdrage leveren aan het bereiken van een
diversere groep inwoners, doordat ze (technisch complexe) informatie beter toegankelijk maken, het
besluitvormingsproces transparanter maken en de geloofwaardigheid van informatie kunnen versterken [14].
Daarnaast helpen ze om een gemeenschappelijke taal te ontwikkelen en perceptieverschillen tussen stakeholders
te overbruggen [14]–[16]. Visualisaties kunnen een tool voor samenwerking tussen belanghebbenden [17]–[19]
worden, waarmee het draagvlak voor duurzaamheidsbeleid kan worden versterkt [17] en de verschillende verhalen
en perspectieven van belanghebbenden kunnen worden gehoord [20].

De complexiteit van zowel duurzaamheidsdata als de bijbehorende visualisaties stellen hoge eisen aan
datageletterdheid van inwoners: het vermogen om betekenis te verlenen aan en patronen, trends, en verbanden te
herkennen in (visuele representaties van) data [21]. Ondanks groeiende aandacht hiervoor in bijvoorbeeld het
nieuwe mbo-rekenonderwijs [22], laat onderzoek zien dat 25%-30% van de Nederlandse beroepsbevolking
problemen heeft met het begrijpen van zelfs eenvoudige datavisualisaties [23].

Bij het inzetten van datavisualisaties voor participatietrajecten moet ervoor worden gezorgd dat álle inwoners
kunnen bijdragen aan de totstandkoming en uitvoering van duurzaamheidsbeleid, om zo het draagvlak voor dit
beleid te vergroten. Gemeenteprofessionals hebben hiervoor behoefte aan twee vormen van innovatie:
• Innovatie van visualisaties voor duurzaamheidsbeleid die begrijpelijk en motiverend zijn voor een diverse
groep inwoners
• Innovatie van participatieprocessen, waarin door de inzet van deze visualisaties een bijdrage kan worden
geleverd aan het draagvlak voor duurzaamheidsbeleid

Dit project voorziet in deze behoefte door samen met gemeenteprofessionals (dataspecialisten, communicatie-
adviseurs en domeinspecialisten), inwoners en technologiebedrijven deze visualisaties te ontwikkelen en in
experimenten te testen en door deze in participatieprocessen bij drie gemeenten in te zetten. Binnen de brede
noemer van duurzaamheidsbeleid richten we ons op de cases die gemeenten hebben ingebracht op het gebied van
de energietransitie en klimaatadaptatie.

4
De state-of-the-art-analyse laat zien dat er nog geen of weinig visualisaties beschikbaar zijn die eenvoudig te
begrijpen en motiverend zijn en die discussie tussen inwoners en gemeente mogelijk maken. Door gebruik te
maken van de mogelijkheden van bijvoorbeeld e-participatietools [19], extendedrealitytechnologie (VR, AR, mixed
reality, bijvoorbeeld [24]) of storytellingtechnieken [25], [26] kunnen visualisaties worden ontwikkeld die wél
voldoen aan deze eisen.

Op basis van de resultaten van experimenten en casestudies ontwikkelt het project voor gemeenteprofessionals
een toolbox ‘Eerste hulp bij datagedreven inwonerparticipatie aan duurzaamheidsbeleid’. De toolbox bestaat naast
de ontwikkelde en geteste visualisaties zelf uit ontwerprichtlijnen voor visualisaties van duurzaamheidsdata,
participatieaanpakken om deze visualisaties samen met inwoners te ontwikkelen én deze in participatietrajecten in
te zetten.

5
2 Vraagarticulatie (692 woorden)

Voor gemeenteprofessionals die gespecialiseerd zijn in digitalisering is het op een datagedreven manier
samenwerken met collega’s, bedrijven en inwoners bijzonder lastig. Beperkte datavaardigheden, bijvoorbeeld voor
het interpreteren van visualisaties, zijn volgens gemeenteprofessionals van Almelo, Amersfoort, Apeldoorn,
Enschede, Eindhoven, Hoorn, Rotterdam, Zwolle en VNG een belangrijke factor die deze datagedreven
samenwerking bemoeilijkt.

Het consortium bouwt voort op bestaande samenwerking

uit twee projecten. In ‘Hightech Binnenstad’
(TechForFuture) zijn innovatieve vormen van
binnenstadmonitoring en datavisualisatie middels een
dashboard verkend, waarbij de nadruk lag op
professionals. RAAK-publiek ‘Samen werken aan
doeltreffende smartcitytoepassingen’ onderzoekt de
complexe samenwerking tussen inwoners,
gemeenteprofessionals en bedrijven, wat resulteert in een
toolbox om deze samenwerking te vergemakkelijken. De
casestudies in dit project geven inzicht in knelpunten
vanuit het perspectief van de inwoners.

Een brainstorm tijdens de slotbijeenkomst van Hightech

Binnenstad (12 maart 2020) heeft de thematische focus op
duurzaamheid voor dit project opgeleverd: vragen gingen
over klimaatadaptatie, energietransitie, fietsbeleid en
luchtkwaliteit. Daarnaast bleek meer kennis nodig over het
gebruik van datadashboards door inwoners.

In het najaar zijn vier workshops gehouden met partners

uit de bovengenoemde consortia om de vraag aan te
scherpen, aangevuld met Eindhoven, Almelo, ROC van
Twente en EIPCM. In aanvulling op deze workshops zijn
videogesprekken met individuele partners gevoerd. In
Figuur 1 is de aanpak afgebeeld.

Uit de workshops kwamen de volgende uitdagingen naar

voren:

1. Data(visualisaties) zijn nog te veel het domein van Figuur 1. Vraagarticulatieaanpak.

dataspecialisten. Domeinspecalisten hebben
onvoldoende affiniteit met en vaardigheden voor het gebruik van data voor hun beleid (Workshop 1, 2).
2. Data kunnen volgens gemeenteprofessionals helpen om te leren wat er in wijken speelt en om –
bijvoorbeeld rondom een thema als luchtkwaliteit – een gevoel van gedeelde verantwoordelijkheid te
stimuleren (Workshop 2).
3. Er zijn grote verschillen tussen de datavaardigheden van zowel inwoners als professionals onderling
(Workshop 1, 2).

Niet alleen gemeenteprofessionals, maar ook inwoners signaleren het probleem van het interpreteren van
complexe data en de mogelijkheden van visualisaties. Dit beeld wordt kracht bij gezet door een
groepsinterview (d.d. 22-10-’20) dat voor het voornoemde RAAK-publiek-project is gehouden:

6
 Inwoners gemeente Zwolle
“Je zou de inhoud duidelijker uit moeten leggen, mensen duidelijk maken hoe ze gegevens en tabellen
moeten interpreteren. Die piek in de grafiek, is dat nou goed of slecht?”

“Het zou leuk zijn als het RIVM zou vertellen wat de uitkomsten precies zeggen. Dat je een soort weerbericht
krijgt om de zoveel tijd, zodat het duidelijk wordt wat de cijfers precies betekenen voor onze wijk.”

4. Er zitten juridische en ethische grenzen aan het verzamelen, verwerken, visualiseren en gebruik van data
van en over inwoners. Gemeenten hebben behoefte aan duidelijkheid over wat wel en niet met data kan:

Dirk van Brederode, Programmamanager Smart Society, Vereniging Nederlandse Gemeenten:

“Handelingsperspectief is ook weten wat je niet met data kan doen. Er is veel gezegd en verkocht over wat
je met data kan. Data zou de wereld gaan redden. Dat is gewoon niet het geval. Door data ontstaat een
schijn van objectiviteit die een sluier van onschendbaarheid geeft.”

Deze vier punten lieten zich vertalen in twee richtingen en twee doelgroepen waartussen partijen in workshop 2
konden kiezen (zie Figuur 2).

Figuur 2. Keuzes in de vraagarticulatie.

Voor gemeenten en bedrijven bleken deze keuzes geen of-of-keuzes te zijn. Datavaardigheden van collega’s
verbeteren ook door toegankelijke visualisaties. Daarnaast is de verwachting dat collega’s enthousiaster worden
over de mogelijkheden van datagedreven werken wanneer ze in participatietrajecten kunnen zien wat de
resultaten van zijn van de inzet van visualisaties.

Workshop 3 heeft de volgende aanvullende inzichten opgeleverd:

5. Transparante, begrijpelijke datavisualisaties kunnen een bijdrage leveren aan het wegnemen van de
maatschappelijke achterdocht tegen smartcitytechnologie.
6. Bij de ontwikkeling van datavisualisaties voor inwoners zijn drie typen gemeenteprofessionals van belang:
dataspecialisten, communicatiemedewerkers en domeinspecalisten.
7. Juist op duurzaamheidsthema’s als de energietransitie is volgens gemeenteprofessionals en
technologiebedrijven het betrekken van inwoners noodzakelijk.

In Workshop 3 is voorts de opzet en de geformuleerde praktijkvraag getoetst met het consortium. De discussie
resulteerde in de volgende overkoepelende praktijkvraag:

Hoe kunnen we als gemeenteprofessionals creatieve, laagdrempelige datavisualisaties inzetten om

de betrokkenheid van inwoners bij duurzaamheidsbeleid te vergroten, ongeacht hun niveau van
datageletterdheid?

In Workshop 4 is deze praktijkvraag gekoppeld aan lopende en urgente programma’s en projecten bij
consortiumpartners.

7
3 Netwerkvorming (1.396 woorden)

Dit onderzoeksvoorstel verkent de mogelijkheden van enthousiasmerende en eenvoudig te begrijpen

datavisualisaties om betrokkenheid van inwoners bij duurzaamheidsvraagstukken te vergroten. Hierbij is het
consortium – dat voor het grootste deel al lange tijd samenwerkt (zie Hoofdstuk 2) – geïnteresseerd in de
aansluiting bij datavaardigheden van inwoners en professionals. Geringe datavaardigheden worden gezien als
belangrijke belemmering bij datagedreven samenwerking aan duurzaamheidsbeleid.

Gemeenten, technologiebedrijven en VNG, die samenwerken aan duurzaamheidsbeleid, geven aan elkaar en de
kennisinstellingen nodig te hebben voor de oplossing van dit probleem. De technologiebedrijven ondersteunen de
gemeenten met datagedreven oplossingen. VNG verzorgt datavoorzieningen voor gemeenten op dit gebied
(bijvoorbeeld de ‘Datavoorziening energietransitie gebouwde omgeving’ [27]) en ondersteunt gemeenten bij
kennisbundeling. Daarom speelt VNG tevens een rol bij het beschikbaar maken van de toolbox ‘Eerste hulp bij
datagedreven inwonerparticipatie aan duurzaamheidsbeleid’ die dit project oplevert1. De betrokken
kennisinstellingen hebben samen met de overige partners de benodigde expertise voor het beantwoorden van de
praktijkvraag. Zie het tekstkader in Hoofdstuk 5 voor een beknopt overzicht van (de complementariteit van) de
hieronder beschreven ingebrachte expertise van het netwerk.

Er worden vier typen rollen onderscheiden voor gemeenten en technologiebedrijven, die in onderstaande tabellen
worden samengevat en nader zijn uitgewerkt in het onderzoeksplan.

Casestudygemeenten
Organisatie Expertise/ervaring Rol 1
150 uur
Datagedreven werken op thema
Almelo
duurzaamheid
WP1: Vragenlijst (over datavisualisatie, inwonersparticipatie en
Smart City als strategisch instrument. duurzaamheid) verspreiden. Deelname aan verdiepend interview.
Kwaliteit van leven. Deelname hardop-denkonderzoek (knelpunten met
Apeldoorn datageletterdheid).
Voorzitterschap G40-themagroep Smart
Cities. WP2: Deelname workshop ontwerpeisen.
WP3: Inzet laagdrempelige datavisualisaties in praktijk van een
Urban Platform/HUB, participatietraject. Mogelijk maken onderzoek hiernaar
onderzoeksmethoden, citizenscience. (interviews/focusgroepen met collega's/inwoners, documentatie).
Zwolle
Alliantie Smart Zwolle met WP4: Deelname workshop evaluatie toolbox.
bedrijven/onderwijs/overheden.

Ontwerponderzoekgemeenten
Organisatie Expertise/ervaring Rol 2
Ruimte bieden voor innovatie van anderen 80 uur, 148 uur voor Enschede (twee ontwerponderzoeken)
in de openbare ruimte.
Enschede
Ethische commisie op gebied van data. WP1: zie casestudygemeente.
Binnenstad, mobiliteit, klimaat. WP2: Meewerken ontwerpproces datavisualisaties via deelname
Ontwikkeling en implementatie van aan en uitnodigen inwoners/colega’s voor ontwerp- en
smartcitytoepassingen op lokaal en evaluatiesessies Werven inwoners afsluitende experimenten
Rotterdam regionaal niveau. visualisaties.
Co-creatieve en co-productieve WP4: zie casestudygemeente.
verkenning.
Programma innovatieve stad.
Verbinding dienstverlening, datagedreven
Hoorn sturing, technologie en stadskracht.
Maatschappelijke impact.
Slimmer beleid maken.

1
VNG Realisatie brengt 80 uur in vanuit lopende open-dataprorgramma’s (niet opgenomen in de begroting).

8
 Expertrol gemeenten
Organisatie Expertise/ervaring Rol 3
Technologie en data inzetten voor stad. 40 uur
Met bedrijven/inwoners/
Amersfoort kennisistellingen.
Duurzaamheid, geo-informatie, e-health. WP1: zie casestudygemeenten. Aanvulling: Reviewen best
Principes Digitale Samenleving. practices en knelpunten.
WP3: Bijdrage aan cross-caseanalyse: review resultaten en
Ontwikkeling en implementatie van
deliverables.
smartcitytoepassingen op lokaal en
WP4: Deelname workshop evaluatie toolbox. Bijdrage
Rotterdam regionaal niveau.
ontwikkeling toolbox: reviewen conceptversies.
Co-creatieve en co-productieve
verkenning.
Stratumseind 2.0 Living Lab met
bedrijfspartners en inwoners.
Europese samenwerking aan smart city in
onder andere SychroniCity op het gebied
Eindhoven
van Single Digital City Market (OASC,
FIWARE).
Betrokken bij NEN praktijkrichtlijn Open
Urban Platforms.

Expertrol technologiebedrijven
Organisatie Expertise/ervaring
Internationaal opererend ingenieurs- en
adviesbureau.
Ontwikkelen en toepassen duurzame en
integrale oplossingen in leefomgeving.
Strategisch denken, multidisciplinaire
kennis, technische expertise.
Antea Group
Rol 4
120 uur
Generiek:
WP1: Ervaring op gebied stimulerende/belemmerende factoren
datavisualisatie inbrengen.
WP2: Bijdrage aan (ontwerpeisen) data(visualisaties).
WP3: Bijdrage aan (reflectie op) data(visualisaties).
WP4: Deelname workshop evaluatie toolbox.

Specifiek:
Betrokkenheid bij onder andere casus Apeldoorn. Waar mogelijk
inbrengen expertise op gebied van participatie, beleving,
gedragsinzichten, gedragsverandering, domeinen en assets, data,
dashboarding, data-analyse en visualisatie, IoT-oplossingen.
Marktleider digitale dienstverlening. 150 uur
Betrekken inwoners/bedrijven bij
ontwikkelen en in stand houden Generiek:
duurzame, veilige, welvarende stad. zie Antea Group.
Atos
MyCity-programma focust op holistisch
management van de stad. Specifiek:
Betrokkenheid bij ontwerponderzoek en cases op gebied van
dataplatforms, IoT en data-analyse
Marktleider GIS-technologie. 140 uur
Helpen organisaties kracht van hun data te
ontdekken. Generiek:
ArcGIS-platform: toegang is tot veel (open) zie Antea Group.
data.
Esri
Specifiek:
Betrokkenheid bij casussen Zwolle, Apeldoorn en Almelo van
technische expert op gebied van dashboarding, visualisatie, maar
ook bijvoorbeeld betrekken inwoners bij dataverzameling,
multicriteria analyse.

9
De kennis- en onderwijsinstellingen dragen, naast de onderzoeksuitvoering, zorg voor de inbedding van onderzoek
in het onderwijs en disseminatie van projectresultaten bij gemeenten en de academische gemeenschap:

Onderwijs- en kennisinstellingen
Organisatie Expertise/ervaring Rol kennis- of onderwijsinstelling
Lectoraat Smart Cities, Saxion: Zet zich onder leiding van lector Dr. Mettina Veenstra en associate-lector Dr. Mark
Melenhorst in om steden te helpen met technologie en data het hoofd te bieden aan maatschappelijke uitdagingen
die de kwaliteit van leven in steden bedreigen. Daarvoor wordt een sociotechnische aanpak gehanteerd waarin
inwoners worden betrokken bij het ontwerpproces. Daarnaast wordt samen met gemeenten onderzocht hoe op
een datagedreven manier betere beslissingen mogelijk zijn en beleidsprocessen kunnen worden versneld.

• Samen met inwoners, gemeenten en WP1: Hardop-denkonderzoek (datageletterdheid, duurzaamheid).

bedrijven smartcitytoepassingen Onderzoek best practices en knelpunten datavisualisatie. Ontwikkeling
Saxion – lectoraat ontwerpen, ontwikkelen en theoretisch kader, succescriteria, meetinstrumenten.
Smart Cities evalueren WP2: Opstellen ontwerpeisen, technische requirements. Ontwerp en
(4850 uur) • Datagedreven overheid ontwikkeling datavisualisaties. Experimentele evaluatie van
• Dataplatforms datavisualisaties.
• Datavisualisatie WP3: Analyseren van beleids- en participatiecontext. Aanpassen
visualisaties aan context. Opzetten en uitvoeren van
participatietrajecten voor inzet visualisaties WP2.
WP4: Ontwikkeling/evaluatie toolbox. Ontwikkeling e-learningmodule
gebruik toolbox. Verspreiden resultaten via populaire en
wetenschappelijke publicaties/presentaties.

Het Xtended Reality-lab van Saxion doet en faciliteert onderzoek naar (serious) games, animaties, visualisaties en
andere toepassingsmogelijkheden van het extended-realityspectrum. Bijzondere interesse gaat uit naar het
procedureel genereren van game-omgevingen en visualisaties op basis van onderliggende datasets. Daarnaast is het
XR-lab kartrekker van een interdisciplinaire learning community, waarin studenten samen met opdrachtgevers
praktijkopdrachten uitvoeren.
Saxion – XR-lab
(260 uur) WP2: Opstellen ontwerpeisen, technische requirements. Inbreng van
• (Procedureel genereren van)
expertise procedureel genereren van visualisaties, implementatie
datavisualisaties
visualisaties (prototypefase). Gebruikersonderzoek (testfase). Inzet
• Design thinking
studenten ‘learning community’ ontwerpproces.
WP3: Aanpassing visualisaties aan cases.

Onderzoeksgroep Publieke Innovatie, Universiteit Utrecht: Richt zich onder leiding van Prof. dr. Albert Meijer op de
relatie tussen technologie en bestuur. Het begrip 'Wendbare Publieke Innovatie' staat daarbij centraal: op een
flexibele manier zoeken naar oplossingen die passen bij een lokale context en die gebruikmaken van zowel lokale als
generieke kennis. Eigen aan Wendbare Publieke Innovatie is ontdekken of iets werkt door het uit te proberen in de
praktijk.

• E-government WP1: Onderzoek best practices en knelpunten (datavisualisatie en

Universiteit
• Innovatie inwonerparticiatie in duurzamheidscontext).Ontwikkeling theoretisch
Utrecht
• Coproductie kader, succescriteria en meetinstrumenten.
(370 uur)
• Open data WP2: Bijdrage opstellen van ontwerpeisen. Deelname workshop
ontwerpeisen.
WP3: Diagnosefase: analyse beleids- en participatiecontext (desk
research, interviews en focusgroepen).
WP4: Ontwikkeling en evaluatie van toolbox en e-learningmodule
gebruik toolbox. Verspreiden resultaten via populaire en
wetenschappelijke publicaties/presentaties.
• Burgerschaps- en identiteitsvorming WP1: Hardop-denkonderzoek onder 15 studenten (knelpunten
jongvolwassenen datageletterdheid).
• Didactiek burgerschapsonderwijs WP2: Brainstormsessies visualisaties (2 klassen).
ROC van Twente • Problem-based learning WP3: Organiseren hackathons en andere onderwijsactiviteiten
(150 uur) (Prototype). Testen visualisaties (3 klassen). Deelname experimenten.
WP4: Ontwikkelen projectonderwijs snijvlak
burgerschap/rekenonderwijs.

10
De overig partners buiten het consortium en hun bijdragen zijn:

Partners van buiten het consortium

Organisatie Expertise/ervaring
Ondersteunt gemeenten bij bundelen
kennis voor gezamenlijke verbetering
gemeentelijke uitvoering.
Platformfunctie door organiseren
VNG congressen/studiedagen.
Kennisnetwerk Data en Smart Society.
Data Science Hub
Rol partner
Bijdrage ontwerponderzoek; inbreng platform voor toolbox
WP1: Vragenlijst verspreiden onder gemeenten.
WP2: Datavoorziening warmte inbrengen in ontwerpproces
visualisatie gemeente Hoorn. Data toegankelijk maken voor
onderzoekers/ontwerpers (waar mogelijk). Meedenken sessies
ontwerpeisen.
WP3: Ter beschikking stellen van gebruikersstatistieken.
WP4: Projectresultaten delen via de VNG-communicatiekanalen.

European Institute Datavisualisatie, persuasieve systemen, Kennisoverdracht Horizon 2020-projecten over metaforische
for Participatory e-participatie visualisaties en participatietools duurzaamheidsdoelen.
Media (Berlijn)

Dit onderzoeksvoorstel sluit aan bij het speerpunt Living Technology in de strategische visie van Saxion. Binnen dit
speerpunt wordt technologie toegepast om maatschappelijke problemen op te lossen, hetgeen ook dit project
beoogt. Verder past het voorstel binnen de Kennis- en Innovatieagenda van de topsector High-Tech Systemen en
Materialen (HTSM) en specifiek binnen het HTSM Center of Expertise TechForFuture voor de regio Oost waar
Saxion deel van uitmaakt. Daarnaast wordt aangesloten bij de KIA’s ‘Key Enabling Methodologies’ en
‘Maatschappelijk Verdienvermogen’ (dat laatste via deelname van de aanvragende lector aan de stuurgroep) en de
op deze KIA’s gebaseerde pragrammalijn ‘Maatschappelijke Innovatie’ van Saxion. Dit voorstel sluit ook aan bij de
route Smart, Liveable Cities van de Nationale Wetenschapsagenda, door deelname van de aanvragende lector aan
de board en doordat meerdere partners, inclusief de penvoerder, zijn betrokken bij onderzoeksvoorstellen binnen
deze route. Ten slotte sluit dit voorstel aan bij de Themagroep Smart Cities van de G40 waar partners Zwolle en
Apeldoorn de trekkers van zijn. Borging van de duurzaamheid en uitbreiding van het consortium vinden plaats via
het Kennisnetwerk Data en Smart Society van VNG.

11
4 Onderzoeksplan (7.680 woorden)

4.1 State-of-the-art
Dit onderzoeksvoorstel is gebaseerd op de volgende praktijkvraag: hoe kunnen we als gemeenteprofessionals
creatieve, laagdrempelige datavisualisaties inzetten om de betrokkenheid van inwoners bij duurzaamheidsbeleid te
vergroten, ongeacht hun niveau van datageletterdheid? De praktijkvraag suggereert:

• dat het project zich

afspeelt op het snijvlak van
duurzaamheidsbeleid,
inwonerparticipatie,
datageletterdheid en
datavisualisatie
• dat er bij een deel van de
inwoners sprake is van
beperkte datageletterdheid
• dat datavisualisaties
kunnen helpen om de
drempel voor participatie
voor deze én voor meer
datavaardige inwoners te
verlagen
De focus van dit voorstel ligt op
het snijvlak van deze thema’s
(zie Figuur 3). Figuur 3. Focus van het voorstel, op basis van de praktijkvraag.

In deze state-of-the-art-analyse wordt relevante kennis beschreven voor de doorvertaling van de praktijkvraag naar
de onderzoeksvraag. De hierboven beschreven focus en de analyse van de literatuur die in deze sectie wordt
beschreven heeft een raamwerk opgeleverd dat in Figuur 4 (zie volgende pagina) is weergegeven.

Hieronder worden de onderdelen van het raamwerk uitgewerkt. We sluiten af met Sectie 4.1.4 waarin op basis van
de state-of-the-art-analyse ontwerpuitdagingen voor en beoogde effecten van datavisualisaties besproken worden
die worden gerepresenteerd door de rode blokken in Figuur 4.

De definities van de kernbegrippen uit Figuur 3 worden in de volgende subsecties omkaderd weegegeven.

4.1.1 Duurzaamheidsbeleid
Duurzaamheidsbeleid wordt gedefinieerd als een verzameling ideeën of een plan over wat gedaan moet worden in
specifieke situaties aangaande ecologische, economische en sociale issues, waarover officiële overeenstemming is
bereikt tussen de gemeente, bedrijven en (groepen van) inwoners ([28], [29]). Deze definitie moet in de context
van dit projectvoorstel worden aangescherpt voor wat betreft het domein en de aard van het beleidsproces. De
focus van dit voorstel ligt op het ruimtelijke domein: denk aan emissiereducties in het verkeer, de energietransitie
en herstellen van biodiversiteit ([29], [30]). De aard van het beleidsproces is bij duurzaamheidsbeleid anders dan
andere beleidsterreinen, doordat de onderliggende duurzaamheidsproblemen wicked problems [5] zijn die vragen
om adaptieve manieren van samenwerken [6]–[8]. Hierdoor is er behoefte aan een beleidproces waarbij beleid in
samenwerking met inwoners voortdurend aangepast wordt aan veranderende omstandigheden en (on)voorziene
resultaten van het beleid ([6], [31], [32], [33]).

12
Met deze aanscherpingen kunnen we duurzaamheidsbeleid als volgt definiëren.

Een verzameling ideeën of een plan, waarover doorlopend afstemming plaatsvindt en opnieuw
overeenstemming moet worden bereikt tussen gemeente, bedrijven en (groepen van) inwoners, om
toekomstbestendige veranderingen op het gebied van milieu, economie en samenleving in het ruimtelijke
domein door te voeren.

Figuur 4. Raamwerk state-of-the-art.

Publieke waarden
De publieke waarden van een samenleving staan voor de normatieve consensus van die samenleving over onder
andere de principes waarop overheden hun beleid dienen te baseren [34]. Kernaghan [35] hanteert hiervoor een
indeling in vier soorten waarden: ethische waarden (o.a. integriteit en eerlijkheid), democratische waarden (o.a.
representativiteit en transparantie), professionele waarden (o.a. effectiviteit en efficiëntie) en menselijke waarden
(o.a. zorgzaamheid en fatsoen). In relatie tot beleid waarbij digitalisering en data een rol spelen benadrukken Kool
et al. [36] het extra belang van publieke waarden met het oog op bijvoorbeeld privacyproblemen bij het gebruik
van data of op uitsluiting door het ontbreken van digitale vaardigheden.

In de context van dit project geven publieke waarden richting aan achtereenvolgens het duurzaamheidsbeleid, (de
doelen van) het participatieproces en het ontwerp van de visualisaties, waarbij bijvoorbeeld rekening moet worden
gehouden met het datageletterdheidsniveau.

Beleidsdoelen en rollen van overheidslagen

Nederlandse overheden, van landelijk tot gemeentelijk niveau, richten zich op drie typen
duurzaamheidsbeleidsdoelen [37]. Het CBS onderscheidt analoog aan [28], [29] economische, sociale en
ecologische duurzaamheidsbeleidsdoelen: Als voorbeelden van deze typen duurzaamheidsbeleidsdoelen noemt
het CBS “… biodiversiteit in de natuur, een hoogopgeleide en gezonde bevolking, goed werkende sociale netwerken
en maatschappelijk vertrouwen” [37]. Bij beleidsdoelen van Nederlandse overheden op het gebied van
duurzaamheid ligt de afgelopen jaren steeds meer nadruk op klimaat als een van de ecologische doelen.
De klimaatdoelen vallen uiteen in twee subdoelen [38]: Nederland klimaatbestendig maken waarvoor het beleid is
vastgelegd in het Deltaplan Ruimtelijke Adaptatie [4] en de Nationale Klimaatadaptatiestrategie [39] en de

13
terugdringing van uitstoot van broeikasgassen, waarvoor het Klimaatakkoord is gesloten [3]. Als uitwerking van het
Klimaatakkoord ontwikkelen energieregio’s samen met bedrijven en inwoners een Regionale Energie Strategie
(RES). De provincies zijn samen met hun gemeenten en waterschappen verantwoordelijk voor de uitvoering [3].

Fasering van het beleidsproces

Het ontwikkelen en uitvoeren van duurzaamheidsbeleid vereist zoals beschreven in Sectie 4.1.1 een adaptief
beleidsproces. Een passende faseringsbenadering uit de wetenschappelijke literatuur hiervoor is de Dynamic
Adaptive Policy Pathways-benadering, ontwikkeld om om te gaan met de dynamiek en complexiteit van de
uitbreiding van Schiphol [40]. In het kort werkt deze als volgt: tijdelijke scenario’s geven inzicht in relevante
onzekerheden en hun ontwikkeling door de tijd; verschillende typen acties maken het mogelijk om te gaan met
kwetsbaarheden en mogelijkheden; Adaptation Pathways beschrijven reeksen van veelbelovende acties; een
monitoringsysteem met gerelateerde acties voor onvoorziene omstandigheden helpt om het plan op koers te
houden. In deze benadering (zie Figuur 5) zijn de fasen van het beleidsproces achtereenvolgens: het veld in kaart
brengen; probleem- en gapanalyse; identificeren van mogelijke acties; effectiviteit van mogelijke acties
beoordelen; pathways ontwikkelen; pathway(s) kiezen; anticiperen op onvoorziene gebeurtenissen; dynamisch
adaptief plan vaststellen; plan implementeren; monitoren.

Figuur 5. Adaptief beleidsproces [36] (aangepast).

4.1.2 Inwonerparticipatie aan duurzaamheidsbeleid

Bij duurzaamheidsbeleid worden inwoners steeds belangrijker [8], [41]. In vrijwel alle plannen, akkoorden en
aanpakken die relevant zijn voor het Nederlandse duurzaamheidsbeleid van gemeenten speelt participatie een rol
(zie bijvoorbeeld [3], [4]). Dit geldt in het bijzonder voor de voor duurzaamheidsbeleid in het ruimtelijk domein
belangrijke Omgevingswet, die naar verwachting in 2022 van kracht wordt [42].

Inwonerparticipatie geeft inwoners de mogelijkheid om invloed uit te oefenen op besluitvorming en bestuurlijke

taken van de overheid [43]. Het kan in de praktijk op verschillende manieren vorm krijgen, bijvoorbeeld via
openbare bijeenkomsten, burgerraden, living labs en e-governmentapplicaties ([31], [44], [45]). In dit voorstel
stappen we af van de ‘hoe meer, hoe beter’-logica van (bijvoorbeeld) Arnstein’s participatieladder [46], maar
volgen we Bishop en Davis [31] die stellen dat de inrichting van het participatieproces afhangt van de
beleidscontext en de politieke context. Inwonersparticipatie gekoppeld aan het hierboven geschetste adaptieve
beleidsproces levert de volgende definitie op:

14
 Een proces dat inwoners de mogelijkheid geeft om op een iteratieve en incrementele manier gebaseerd op
monitoren, evalueren en voortschrijdend inzicht invloed uit te oefenen op de besluitvorming en bestuurlijke
taken van de overheid.

Participatiedoelen van gemeenten bij duurzaamheidsbeleid

Gemeenten kunnen met inwonerparticipatie aan duurzaamheidsbeleid drie typen doelen hebben [47]: doelen
gebaseerd op normatieve, substantieve en instrumentele grondgedachten. De normatieve doelen zijn:
betrokkenen kunnen beslissingen beïnvloeden; democratische vaardigheden van burgers vergroten; ‘social
learning’ bevorderen door middel van deliberatie; gemarginaliseerde groepen emanciperen [47], [48]. De
substantieve zijn: lokale kennis en informatie benutten; experimentele en waardegebaseerde kennis incorporeren
(hierbij spelen de eerdergenoemde publieke waarden en ook individuele waarden een rol); testen van de
robuustheid van informatie van andere bronnen [47], [48]. De instrumentele participatiedoelen zijn: legitimiteit
voor het besluitvormingsproces genereren; acceptatie van het beleid vergroten; conflicten oplossen [47]–[49].
Edelenbos [50] introduceert een motievenketen, die de samenhang tussen (deels met [47], [48] overlappende)
participatiedoelen weergeeft (zie Figuur 6). De specifieke beleidskeuzes en politieke omstandigheden hebben
sterke invloed op welke doelen bereikt kunnen worden [31].

Figuur 6. Motievenketen inwonersparticipatie [50], p. 89.

Participatietrajecten verlopen niet altijd succesvol (zie bijvoorbeeld [51]). Vooral representativiteit van de inwoners
die meedoen aan deze trajecten en de daadwerkelijke invloed op de besluitvorming zijn problematisch [11], [49],
[51]. Het afstemmen van de participatiedoelen van de overheid op de participatiedoelen van inwoners kan mogelijk
deze problemen helpen voorkomen.

Participatiedoelen van inwoners bij duurzaamheidsbeleid

Participatiedoelen van inwoners kunnen worden onderscheiden in de impact van hun participatie op het
besluitvormingsproces en de uitkomsten enerzijds en hun motivatie om deze impact te bereiken anderzijds.
Voor wat betreft de impact op het besluitvormingsproces levert participatie inwoners educatie, de kans om de
overheid te overtuigen en het opdoen van activistische vaardigheden op, terwijl de impact op de uitkomsten (tot
op zeker niveau) controle over het beleidsproces, beter beleid en betere uitvoeringsbeslissingen omvatten [49].
Onderzoek naar motiverende factoren voor participatie laat elf motiverende factoren zien: ideologie, prosociaal
gedrag, plezier, reputatie, wederkerigheid, leren, doelen behalen, veranderingen teweeg brengen, carrièrekansen
verhogen, tijdverdrijf en geld [52]. Een relevante uitkomst van dit onderzoek voor ons onderzoeksproject – omdat
visualisaties daaraan mogelijk kunnen bijdragen, en omdat dit mogelijk in de buurt komt bij wat tijdens de
vraagarticulatie werd bedoeld met ‘creatieve datavisualisaties’ – is dat plezier een belangrijke motivator is.

Rollen van inwoners

Voor de rollen van inwoners bij participatie gericht op het uitoefenen van invloed op besluitvorming en bestuurlijke
taken van de overheid, zijn vanuit verschillende perspectieven (bijvoorbeeld burgeractivismeperspectief [46] of
ambtenarenperspectief [53]) typologieën ontwikkeld. In dit project kiezen we zoals hiervoor beschreven voor de
typologie van [31], die niet kiezen voor een specifiek perspectief. Hierin worden de volgende rollen voor inwoners
onderscheiden: consultatie, partnerschap, juridische procedures, keuze als consument en controle. Uit deze rollen

15
wordt een keuze gemaakt afhankelijk van de specifieke situatie [31]. Denk aan het gekozen beleidsdoel, de
beleidsfase, participatiedoelen van inwoners of politieke omstandigheden.

Doelgroepkenmerken en de betekenis voor participatie aan gemeentelijk duurzaamheidsbeleid

Voor het inrichten van een (datagedreven) participatieproces voor duurzaamheidsbeleid is een gedegen analyse
van de doelgroep een vereiste. We bespreken hier de belangrijkste factoren.

Houding ten opzichte van duurzaamheidsvraagstukken

In het kader van het Klimaatakkoord doet het Sociaal en Cultureel Planbureau binnen het programma Duurzame
Samenleving onderzoek naar onder andere houdingen en motieven van burgers met betrekking tot de
duurzaamheidstransitie [2], [3]. Het onderzoek toont dat zeer veel Nederlanders de problemen op het gebied van
klimaat en milieu erkennen en dat er breed draagvlak is voor de energietransitie, maar dat dit draagvlak afkalft bij
meer concrete maatregelen [2]. Gedragsdeterminantenonderzoek uit de milieupsychologie kan inzicht geven in
overtuigingen, houding en gedrag van inwoners (bijvoorbeeld [54], [55]).

Datageletterdheid
Ondanks accentverschillen is er in de kennismanagementliteratuur relatieve overeenstemming over het
conceptuele onderscheid tussen data, informatie, kennis en wijsheid (zie [56]). Deze overeenstemming zien we niet
terug in de bijbehorende definities van informatiegeletterdheid en datageletterdheid. Prado en Marzal definiëren
datageletterdheid bijvoorbeeld als de mate waarin een individu in staat is zich toegang te verschaffen tot data en
deze kritisch te beoordelen, te beheren, te verwerken en ethisch te gebruiken [57], waarbij het in lijn met Rowley
[56] juist om informatiegeletterdheid zou gaan. Het gaat in dit voorstel echter niet om informatie- of
datageletterdheid in het algemeen, maar om een set van specifieke vaardigheden in het omgaan met
datavisualisaties. De (deels overlappende) concepten die hierbij horen zijn visuele geletterdheid, statistische
geletterdheid [58], grafiekgeletterdheid [59] en datavisualisatiegeletterdhed [60].
Börner et al. [21] zijn het meest specifiek in het benoemen van de vaardigheden waar het om gaat. In dit voorstel
houden we hun definitie van visuele datageletterdheid aan:

Het vermogen om betekenis te verlenen aan en patronen, trends, en verbanden te herkennen in (visuele
representaties van) data.

Empirisch onderzoek laat zien dat een substantieel deel van de bevolking niet over dit vermogen beschikt [21]. Uit
een internationaal geletterdheidsonderzoek2 blijkt dat het hier om 25% à 30% van de Nederlandse
beroepsbevolking gaat [23]. Op termijn kan dit aantal worden teruggedrongen, gezien de toegenomen aandacht
voor datageletterdheid in het onderwijs (zie bijvoorbeeld de recentelijk herziene eisen aan het rekenonderewijs
voor het mbo [22]). Tot dat moment kan de inzet van datavisualisaties bij participatieprocessen voor
duurzaamheidsbeleid alleen succesvol zijn als het ontwerp ondersteuning biedt voor betekenisverlening en het
herkennen van patronen, trends en verbanden.

4.1.3 Ontwerpkeuzes bij datavisualisaties voor participatie aan duurzaamheidsbeleid

Onderzoek naar datavisualisaties komt uit de tradities van onder meer technische communicatie, mens-machine-
interactie en geografische informatiesystemen. Dit onderzoek levert een rijke kennisbasis. Deze paragraaf geeft
inzicht in het ontwerpproces van visualisaties en in de ontwerpkeuzes die moeten worden gemaakt.

Definitie en beoogde effecten van visualisaties

Voor inwonerparticipatie aan duurzaamheidsvraagstukken is begrijpelijke en betekenisvolle informatie
onontbeerlijk [13], [17], [61]. Datavisualisaties kunnen in deze behoefte voorzien. In definities zijn een aantal
gemeenschappelijke kenmerken te onderscheiden. Visualisaties maken een vertaalslag van abstracte [62],

2
Het lezen van grafieken en tabellen is een onderdeel van onze definitie van visuele geletterdheid. In dit onderzoek
vormde deze vaardigheid onderdeel van ‘documentgeletterdheid’.

16
kwalitatieve of kwantitatieve [63] data naar een visuele representatie [64]. Visualisaties hebben voor het individu
tot doel het begrip van de data vergroten [65], [66], het mogelijk maken van de inferentie van patronen in
fenomenen [63] of de eenvoudige, efficiënte, accurate en betekenisvolle interpretatie van het in de data beslotem
verhaal [67].

Een tweede functie betreft de rol van datavisualisaties in de samenwerking tussen stakeholders, waarbij ze de rol
van ‘boundary objects’ (grensobjecten) kunnen spelen [17], [68], [69]: ambigue artefacten die in verschillende
sociale groepen verschillende betekenissen of identiteiten hebben [69] en die kunnen helpen om verschillen in
expertise, normen en waarden te overbruggen en integreren [17]. Visualisaties helpen om een gemeenschappelijke
taal te ontwikkelen [16].

Vanuit het perspectief van de overheid kunnen visualisaties zorgen voor meer draagvlak en een betere publieke
perceptie van duurzaamheidsbeleid, doordat via de datavisualisaites een kennislacune bij inwoners wordt opgelost
[17]. Daarnaast kunnen visualisaties als participatietools helpen om een groter en meer divers publiek te bereiken
(zie bijvoorbeeld [9]).

Het voorgaande leidt tot de volgende definitie van een datavisualisatie:

Een visuele representatie van data om bij inwoners en andere stakeholders het begrip van
duurzaamheidsdata te vergroten, de interpretatie te vergemakkelijken en het onderlinge gesprek tussen de
gemeente en (groepen van) inwoners te faciliteren, met als doel het vergroten van draagvlak en het
bereiken van een diversere groep inwoners.

Kanttekening bij deze definitie is dat de effecten die bereikt kunnen worden afhankelijk zijn van de inrichting van
het participatieproces en de gemaakte ontwerpkeuzes voor de visualisaties.

Ontwerpproces van visualisaties

In de literatuur zijn verschillende representaties van het visualiatieproces te vinden. Processtappen omvatten
analyse van probleemdomein en stakeholders [60], [70], dataverzameling [60], data-analyse en -selectie [60],
vertaalslag van data naar visuele objecten [70], [71], ontwerp van visuele encoderingen [60], [70], [71] (met
aandacht voor usability en accessibility, [71]), beschikbaar maken van de visualisatie [60] en evaluatie met
stakeholders [71]. Bestuurskundig datavisualisatie- en smartcityonderzoek benadrukt dat selectie, verwerking en
presentatie van data een politiek keuzeproces is, waarbij de uitkomst gevolgen heeft voor machtsverhoudingen
tussen (groepen van) gebruikers, interpretatie van de informatie, getrokken conclusies en vertrouwen van
inwoners in de datavisualisatie [72]–[76].

Niet alleen de beleidscontext, maar ook het ontwerp van de visualisaties zelf moet daarom als een cocreatieproces
worden opgezet, zodat de impact van dit politieke keuzesproces kan worden beperkt en de visualisaties
grensobjecten kunnen worden om verschillen mee te overbruggen en om actoren in staat te stellen te leren, te
cocreëren en te participeren in beleidsontwikkeling [17]. Cai & Yu [18] noemen deze vorm van datavisualisatie en
cocreatie met gebruikers een ‘geodeliberatieve dialoog’. Startpunt voor een dergelijke dialoog is overeenstemming
bereiken over de selectie van succesindicatoren en de bijbehorende data, waarvoor ISO 37120 [77] of andere
benchmarkinginitivatieven specifiek op duurzaamheidsthema’s (bijvoorbeeld [78]) een startpunt kunnen zijn.

Ontwerpdimensies
Börner [60] presenteert een typologie van datavisualisaties, waarin visualisaties zich onderscheiden naar type
inzichten dat met de visualisatie kan worden verkregen, meetniveau van en analyses op de weergegeven data en
het ontwerp van de visualisatie (bijvoorbeeld gebruikte grafische symbolen en mogelijke interacties). De typologie
is weergegeven in Figuur 7.

In aanvulling op de visualisatievormen die [60] onderscheidt, worden in de literatuur 3D-modellen, AR- en VR-
toepassingen, visuele kunst, op data gebaseerde verhalen en metaforen [16], [79], [17], [80] onderscheiden. Deze
aanvullende vormen zijn van belang voor dit project, omdat ze de gebruiker ondersteunen bij de vertaalslag van in

17
conventionele visualisaties vaak abstract weergegeven informatie naar de echte wereld en het eigen mentale
model (bijvoorbeeld [81], [82]).

Figuur 7. Typologie van datavisualisaties.

Interactie in visualisaties als grensobjecten
Interactiviteit is belangrijk voor de inzet van online visualisaties in voornoemde rol van grensobjecten. In dit
onderzoeksvoorstel worden twee interactievormen onderscheiden. Ten eerste kunnen gebruikers zelf de weergave
van data veranderen (bijvoorbeeld: zoomen, zoeken, filteren, oproepen van detailweergaves, [60]). Ten tweede
kunnen visualisaties dienen als instrument voor de dialoog tussen gemeenten en inwoners (onderling). De
literatuur over e-participatie geeft een overzicht van de mogelijkheden. Falco en Kleinhans [19] onderscheiden
vijftien kenmerken van e-participatieplatforms, waarvan een aantal – waaronder weergave van meningen op een
kaart, uploaden van media en exporteren van data voor verdere analyse – mogelijk relevant zijn voor
datavisualisaties.

Narratieve elementen
Het gebruik van een verhaallijn is een goede manier om betrokkenheid en bereidheid tot actie op basis van kennis
te stimuleren en kennis als basis hiervoor te gebruiken. Storytelling heeft daarmee de mogelijkheid om
(wetenschappelijk) bewijs betekenis te geven, de doelgroep te motiveren en relevantie in de ogen van de
doelgroep te vergroten [25]. Wanneer storytelling voor datavisualisatie wordt gebruikt, moet de ontwerper diverse
keuzes maken als het gaat om de structuur en de vrijheid die de gebruiker heeft om de volgorde van het verhaal te
bepalen. Segel & Heer [26] hebben de design space voor storytelling in datavisualisaties in kaart gebracht. Ze
onderscheiden een auteur- en een lezergedreven narratieve structuur [26], waarbij de auteurgedreven verwijst
naar een lineare ordening van scenes, veel observaties en commentaar van de auteur en weinig mogelijkheid tot
interactie. Het lezergedreven genre is precies het omgekeerde. Andere onderscheiden ontwerpdimensies zijn
bijvoorbeeld nadruk geven aan bepaalde verhaalelementen en manieren om de overkoepelende verhaalstructuur
over te brengen [26].

Persuasieve en motiverende elementen

De literatuur over inwonerparticipatie laat zien dat desinteresse een veelgenoemde reden is voor non-participatie
[83]. Dat betekent dat datavisualisaties in termen van Hassenzahl [84] niet alleen over pragmatische kwaliteiten
moeten beschikken (hier: inwoners ondersteunen bij hun participatiedoelen), maar ook over hedonische
kwaliteiten. Er is nog weinig onderzoek gedaan naar motiverende elementen in datavisualisaties.

Een stap verder dan motiveren voor gebruik is dat visualisaties de attitudes en/of het gedrag van gebruikers
kunnen beïnvloeden, waarmee de visualisatie een persuasief systeem wordt [85], bijvoorbeeld om gebruikers
water te laten besparen. Designers hebben bij het ontwerp van persuasieve visualisaties de beschikking over een
reeks aan visuele retorische technieken (voor een overzicht zie [74]).

4.1.4 Ontwerpuitdagingen
De literatuur die in deze state-of-the-art-analyse is weergegeven geeft een beeld van de uitdagingen van
visualisaties voor participatie aan duurzaamheidsbeleid. Onderstaande figuur vat de uitdagingen samen, met
toevoeging van voorbeelden van ontwerpeisen waaraan de visualisaties die dit project beoogt moeten voldoen.

18
19
Uit de state-of-the-art-analyse blijkt dat ontwerpeisen voor een visualisatie afhankelijk zijn van de fase in het
beleidsproces, het participatiedoel van gemeenten, de beoogde rol van inwoners en van participatiemotieven en
kenmerken van inwoners. De inrichting van het participatieproces moet zodanig zijn dat kan worden omgegaan
met onzekerheden en veranderende omstandigheden. In dit project verkennen we de rol van datavisualisaties in
verschillende combinaties van de genoemde variabelen. Een concreet voorbeeld van dit deductieproces van
ontwerpeisen is weergegeven in Figuur 8.

Figuur 8. Voorbeeld van afleiding ontwerpeisen.

4.2 Onderzoeksvragen
Uit de theorie en praktijk beschreven in de state-of-the-art-analyse zijn de volgende hoofd- en deelvragen afgeleid:

Hoofdvraag

Hoe kunnen we enthousiasmerende en eenvoudig te begrijpen datavisualisaties ontwikkelen en hoe kunnen

gemeenteprofessionals deze op een dusdanige manier voor duurzaamheidsbeleid inzetten dat dit leidt tot de
participatie van een diverse groep inwoners en tot draagvlak voor complex duurzaamheidsbeleid, zonder dat
publieke waarden geschonden worden?

20
Deelvragen
1. Wat zijn effectieve datavisualisaties voor inwonerparticipatie aan duurzaamheidsbeleid en hoe meten we
hun effectiviteit?
2. Hoe ontwikkelen we datavisualisaties die bijdragen aan inwonerparticipatie aan duurzaamheidsbeleid?
3. Hoe kunnen we (gemeente)professionals ondersteunen met kennis en producten op het gebied van
datavisualisaties, om hiermee een bijdrage te leveren aan de inwonerparticipatie aan
duurzaamheidsbeleid?

4.3 Doelstellingen en opbrengsten

Het vaststellen van de doelstellingen van dit project vereist een onderscheid tussen directe en uiteindelijke
uitkomsten. De directe verwijzen naar direct meetbare resultaten die kunnen worden toegeschreven aan de
interventie [86] – in dit project de inzet van datavisualisaties in participatietrajecten voor duurzaamheidsbeleid. De
uiteindelijke verwijzen naar de lange-termijndoelstellingen die ondersteund kunnen worden door de interventie,
maar niet exclusief hieraan kunnen worden toegeschreven [86].

Figuur 9 laat zien dat we in dit project aan de kant van de inwoners verwachten dat datavisualisaties – als
onderdeel van een participatietraject – een bijdrage zouden moeten leveren aan draagvlak, diversiteit van
participanten en duurzaamheidsacties van individuen, huishoudens of buurten. De effectiviteit van het
participatietraject is zoals Figuur 9 toont niet alleen afhankelijk van datavisualisaties, maar ook van andere
onderdelen van het traject. De precieze inrichting van een dergelijk participatietraject – met een rol voor
visualisaties – is onderwerp van onderzoek.

Figuur 9. Opbrengsten (groene bollen) en doelstellingen (groene blokken).

Deze directe uitkomsten (weergegeven in groene blokken in Figuur 2) worden afgemeten aan een theoretisch
kader dat in dit project wordt ontwikkeld, op basis waarvan succescriteria en meetinstrumenten worden afgeleid.
De uiteindelijke uitkomsten, die zijn weergegeven in grijze blokken, worden niet gemeten. Door de inzet van
datavisualisaties bij inwonerparticipatie is het namelijk bijvoorbeeld aannemelijk dat inwoners zelf actie

21
ondernemen (bijvoorbeeld een warmtepomp aanschaffen), omdat datavisualisaties overtuigingen en attitudes als
gedragsdeterminanten voor een dergelijke persoonlijke actie kunnen beïnvloeden. Dit is echter binnen de
projectlooptijd niet eenduidig vast te stellen. Externe invloeden (bijvoorbeeld het verschijnen van nieuwsberichten
over het klimaat) kunnen onmogelijk worden losgekoppeld van het effect van de visualisaties. Daarnaast is
longitudinaal onderzoek vereist om impact op gedrag vast te stellen.

Aan de kant van de gemeenteprofessionals wordt een toolbox ontwikkeld, waarvan de indirecte uitkomst (grijs
blok: adoptie van datagedreven werken) om vergelijkbare redenen niet gemeten wordt. De opbrengsten uit het
project (weergegeven in groene bollen in Figuur 2) zijn een aantal enthousiasmerende voor een diverse groep
inwoners begrijpelijke visualisaties en een toolbox ‘Eerste hulp bij datagedreven inwonerparticipatie aan
duurzaamheidsvraagstukken’.

4.4 Onderzoeksaanpak
4.4.1 Overzicht

De onderzoeksvragen in dit onderzoeksproject combineren de ontwikkeling van een praktisch toepasbare toolbox
met toegepast onderzoek naar de mogelijke rol van datavisualisaties bij het betrekken van inwoners bij
duurzaamheidsvraagstukken. Om de hoofd- en deelvragen te beantwoorden wordt een designscienceaanpak
gevolgd waarin sprake is van drie cycli (zie Figuur 10) [87], [88]: een relevantiecyclus, waarin het
toepassingsdomein en het ontwerpprobleem in kaart gebracht worden, voortbordurend op de kennisbasis
(deelvraag 1), een ontwerpcyclus waarin ‘ontwerpartefacten’ ontwikkeld en systematisch geëvalueerd worden
(deelvraag 2) en een grondigheidscyclus, die kennis toevoegt aan de kennisbasis (deelvraag 3) [89].

Figuur 10. Overzicht onderzoeksaanpak.

22
4.4.2 Relevantiecyclus

De relevantiecyclus brengt op basis van deelvraag 1 (hieronder opgedeeld in subvragen) belemmerende en

stimulerende factoren in kaart op het gebied van inwonerparticipatie en datavisualisatie en identificeert
knelpunten op het gebied van datageletterdheid onder inwoners en professionals. De resultaten vormen de basis
voor de ontwerpeisen voor de datavisualisaties die in de ontwerpcyclus worden ontwikkeld.

Belemmerende en stimulerende factoren op het gebied van inwonerparticipatie aan duurzaamheidsbeleid

subvraag: Wat zijn vanuit het perspectief van gemeenten in verschillende fasen van het beleidsproces de
belemmerende en stimulerende factoren bij participatie aan duurzaamheidsbeleid?

De relevantiecyclus start met het in kaart brengen van belemmerende en stimulerende factoren bij
inwonerparticipatie in duurzaamheidsbeleid. Uit deze inventarisatie kan de mogelijke rol van datavisualisaties
worden afgeleid. Deze factoren worden geïnventariseerd met vragenlijstonderzoek onder gemeenten (n=50) en
deskresearch. Onder een deel van de respondenten wordt een beperkt aantal verdiepende interviews afgenomen
(n=5).

Belemmerende en stimulerende factoren op het gebied van datavisualisatie

subvraag: Wat zijn vanuit het perspectief van gemeenten de belemmerende en stimulerende factoren bij het
inzetten van datavisualisaties voor de totstandkoming en uitvoering van duurzaamheidsbeleid?

Via deskresearch, via vragenlijstonderzoek (n=50) en interviews (n=5) worden belemmerende en stimulerende
factoren in kaart gebracht voor het ontwerp en gebruik van datavisualisaties bij participatie aan
duurzaamheidsbeleid. Basis voor dit onderzoek vormen de ontwerpuitdagingen uit de state-of-the-art-analyse. De
vragenlijst voor gemeenteprofessionals en bijbehorende verdiepende interviews worden gecombineerd met de
vragenlijst over belemmerende en stimulerende factoren bij participatie aan duurzaamheidsbeleid.

Datageletterdheid bij inwoners en bij gemeenteprofessionals

subvraag: Welke belemmerende factoren ervaren inwoners bij het gebruik van huidige visualisaties van
duurzaamheidsbeleid en welke rol speelt datageletterdheid bij het gebruik van deze visualisaties, in termen van
usability, begrip, visuele aantrekkelijkheid, vertrouwen in de data en de interpretatie van de data?

Deze vraag wordt beantwoord aan de hand van hardop-denkonderzoek onder 15 laatstejaars ROC-studenten
(niveau 3, 4) en onder 10 gemeentelijke beleids- en communicatiemedewerkers, op basis van de aanpak van Young
en Kitchin [90]. Verbalisaties van het korte-termijngeheugen geven inzicht in probleemoplossingsstrategieën die de
proefpersonen hanteren [91]. Hardop-denkonderzoek is een vaakgebruikte usablitytestingmethode (zie [92]). De
datageletterdheid van ROC-studenten worden in deze fase in lijn met [23] als het gemiddelde voor Nederland
beschouwd.

Hierop voortbouwend worden de knelpunten in het gebruik van datavisualisaties onder gemeenteprofessionals
(n=10) onderzocht. De vraagarticulatie toonde namelijk dat datageletterdheid een bottleneck vormen voor
datagedreven werken bij gemeenten.

Formuleren van theoretisch kader en succescriteria

subvraag: Welke succescriteria en bijbehorende meetinstrumenten kunnen worden afgeleid uit de analsye van
belemmerende factoren bij de inzet van datavisualisaties bij inwonersparticipatie aan duurzaamheidsbeleid?

Er wordt een theoretisch kader ontwikkeld dat resultaten uit de deelonderzoeken naar belemmerende en
stimulerende factoren voor datavisualisaties en participatie aan duurzaamheidsbeleid integreert met inzichten uit

23
de kennisbasis. De in het framework onderscheiden factoren worden geoperationaliseerd in succescriteria, op basis
waarvan meetinstrumenten worden ontwikkeld. Die istrumenten worden ontleend aan de kennisbasis voor wat
betreft het evalueren van visualisaties (bijvoorbeeld [93]), technologie-acceptatie (bijvoorbeeld [84], [94]) en
participatie (bijvoorbeeld [95]).

In een workshop met het consortium en externe experts (n=5) wordt dit framework, aangevuld met de
ontwerpeisen (zontwerpcyclus), geëvalueerd en aangescherpt.

Taak Betrokken Start Einde

T1.1 Datageletterdheid bij inwoners en Saxion-SC, ROC, alle gemeenten M4 M7
gemeenteprofessionals
T1.2 Stimulerende/belemmerende Saxion-SC, Saxion-XR, alle partners M1 M5
factoren datavisualisatie
T1.3 Stimulerende/belemmerende Saxion-SC, UU, alle gemeenten M1 M5
factoren inwonerparticipatie aan
duurzaamheidsbeleid
T1.4 Ontwikkeling theoretisch kader en Saxion-SC, UU M5 M7
acceptatiecriteria

Deliverables Omschrijving Deadline

D1.1 Overzicht belemmerende en
stimulerende factoren
D1.2 Theoretisch kader en
accceptatiecriteria
Factoren op gebied van datageletterdheid, M6
datavisualisatie en inwonerparticipatie aan
duurzaamheidsbeleid
Factorenmodel, definities succescriteria en M7
meetinstrumenten voor evaluaties in WP2 en WP3

4.4.3 Ontwerpcyclus: overzicht

De ontwerpcyclus behelst ontwerponderzoek, waarin volgens een designthinking-aanpak [96] in tenminste twee
iteraties op basis van deelvraag 2 (hieronder opgedeeld in subvragen) drie visualisaties worden ontwikkeld en
middels een experiment worden geëvalueerd en actieonderzoek, waarin de visualisaties in drie
participatietrajecten worden ingezet.

Figuur 11 (zie volgende pagina) laat zien dat ontwerponderzoek en actieonderzoek via de empathize/definefase en
de diagnosefase aan elkaar zijn verbonden. De ontwerpeisen (relevantiecyclus) zijn het startpunt voor het
ontwerponderzoek. De ontwerpeisen worden op basis van de geleerde lessen (ontwerpcyclus) aangescherpt en als
geformaliseerde ontwerprichtlijnen opgenomen in de toolbox (grondigheidscyclus).

24
 Figuur 11. De ontwerpcyclus.

4.4.4 Ontwerpcyclus: ontwerponderzoek

Subvraag: Aan welke ontwerpeisen moeten datavisualisaties voldoen om enthousiasmerend en begrijpelijk te

zijn voor inwoners die participeren aan de ontwikkeling en uitvoering van duurzaamheidsbeleid?

Eerste stap in de ontwerpcyclus is het opstellen van concept-ontwerpeisen op basis van de geïdentificeerde
stimulerende en belemmerende factoren en het theoretisch kader (relevantiecyclus). Deze concept-ontwerpeisen
worden gevalideerd door middel van een workshop met het consortium en externe experts (n=5), als onderdeel
van de eerdergenoemde (afsluitende) workshop in de relevantiecyclus. De ontwerpeisen worden vervolgens in
tenminste twee iteraties aangescherpt, op basis van:
• de resultaten van de diagnosefase (actieonderzoek) en de empathize- en definefase (ontwerponderzoek)
• de evaluatieresultaten tijdens de ontwerponderzoek (test- en experimentfase)

De ontwerpeisen vormen daarmee een belangrijke basis voor de ‘Ontwerprichtlijn datavisualisaties’, een van de
meta-artefacten ontwikkeld in de grondigheidscyclus. De concept-ontwerpeisen worden vastgelegd in D2.1.

Subvragen:
• Welke datavisualisaties kunnen worden ontwikkeld om participanten aan de ontwikkeling en uitvoering
van duurzaamheidsbeleid te enthousiasmeren en complexe data te laten begrijpen?
• Hoe succesvol zijn deze enthousiasmerende en makkelijk te begrijpen datavisualisaties in vergelijking
tot conventionele visualisaties in termen van de succescriteria?

De kennisbasis vormt het startpunt voor een op designthinking gebaseerd ontwerpproces, waarbij samen met
inwoners in vier gemeenten elk een ander type visualisatie wordt ontwikkeld, getest en vergeleken met een
conventionele visualisatie. De keuze voor het type visualisatie dat wordt ontwikkeld komt voort uit het
designthinkingproces zelf, met als basis de ontwerpkeuzes uit de state-of-the-art-analyse.

25
Cases voor het ontwerponderzoek bevinden zich op twee thema’s:
• de Transitievisie Warmte en de uitwerking hiervan in wijkplannen (Hoorn in samenwerking met VNG)
• vergroening van de leefomgeving en de bijdrage hiervan aan de leefkwaliteit (Enschede, twee cases)

Bij het bepalen van de experimenten is de eis gehanteerd dat de gemeente in de gelegenheid is een groep
inwoners te werven om te participeren in het ontwerpproces. Daarnaast is het wenselijk dat een bij de
beleidsdoelen passende dataset beschikbaar is om te visualiseren. Denk aan opendatabronnen als de
hittestresskaart [97] of de Datavoorziening Transitievisie Warmte [27]. Voor het afsluitende experiment in het
ontwerponderzoek is een bestaande, conventionele visualisatie nodig (zie hieronder). Wanneer deze niet
beschikbaar is, wordt deze met behulp van beschikbare softwarelibraries met beperkte inspanning ontwikkeld.

Empathize
In de empathize-fase wordt de doelgroep en de beleids- en participatiecontext in kaart gebracht.

Define
In de define-fase wordt een requirementsanalyse uitgevoerd op basis van dataplatforms en datavisualisaties van de
betrokken technologiebedrijven en gemeenten. Dit levert technische ontwerpeisen op over de relatie tussen
datavisualisaties en het onderliggende dataplatform.

Ideate: divergeerfase (in kaart brengen van de solution space)

De ideate-fase bestaat uit een divergeerfase en een convergeerfase. In de divergeerfase wordt de solution space in
kaart gebracht: “het geheel van alle mogelijke oplossingselementen die gebruikt kunnen worden voor de
ontwikkeling van de vereiste oplossingen” [7, p. 1442] , waarbij oplossingen hier verwijst naar (elementen van)
datavisualisaties in de context van duurzaamheidsvraagstukken. De kennisbasis hiervoor bestaat uit de
wetenschappelijke en grijze literatuur, aangevuld met expertise, ervaring en (GIS- en participatie)tools van
technologiebedrijven.
Ideate: divergeerfase (brainstormsessies)
Aanvullende ideeën worden gegenereerd door middel van twee typen brainstormsessies:
• Brainstormsessies met inwoners (n=8), gemeenteprofessionals (n=4) en een technologiebedrijf uit het
consortium. Deze worden uitgevoerd in zowel de ontwerponderzoekgemeente als de casestudygemeente,
zodat de visualisaties die uit de ideeën voortkomen zowel in het ontwerponderzoek als in het
actieonderzoek worden gebruikt.
• Brainstormsessies met studenten van Saxion (opleidingen Creative Media & Game Technologies (CMGT),
Creative Business, Urban Studies) en ROC van Twente (opleidingen ICT en Media en Vormgeving). Deze
brainstormsessies worden ingepast in het reguliere onderwijs.

De volledige reeks van ideeën worden systematisch beschreven in D2.2.

Ideate: convergeerfase
In de convergeerfase worden de uitkomsten van de brainstorms getoetst op:
• Geschiktheid voor de doelgroep, hun technologiegegbruik, datageletterdheid en betrokkenheid bij het
duurzaamheidsthema (zie ‘Diagnosticieren’ onder ‘Actieonderzoek’)
• Technische haalbaarheid in het licht van de ontwerpeisen (zie ‘Define’-fase) en beschikbare ontwikkeltijd
• Theoretische spreiding over ontwerpkeuzes, zodat geleerd kan worden over verschillende samenstellingen
van visualisaties.
• Geschiktheid van de ideeën om naast inwoners ook gemeenteprofessionals te motiveren voor
datagedreven werken

De convergeerfase wordt uitgevoerd in een workshop met in elke gemeente inwoners (n=5), beleidsmedewerkers
(n=2), communicatiemedewerkers (n=1), studenten (n=4; waar mogelijk) en softwareontwikkelaars van Saxion.

26
Prototype en test
De in de convergeerfase gekozen concepten worden vervolgens stapsgewijs ontwikkeld en geëvalueerd. De eerste
stap bestaat uit het organiseren van een hackathon, waarin Saxionstudenten samenwerken met ROC-studenten,
onder begeleiding van docenten softwareontwikkeling.

Doel is om een eerste inschatting te krijgen van technische haalbaarheid. De meest kansrijke concepten worden op
basis van een Scrum-aanpak [99] doorontwikkeld in een multidisciplinair team van softwareontwikkelaars (docent-
onderzoekers), gebruikersonderzoekers (idem), student-assistenten (Creative Business, Creative Media & Game
Technologies, HBO-ICT) en stagaires/afstudeerders.

Er worden tenminste twee kleinschalige formatieve evaluaties gedaan onder ROC-studenten (n=3 klassen van ca.
20 studenten). In tenminste één evaluatieronde worden visualisaties ook aan inwoners (n=5) en
beleidsmedewerkers voorgelegd (n=2). Doel is het toetsen van gebruiksvriendelijkheid en begrip en het verzamelen
van verbetervoorstellen voor de volgende iteratie.

Experimenten
De visualisaties worden summatief geëvalueerd door middel van een experiment in elke experimenteergemeente,
met zowel inwoners als professionals. Het experiment voor inwoners kent een tussen-proefpersoonontwerp met
type visualisatie als factor. De helft van de proefpersonen (n=20) krijgt een conventionele visualisatie, de andere
helft (n=20) een begrijpelijke, enthousiasmerende visualisatie. Proefpersonen worden geworven via de
communicatiekanalen van de gemeente en via organisaties in de betreffende wijk. Werving van proefpersonen is
gericht op spreiding in termen van datageletterdheidsniveau.

Het experiment wordt afgesloten met een vragenlijst en een semi-gestructureerd interview. De meetinstrumenten
zijn ontleend aan D1.2. Op voorhand kunnen de volgende afhankelijke variabelen al worden aangewezen: houding
ten aanzien van duurzaamheid, technologie-accepatie volgens UTAUT-model [94]), hedonic quality volgens
AttrakDiff [84] en begrip van de visualisatie.

Het interview is erop gericht om a) verbetervoorstellen te verzamelen en b) proefpersonen te laten inschatten

welke bijdrage de visualisatie kan leveren aan draagvak voor maatregelen op dit thema en aan de diversiteit van de
participantengroep. Vragenlijstresultaten worden door middel van eenweg-variantieanalyse statistisch
geanalyseerd. Interviewresultaten worden geanalyseerd volgens de grounded-theorysystematiek [100].

Het experiment met professionals is kleinschalig en grotendeels kwalitatief van aard. Per gemeente krijgen vier
proefpersonen (data-analyst (n=1), beleidsmedewerker (n=2), communicatie-adviseur (n=1) elk in willekeurige
volgorde de conventionele visualisatie en de laagdrempelige visualisatie te zien. Afhankelijke variabelen zijn
technologie-acceptatie en begrip (zie hierboven). Het semi-gestructureerde interview focust op de potentie van dit
type visualisaties om draagvlak voor maatregelen te vergroten en een diverse groep participanten aan te spreken
en op de invloed van visualisaties op de houding tegenover datagedreven werken.

WP2 Ontwikkeling en experimentele evaluatie van visualisaties

Taak Betrokken Start Einde

T2.1 Opstellen en valideren van Saxion-SC, Saxion-XR, UU, ROC, alle partners M3 M10
ontwerpeisen
T2.2 Designthinking-gebaseerd ontwerp en Saxion-SC, Saxion-XR, ROC, M1 M10
ontwikkeling datavisualisaties ontwerponderzoekgemeenten, evt.
technologiebedrijven
T2.3 Voorbereiding experimenten Saxion-SC, Saxion-XR, M11 M11
T2.4 Experimentele evaluatie ontwerponderzoekgemeenten, evt. M12 M13
datavisualisaties met inwoners technologiebedrijven

27
 T2.5 Experimentele evaluatie M12 M13
datavisualisaties met
gemeenteprofessionals

Deliverables Omschrijving Deadline

D2.1 Ontwerpeisen
D2.2 Verzamelen en kiezen visualisatie-
ideeën
D2.3 Demonstrators visualisaties
D2.4 Evaluatieresultaten en geleerde
lessen
Ontwerpeisen voor datavisualisaties, iteratief M10
aangescherpt op basis van evaluatieresultaten
Bundeling systematisch beschreven visualisatie- M5
ideeën uit Ideate-fase
Datavisualisaties, inclusief documentatie M8
Evaluatieresultaten en geleerde lessen uit testfase M10
en resultaten uit de summatieve evaluatie

4.4.5 Ontwerpcyclus: actieonderzoek

De inzet en evaluatie van de ontwikkelde visualisaties in participatietrajecten voor duurzaamheidsbeleid heeft het
karakter van actieonderzoek, een benadering uit onderwijsonderzoek en information systems research (zie
bijvoorbeeld [101] ). We volgen de veelgebruikte fasering van [102]. Er worden drie cases uitgevoerd waarin deze
fasen worden doorlopen.

Subvragen:
• Hoe kunnen enthousiasmerende en eenvoudig te begrijpen visualisaties van duurzaamheidsdata
worden ingezet in participatietrajecten, gegeven de beleidsdoelen en de participatiedoelen van de
gemeente?
• In hoeverre levert de inzet van enthousiasmerende en eenvoudig te begrijpen visualisaties in – op deze
visualisaties aangepaste – participatietrajecten een bijdrage aan diversiteit in de participantengroep en
draagvlak voor duurzaamheidsbeleid?

Caseselectie
Het onderzoek volgt de algemene methodologische richtlijnen voor multiple-casestudyonderzoek [103]–[105] en
voor casetstudyonderzoek binnen de smarcitycontext [106]. Mora et al. [106] adviseren cases te selecteren op
basis van theoretical sampling. De eenheid van analyse is gemeentelijk duurzamheidsbeleid, met een rol voor
inwoners, dat op dit moment in ontwikkeling is. Cases worden geselecteerd op basis van het maximum variation-
principe ([103], [104]).

De cases moeten aan de volgende criteria voldoen:

• Cases moet aansluiten op het duurzaamheidsthema, zoals gedefinieerd in de inleiding en de state-of-the-
art. De focus in de casestudies ligt op het thema energietransitie warmte en op klimaatadaptie.
• Er moet variatie zijn in cases in termen van de rol van inwoners (volgens [31]) en de fase in het adaptieve
beleidsproces (volgens [40]).

Naast theoretische eisen zijn er een aantal praktische eisen:

• Beschikbare data voor de visualisaties moeten aansluiten bij beleidsdoel en participatiedoel.
• De data moeten toegankelijk zijn voor onderzoekers en moeten kunnen worden gevisualiseerd met behulp
van de in het ontwerponderzoek ontwikkelde visualisaties.

In de tabel hieronder is de concrete rol van de inwoners weergegeven. Er worden drie cases uitgevoerd in Zwolle,
Apeldoorn en Almelo:

28
 Zwolle Apeldoorn Almelo
Thema Klimaatadaptatie Klimaatadaptatie Warmtetransitie
Korte omschrijving Visualiseren van door Inzet van Met inwoners de transitievisie
inwoners verzamelde binnenstadscherm om de warmte vertalen naar een
klimaat- en voortgang van de concreet wijkplan als uitwerking
luchtkwaliteitgerela- vergroening van de van de transitievisie warmte
teerde sensordata in binnenstad en de impact vastgesteld in de raad
Stadshagen hiervan op leefkwaliteit
te visualiseren
Beleidsdoel Als gemeente inzicht Transformatie van de Draagvlak ontwikkelen voor
krijgen in effecten binnenstad naar een wijkplannen aardgasvrije wijken
klimaatverandering op klimaatbestendig,
straatniveau en betrekken aantrekkelijk
van een meer diverse verblijfsmilieu
groep inwoners bij (‘stadspark’) samen met
klimaatadaptatie binnenstad-bewoners
Doelgroep Inwoners van Stadshagen Inwoners van de gehele Inwoners van Windmolenbroek
binnenstad
Fase in het adaptieve Monitoring; probleem- en Probleem- en gapanalyse Pathways ontwikkelen
beleidsproces gapanalyse; identificeren
van mogelijke acties
Rol van inwoners Partnerschap Partnerschap Consultatie

Gerelateerd experiment Enschede Enschede Hoorn i.s.m. VNG

Diagnosticeren
De diagnosefase omvat een analyse van de beleids- en participatiecontext, betrokken stakeholders en doelgroep.
De beleids- en participatiecontext omvat:
• beleidsdoelen en eerder vastgesteld beleid op gebied van het duurzaamheidsthema en de rol van
inwoners
• visie en beleid van de gemeente op gebied van inwonerparticipatie en communicatie met inwoners in het
algemeen.

De uitkomsten van de relevantiecyclus (stimulerende en belemmerende factoren bij participatie) vormen het
startpunt voor deze analyse. Deze uitkomsten worden aangescherpt op basis van deskresearch (beleidsstukken,
raadsverslagen etc.) en interviews (n=4) met beleidsmedewerkers, communicatieadviseurs en dataspecialisten.

Focus van het doelgroeponderzoek is:

• attitudes tegenover het duurzaamheidsthema
• vertrouwen in de overheid
• vertrouwen in verzamelde data
• verwachtingen van inwoners over hun invloed op het beleid
• participatiedoelen van inwoners
• communicatiegedrag en technologiegebruik van inwoners

Dataverzameling vindt plaats door middel van analyse van bestaande landelijke onderzoeksdata van bijvoorbeeld
CPB en PBL en van lokaal verzamelde data via bijvoorbeeld burgerpanels. Deze data worden aangevuld met een
focusgroep met inwoners (n 8) en waar nodig vragenlijstonderzoek.
Op basis van de data uit het doelgroeponderzoek worden persona’s [107] ontwikkeld.

Deze analyse loopt parallel aan Empathize en Define (zie Figuur 11) in het ontwerponderzoek, wat ervoor zorgt dat
visualisaties al in de ontwerpfase zijn afgestemd op de behoefte van de casestudygemeenten.

29
Plannen
In de planfase wordt op basis van de diagnosefase het datagedreven inwonerparticipatietraject uitgewerkt. Het
gaat hierbij om:
• de rol van inwoners bij zowel het duurzaamheidsbeleid als geheel als het ontwerpproces van de
visualisatie
• indentificeren van passende kanalen om inwoners te bereiken
• uitwerken van het participatieproces en communicatieplan, waarbij datavisualisaties een rol kunnen
spelen.

In deze planfase is er nauw overleg met beleidsmedewerkers, communicatiemederwerkers en dataspecialisten.

Deze fase verheldert de rol van de visualisatie bij inwonerparticipatie en de setting waarbinnen deze wordt ingezet.

Ontwerpen en toepassen (‘action taking’)

In de ontwerp- en toepassingsfase worden keuzes voor specifieke visualisaties gemaakt. Naast de uitkomsten van
de diagnose- en planfase, vormen de geleerde lessen uit de experimenten (zie ontwerponderzoek onder
‘Experimenten’) de basis voor de keuze. Vervolgens worden de visualisaties aangepast aan de specifieke context,
volgens de uitkomsten van de diagnosefase. Dit omvat het importeren van lokale data in de onderliggende back-
end en eventuele aanpassingen aan de (tekstuele of grafische) inhoud om de visualisatie te laten aansluiten bij de
lokale situatie.

De ontwerpeisen vormen de schakel tussen de casestudies in het actieonderzoek en het ontwerponderzoek.

Uitkomsten van de plan- en diagnosefase worden vertaald naar ontwerpeisen voor visualisaties die in het
ontwerponderzoek worden ontwikkeld en getest.

Evalueren
De precieze opzet van de evaluatie in deze fase is afhankelijk van de setting waarin visualisaties worden ingezet. De
meetinstrumenten en de onderwerpen voor de interviews in de evaluatiefase zijn ontleend aan D1.2.

Wanneer visualisaties voor langere tijd door inwoners gebruikt kunnen worden, wordt logging van interacties
ingezet. Aan de hand van online vragenlijsten binnen de omgeving waarin de visualisatie worden aangeboden,
worden achtergrondkenmerken van de gebruikers en de constructen uit het theoretisch kader gemeten (bijv.
‘effort expectancy’ uit het UTAUT2-model [94], ‘hedonic quality’ uit AttrakDiff2 [84] en de waargenomen invloed
op het beleidsproces). Wanneer visualisaties ingezet worden tijdens eenmalige fysieke bijeenkomsten, worden
papieren vragenlijsten en semi-gestructureerde interviews gebruikt.

Aan het einde van de gebruiksperiode wordt de inzet van visualisaties per case geëvalueerd in een groepsinterview
met inwoners (n=6) en een groepsinterview met betrokken communicatiemedewerkers, beleidsmedewerkers en
dataspecialisten (n=4). Het eerste groepsinterview richt zich op de ervaringen met datagedreven
inwonerparticipatie. In het twee groepsinterview wordt ditzelfde onderwerp besproken, aangevuld met de vraag
naar het effect van het inzetten van de visualisaties op de houding tegenover en adoptie van datagedreven werken
binnen de gemeente.

Reflecteren
In een cross-case-analyse worden de workshopresultaten van de drie cases met elkaar vergeleken voor wat betreft:
• relatie tussen participatieniveau, gebruik van de visualisaties en de evaluatie hiervan door inwoners en
gemeenteprofessionals
• rol van datavisualisaties bij inwonerparticipatie aan duurzaamheidsbeleid
• kenmerken van de gebruikersgroep en hun invloed op het gebruik, met een focus op datageletterdheid
• wenselijkheid van het inzetten van datavisualisaties vanuit het perspectief van publieke waarden
• rol van de visualisaties bij de adoptie van datagedreven werken door professionals

De resultaten van deze cross-case-analyse worden in een workshop (n=15) gedeeld met en aangescherpt op basis
van feedback van het consortium.

30
 Taak Betrokken Start Einde
T3.1 Diagnosticeren: analyse van beleids- Saxion-SC, UU, technologiebedrijven, M1 M6
en participatiecontext, plannen van inzet casestudygemeenten
visualisaties
T3.2 Ontwerpen, toepassen en evalueren: Saxion-SC, technologiebedrijven, M11 M15
inzet en evaluatie datavisualisaties casestudygemeenten
T3.3 Leren: reflectie en cross-caseanalyse Saxion-SC, UU, alle partners M16 M18

Deliverables Omschrijving Deadline

D3.1 Rapportage casestudies
D3.2 Geleerde lessen
D3.3 Demonstrators van datavisualisaties
Rapportage actieonderzoekresultaten uit de M18
individuele cases
Resultaten van de cross-caseanalyse en geleerde M18
lessen over de inzet van datavisualisaties bij
participatietrajecten voor duurzaamheidsbeleid
De visualisaties die zijn ingezet, gedocumenteerd M18
en liefst opensource beschikbaar gemaakt

4.4.6 Grondigheidscyclus

De grondigheidscyclus (deelvraag 3, hieronder opgedeeld in subvragen) betreft het gebruik van en toevoegingen
aan de kennisbasis, bestaande uit theorie, methodologie, opgedane kennis en ervaring en ontwerpproducten en -
processen [87], [89]. De interactie met de kennisbasis is in de relevantiecyclus en de ontwerpcyclus beschreven.

Subvragen:
• Hoe kan het gebruik van de tools uit de toolbox worden aangeleerd door middel e-learningmodules?
• Welke toevoegingen aan de kennisbasis kunnen worden afgeleid uit de resultaten van het ontwerp- en
actieonderzoek wanneer deze worden afgezet tegen de belemmerende factoren en succescriteria uit
de relevantiecyclus?
• Hoe kunnen de geleerde lessen uit ontwerp en inzet van datavisualisaties worden vertaald naar een
praktische toolbox voor gemeenteprofessionals?

Toevoegingen aan de kennisbasis: meta-artefacten als opbrengst van ‘verhalen vertellen met data’

Designscienceonderzoek is gericht op de uitbreiding van de kennisbasis met nieuwe methodologiën, (meta-)

ontwerpartefacten en processen [87], [89]. De uitkomsten van de ontwerpcyclus worden vertaald naar de volgende
meta-artefacten:

Meta-artefact (opbrengst) Omschrijving Basis in ontwerpcyclus

Ontwerprichtlijnen ‘inclusief, Ontwerpheuristieken voor visualisaties in • Knelpunten datageletterdheid (D1.1)

begrijpelijk en acceptabel
data visualiseren’
Ontwerpaanpak ‘samen data
in beeld brengen’
duurzaamheidsbeleid
Ontwerpproces om samen met inwoners
en gemeenteprofessionals datavisualisaties
te ontwikkelen, met een focus op
duurzaamheidscontext
• Iteratief ontwikkelde ontwerpeisen (D2.1)
• Evaluatieresultaten en geleerde lessen
ontwerpfase (D2.3, D2.4))
• Evaluatieresultaten en geleerde lessen
ontwerpfase (D2.3, D2.4)

Participatieaanpak ‘data en Datagedreven participatieaanpak in • Evaluatieresultaten en geleerde lessen

duurzaamheid’ context van duurzaamheidsbeleid (aanpak implementatiefase (D3.1, D3.2)
voor inwoners; aanpak voor communicatie-
en beleidsmedewerkers)

31
 Geleerde lessen Generieke geleerde lessen voor • Evaluatieresultaten en geleerde lessen
gemeenteprofessionals op gebied van ontwerpfase (D2.3, D2.4)
datagedreven werken, datavisua-lisaties, • Evaluatieresultaten en geleerde lessen
inwonerparticipatie en duurzaamheid. ontwerpfase (D2.3, D2.4)

Demonstrators Ontwikkelde en geteste datavisualisaties Demonstrators van visualisaties, ontwikkeld

(liefst opensource beschikbaar) in ontwerpfase en ingezet in
implementatiefase (D2.2, D3.3)

Deze opbrengsten worden samengebracht in de toolbox ‘Eerste hulp bij datagedreven inwonerparticipatie in
duurzaamheidsbeleid’. De toolbox wordt in een workshop met experts, gemeenten, kennisinstellingen en
technologiebedrijven van binnen en buiten het consortium geëvalueerd (n>20) op inhoudelijke juistheid,
bruikbaarheid in de praktijk en geschiktheid van de verschijningsvorm.

Toevoegingen aan kennisbasis: training, publicaties, presentaties, onderwijsontwikkeling

De projectresultaten worden in samenwerking met VNG via een website beschikbaar gemaakt aan alle Nederlandse
gemeenten en er wordt een bijbehorende e-learningmodule ontwikkeld. Doelgroep bestaat uit
communicatiemedewerkers, inhoudelijke deskundigen en dataspecialisten bij gemeenten.

Het onderzoeksproject wil daarnaast zichbaar zijn tijdens wetenschappelijke en voor professionals bedoelde
nationale en internationale conferenties, in vakbladen en in wetenschappelijke publicaties. Deelnemende bedrijven
maken de resultaten van het onderzoeksproject kenbaar op beurzen, seminars of andere voor hen relevante podia.
De beoogde aantallen zijn in onderstaande tabel weergegeven.

Wetenschappelijke publicaties: Aantal (Poster)presentaties of andere gelegenheden om Aantal

• tijdschriftartikelen ingediend 1 projectresultaten te delen met de doelgroepen
• conferentiepapers ingediend 1 van het onderzoeksproject:
• door bedrijven 4
Publicaties (online) vakbladen 1 • door gemeenten en VNG 4
• door kennisinstellingen (Saxion, UU) 4
Aantal persberichten en afgegeven interviews 2
Aantal blogposts 4
Beroepsproducten in de vorm van boekjes, 2
websiteonderdelen

WP4 – Kennisdelen
Taak Betrokken Start Einde
T4.1 Ontwikkeling toolbox Saxion-SC, UU, VNG, alle partners M22 M23
T4.2 Ontwikkeling e-learningmodule Saxion-SC M24 M24
T4.3 Deelname conferenties, schrijven Saxion-SC, UU M1 M24
populaire en wetenschappelijke
publicaties
T4.4 Ontwikkeling projectonderwijs ROC, Saxion-SC M1 M24
datavaardigheden
Deliverables Omschrijving Deadline
D5.1 Toolbox 'Eerste hulp bij datagedreven Uitwerking van de meta-artefacten, toegankelijk M23
inwonerparticipatie aan gemaakt via website
duurzaamheidsbeleid'
D5.2 E-learning bij de toolbox E-learningmateriaal over gebruik toolbox M24
D5.3 Collectie publicaties, presentaties Bundeling geschreven wetenschappelijke en M24
populaire publicaties, presentaties, blogposts

32
4.5 Activiteitenplan
34
4.6 Doorwerking

Doorwerking in onderwijs Saxion en Universiteit Utrecht (UU)

Saxion
• CMGT en Learning community XR-Lab
Designers, Engineers en Artists van CMGT kunnen via de learning community in het XR-Lab meewerken
aan dit project, waarmee ze hun ontwerp-, technische en artistieke kennis kunnen toepassen op
maatschappelijk relevante praktijkcases (eerstejaarsmodule Research of in Behaviorism (over persuasieve
systemen), studentassistentschappen (ontwerpen en gebruikersonderzoek)).
• HBO-ICT
Stagairs, afstudeerders, studentassistenten en tweedejaars (praktijkopdracht bij ‘klant’) worden ingezet bij
de implementatie van visualisaties (bijvoorbeeld verwerking, opslag en toegankelijk maken van de data
ten behoeve van de visualisaties).
• Creative Business
In het vak ‘Project voorlichting’ moeten tweedejaars een opdracht doen voor gemeenten. De cases
hiervoor worden als praktijkopdracht ingebracht in dit vak. Stagairs en afstudeerders kunnen bij
deelnemende gemeenten helpen met het ontwikkelen en uitvoeren van communicatieplannen.
• Multidisciplinair onderwijs: StadsLab en Smart solutions
Studenten van verschillende Saxion-opleidingen werken voltijds samen aan een praktijkopdracht. Voor dit
project kunnen praktijkopdrachten worden aangedragen om aanvullende visualisaties te ontwikkelen en
te evalueren. Studenten urban studies kunnen in ‘Stadslab’-opdrachten verdiepend onderzoek doen naar
datagedreven werken rondom duurzaamheid, gericht op gemeenteprofessionals.

Universiteit Utrecht
• Bestuurs- en Organisatiewetenschap
Dit onderzoeksproject biedt mogelijkheden voor het bachelor- en masteronderwijs Bestuurs-en
Organisatiewetenschap. Cases uit het onderzoek dienen als voorbeelden in bachelorvakken
zoals Kwalitatief onderzoek en vakken rondom publieke innovatie. Daarnaast kunnen studenten hun
scriptieonderzoek doen op gebied van burgerparticipatie en datagedreven werken. Tenslotte biedt de
B&O-Academie (honoursprogramma) studentenopdrachten.

Doorwerking in onderwijs ROC van Twente

ROC van Twente participeert in onderzoek naar datageletterdheid en bij de ontwikkeling en evaluatie van
datavisualisaties (opleidingen Applicatieontwikkelaar en Media en vormgeving). Door samenwerking met het
practoraat burgerschap en voornoemde opleidingen wordt datageletterdheids- en deliberatieonderwijs
ontwikkeld, resulterend in vaardigheden om deel te nemen aan een steeds meer datagedreven maatschappij en te
participeren in discussies over hun eigen leefomgeving. De onderzoeksactiviteiten worden in T4.5 omgezet naar
projectonderwijs dat de projectresultaten oplevert, maar ook aansluit bij de leerdoelen van burgerschapsonderwijs
en rekenonderwijs.

Opbrengst voor onderzoeksgemeenschap

Dit multidisciplinaire onderzoeksproject draagt bij aan de onderzoeksterreinen van duurzaamheidsbeleid,
datavisualisatie, inwonerparticipatie en smart cities. De kennis op het snijvlak van deze onderzoeksterreinen is nog
vrij beperkt. Dit project levert geleerde lessen op over specifieke combinaties inwonerparticipatie met
datavisualisatie. Door de samenstelling binnen het consortium met gemeenten en technologiebedrijven kan
wetenschappelijke kennis worden gevalideerd en uitgebreid in realtische scenario’s op het maatschapelijk urgente
onderwerp van duurzaamheid.

Concreet betekent dit:

• Wetenschappelijke publicaties, vakpublicaties en populaire publicaties
• Bijdrage aan onderzoekslijnen van de betrokken lectoraten en vakgroep bij UU
• Praktijkkennis als input voor onderzoek van Saxion en UU
5 Projectorganisatie en -management (1.379 woorden)

Voor de uitvoering van het onderzoeksproject is gekozen om subteams te vormen rondom elk werkpakket,
bestaande uit de deelnemende kennis- en onderwijsinstellingen (Saxion, Universiteit Utrecht, ROC van Twente) en
de betrokken gemeenten en bedrijven. Het onderzoeksproject kent een basis in de beroepspraktijk en dient dus
mede gestuurd te worden door de professionals in het veld. Gemeenten en bedrijven hebben daarom een actieve
rol in de uitvoering van het onderzoeksproject.

Het volgende tekstkader geeft een beknopt overzicht van (de complementariteit van) de inHoofdstuk 3 uitgebreid
beschreven ingebrachte expertise van het netwerk:

De gemeenten leveren domeinkennis op verschillende duurzaamheidsthema’s, communicatiekundige kennis en

kennis op het gebied van data(analyse).
De technologiebedrijven leveren onder andere kennis op het gebied van data-analyse en -visualisatie, software
(bijvoorbeeld dataplatforms en GIS), IoT-oplossingen, inwonerparticipatie, gedragsverandering, beleving.
De onderwijs- en kennisinstellingen zijn onderling complementair en ze vertegenwoordigen essentiële
expertises voor dit onderzoeksvoorstel: technologie en bestuur; burgerschap; datavisualisatie en
sociotechnische innovatie op gebied van datagedreven inwonerparticipatie.
VNG brengt (kennis over) datavoorzieningen, gebruikersstatistieken en communicatiekanalen voor het delen van
de toolbox in.

Binnen vier werkpakketten (WP1 t/m WP4) werken subteams op basis van de voornoemde expertise aan de in
Sectie 4.2 beschreven deelvragen. In WP0 vindt het projectmanagement plaats. Hieronder worden kort de vier
inhoudelijke werkpakketten en hun onderlinge afhankelijkheden en verbanden beschreven.

WP1 brengt de belemmerende en stimulerende factoren voor inwonerparticipatie, datavisualisatie en

datageletterdheid in beeld.

WP2 ontwikkelt volgens een designthinkingaanpak de visualisaties. Startpunt is een workshop met het hele
consortium om de WP1-uitkomsten en de concept-ontwerpeisen te bespreken en aan te scherpen. Deze workshop
en de ontwerpeisen vormen daarmee een belangrijk eerste synchronisatiepunt in het project.

Een tweede belangrijk synchronisatepunt zit in de samenhang tussen het ontwerponderzoek in WP2, waarin de
datavisualisaties worden ontwikkeld en (experimenteel) worden getest en het actieonderzoek in WP3, waarin ze in
de praktijk worden ingezet. Het samen laten vallen van de eerste fases in het ontwerponderzoek in WP2
(Empathize/Define, Taak 2.2) met de Diagnose-fase in het actieonderzoek in WP3 (Taak 3.1) zorgt ervoor dat in
WP2 datavisualisaties worden ontwikkeld die ook aansluiten bij de behoefte van de actieonderzoekgemeenten in
WP3, in termen van beschikbare data, beleids- en participatiecontext en kenmerken van inwoners. Dit is van belang
vanuit het oogpunt van praktische haalbaarheid van deze opzet: door deze aanpak kunnen met relatief beperkte
aanpassingen deze visualisaties worden ingezet in de cases voor het actieonderzoek.

In WP3 wordt een participatieproces ontworpen, waarin bij sommige activiteiten de visualisaties worden ingezet en
deze inzet wordt geëvalueerd. In de deliverables van WP2 en WP3 wordt kennis vastgelegd die is opgedaan bij het
ontwikkelproces van de visualisaties (WP2) en de inzet van deze visualisaties in de praktijk (WP3).

In WP4 worden de geleerde lessen vertaald naar de opbrengsten van dit project: de eerste-hulp-toolbox. In dit
werkpakket wordt ook aandacht besteed aan het inkapselen van onderzoeksactiviteiten in projectonderwijs, zodat
deze onderzoeksactiviteiten aansluiten bij de leerdoelen van het onderwijs en weerstand bij docenten wordt
voorkomen.

Elk werkpakket wordt aangestuurd door een werkpakketleider. Het projectmanagementteam (PMT) bestaat uit
werkpakketleiders, de projectleider en de verantwoordelijk lector. Dit PMT zorgt voor continue afstemming tussen
de drie cycli het project: de relevantiecyclus (WP1), de ontwerpcyclus (WP2, WP3) en de grondigheidscylus (WP4).

36
Het PMT bewaakt ook de overdracht van opgedane inzichten naar WP4 ten behoeve van kennisdeling in publicaties
en de te ontwikkelen training.

Projectleiding
De dagelijkse leiding is in handen van Dr. Mark Melenhorst, associate lector Smart Cities van Saxion, onder
supervisie van de lector, Dr. Mettina Veenstra. Mark Melenhorst is een ervaren onderzoeker op het gebied van
gedragsverandering & ICT, user-centered design en living labs. Hij heeft daarnaast (projectmanagement)ervaring
met nationale en internationale toegepaste onderzoeksprojecten (Horizon 2020/FP7, RAAK-publiek, RAAK-PRO).

Stuurgroep
De stuurgroep monitort de voortgang van het onderzoeksproject op basis van de onderzoeksaanpak (Sectie 4.4) en
het activiteitenplan (Sectie 4.5) van dit onderzoeksproject, geeft advies over de inzet van middelen en ziet toe op
een effectieve kenniscirculatie. Zij spelen een belangrijke rol in de sturing van de verschillende werkpakketten om
een focus te garanderen op de praktijkvraag van het werkveld. De stuurgroep wordt voorgezeten door de directeur
van de Academie Creatieve Technologie (Raimond Bartelink) van Saxion. De stuurgroep is een combinatie van
vertegenwoordigers van de deelnemende gemeenten, bedrijven en ROC van Twente. Mettina Veenstra
vertegenwoordigt vanuit Saxion de kennisinstellingen in de stuurgroep.

De projectmanagementstructuur is weergegeven in Figuur 12.

Figuur 12. Projectmanagementstructuur.

37
Bemensing onderzoeksproject vanuit kennisinstellingen

Saxion, lectoraat Smart Cities
Dr. Mettina Veenstra (lector)
Dr. Mark Melenhorst
(associate-lector)
Saxion, Extended Reality Lab Universiteit Utrecht, School of ROC van Twente,
Governance practoraat Burgerschap
Matthijs van Veen MSc Dr. Erna Ruijer Dr. Laurance Guérin
Prof. dr. Albert Meijer Anouk van Oorschot MSc

Kwaliteitsborging
De relevante kennis en ervaring van de betrokken lector, practor en hoogleraar en de actieve deelname en
relevante kennis van de vele betrokken bedrijven, gemeenten, kennisinstellingen en VNG dragen bij aan de
kwaliteit van het onderzoeksproject. De betrokken docent-onderzoekers die (met studententeams) meedoen aan
het onderzoeksproject hebben veelal ruime ervaring met vergelijkbare projecten. De kwaliteit van de
onderzoeksresulaten wordt geborgd door middel van een intern reviewproces, waarbij deliverables worden
gecontroleerd voorafgaand aan publicatie. Kwaliteit in termen van praktische bruikbaarheid is verder geborgd
doordat gemeenten en bedrijven nauw betrokken zijn bij het hele onderzoeksproject, zoals hierboven beschreven
en doordat de uitkomsten in workshops binnen elk werkpakket worden getoetst.

SWOT-analyse
Hieronder is een SWOT-analyse weergegeven inclusief maatregelen voor zwaktes en bedreigingen.

STERKTES
• Project sluit aan bij en levert
gemeenteprofessionals handelingsperspectief
voor twee urgente maatschappelijk thema’s:
duurzaamheid en datageletterdheid
• Zeer brede en relevante praktijkkennis en -
ervaring is in het consortium vertegenwoordigd,
door de combinatie van technologiebedrijven,
gemeenten, kennis- en onderwijsinstellingen
• Onderzoekers beschikken over grote
multidisciplinaire theoretische en praktische
kennis en ervaring i.r.t. datavisualisatie,
inwonerparticipatie en duurzaamheid
• Cases voor het ontwerp- en actieonderzoek zijn
voorafgaand aan het onderzoeksproject al
bevestigd
• Sterke inbedding in het onderwijs, zowel mbo,
hbo als wo; interdisciplinair onderwijs en
samenwerking tussen mbo en hbo is in de opzet
verweven.
KANSEN
• Impact van het project vergroten door de toolbox
‘Eerste hulp bij datagedreven inwonerparticipatie aan
duurzaamheidsbeleid’ onder alle gemeenten te
verspreiden, via de kanalen van VNG.
• Vervolgprojeten initiëren waarin de nadruk ligt op
datagedreven werken voor professionals en de rol die
begrijpelijke datavisualisaties hierbij kunnen spelen
• Vervolgprojecten initiëren waarin de nadruk ligt op
het als gemeente om leren gaan met de kritische
inwoner die wantrouwend is tegenover tegenover de
overheid in het algemeen en data in het bijzonder.

ZWAKTES
• Grote rol voor deelnemende gemeenten en
bedrijven is zowel een sterk punt als een risico
• Door de planning van de casestudies moet het
project snel uit de startblokken komen
• Studenten spelen een sterke rol bij de uitvoering
BEDREIGINGEN
• Cases voor ontwerp- of actieonderzoek komen te
vervallen door ontwikkelingen bij gemeenten
• Betrekken van inwoners lukt niet

38
Oplossingen
Grote rol deelnemende gemeenten en bedrijven
Ureninvestering voor gemeenten en bedrijven is realistisch
gecalculeerd. De verwachte bijdrage is persoonlijk
toegelicht en vervolgens vastgelegd in het partner-
formulier.
Planning van de casestudies
Aan het begin van het ontwerponderzoek (Taak 2.2) en het
actieonderzoek (Taak 3.2) wordt de inzet en planning met
betrokken gemeenten en bedrijven doorgesproken.
Voorafgaand aan het project wordt alvast documentatie
opgevraagd en een eerste sessie belegd. De kick-off van
het project kan worden gebruikt voor de eerste
dataverzameling. Om de casestudies en experimenten op
schema te houden wordt minimaal eens per maand een
(online) vergadering belegd.
Sterke rol van studenten
• Alleen ingehuurde student-assistenten zitten op
het kritieke pad van het project, begeleid door
ervaren docent-onderzoekers en engineers.
Regulier onderwijs is aanvullend op kritieke
projectonderdelen, zonder dat de uitkomsten op het
kritieke pad zitten
39
Oplossingen
Cases voor ontwerp- of actieonderzoek vervallen
• Voor aanvang van project sessies beleggen om cases
te herbevestigen en eerste acties uit te zetten
• Via VNG en via technologiebedrijven nieuwe
gemeenten zoeken;
• Aanvullende trajecten starten bij betrokken
gemeenten in expertrol (Rotterdam, Eindhoven
hebben al aangegeven dat ze eigenlijk in de rol van
ontwerponderzoekgemeente wilden optreden, maar
de indiening van dit onderzoeksvoorstel komt net iets
te vroeg om afspraken te kunnen maken over
concrete participatietrajecten)
Betrekken van inwoners lukt niet
• In eerste sessies wordt aan inwoners zelf gevraagd
hoe we ze het beste kunnen betrekken. Bij de start
van het ontwerpproces vragen we gemeenten om de
doelgroep in kaart te brengen en de kanalen
waarmee ze het beste bereikt kunnen worden. Denk
aan burgerpanels, verenigingen, wijkcentra, etc.
Proefpersoonvergoedingen worden ingezet om bewoners te
compenseren voor hun bijdrage
6 Datamanagementparagraaf
Het onderzoek in de relevantiecyclus, het ontwerp- en actieonderzoek in de ontwerpcyclus en de evaluatie van de
toolbox in de grondigheidscyclus vragen om een zorgvuldige planning van de opslag, verwerking en het toegankelijk
maken van data voor derden. Onderstaande tabel bevat een overzicht van de verzamelde data en de manier
waarop de data toegankelijk wordt gemaakt voor hergebruik.

Fase Verzamelde data Ruwe data Uitkomsten data-analyse Uitkomsten

openbaar? openbaar?
Relevantie- Vragenlijstdata over stimulerende en belemmerende Ja, na Overzicht van stimulerende Ja
Cyclus factoren op het gebied van inwonersparticipatie en anonimisering en belemmerende factoren
(WP1) datavisualisatie op het gebied van a)
(gemeenteprofessionals) inwonersparticipatie b)
Opnames en transcripties van interviews Ja, na datavisualisatie Ja
(gemeenteprofessionals) anonimisering

Opnames en transcripties van hardop- Ja, na Knelpunten in het gebruik Ja

denkonderzoek anonimisering van datavisualisaties
(ROC-studenten, gemeenteprofessionals)
Opname en transcriptie van workshop over Ja, na Aanscherping theoretisch Ja
theoretisch kader en ontwerpeisen anonimisering kader en ontwerpeisen
(hele consortium)
Ontwerp- Opnames en transcripties van brainstormsessies Ja, na Overzicht van Ja
onderzoek (inwoners, gemeenteprofessionals, bedrijven) anonimisering visualisatieideeën
(WP2) Opname en transcriptie van workshop ten behoeve Ja, na Selectie van visualisatideeën Ja
van convergeerfase anonimisering
(inwoners, gemeenteprofessionals, bedrijven)
Opnames van tests van visualisaites Ja, na Verbetervoorstellen Ja
(inwoners, gemeenteprofessionals) anonimisering
Vragenlijstdata, interviews uit summatieve evaluatie Ja, na Geleerde lessen, conclu-sies Ja
van visualisaties in experimten (inwoners, anonimisering over meerwaarde van
gemeenteprofessionals) ontwikkelde visualisaties ten
opzichte van conventionele
visualisaties
Actie- Opnames van interviews om doelgroep, beleids- en Ja, na Ontwerpeisen voor Ja
onderzoek participatiecontext in kaart te brengen anonimisering visualisaties
(WP3) (gemeenteprofessionals) Aanwijzingen voor
Opnames van focusgroep met inwoners voor Ja, na aanpassing aan context Ja
doelgroepanalyse (inwoners) anonimisering
Vragenlijstdata voor evaluatie van inzet visualisaties Ja, na Geleerde lessen Ja
(inwoners, gemeenteprofessionals) anonimisering Verbetervoorstellen voor
Groepsinterviewdata over inzet van datavisualisatie Ja, na visualisaties Ja
in participatietraject (inwoners, anonimisering
gemeenteprofessionals)
Opname en transcriptie van workshop om geleerde Ja, na Geleerde lessen Ja
lessen uit inzet van visualisaties te trekken anonimiseirng
Grondigheids Opname en transcriptie van workshop om toolbox te Ja, na Verbetervoorstellen voor
-cyclus evalueren anonimiseirng tools
(WP4)

De casestudies leggen potentiële belangentegenstellingen en het verloop van smartcityprojecten bloot, waarvan
het voor respondenten noodzakelijk is dat zij in vertrouwen vrijuit kunnen reflecteren op het procesverloop.
Vanwege deze gevoeligheden is het niet mogelijk om ruwe interview- en focusgroepdata openbaar te maken.
Anonimiseren volstaat niet, aangezien het zeer specifieke cases betreft, waardoor uitspraken alsnog herleid kunnen
worden naar respondenten.

De samenwerkingsovereenkomst omvat een generieke non-disclosure-agreement, zodat respondenten er zeker

van kunnen zijn dat hun input alleen door onderzoekers wordt verwerkt en pas na expliciete toestemming wordt
gedeeld met anderen.

40
Verder wordt aan deelnemers (inwoners, studenten, gemeenteprofesisonals) aan (groeps)interviews en
brainstormsessies om geïnformeerde toestemming gevraagd, volgens de geldende richtlijnen voor toegepast
onderzoek in het hbo. In het toestemmingsformulier wordt uitgelegd wat de verwachtingen zijn van de
respondent, dat deelname vrijwillig is en op elk moment kan worden gestopt, hoe omgegaan wordt met privacy en
vertrouwelijkheid, welke gegevens worden verzameld, hoe deze gegevens worden opgeslagen en wie toegang
heeft tot deze gegevens.

Data-opslag en dataverwerking
Voor onderzoeksdata die nog in bewerking is wordt gebruik gemaakt van de Saxion Research Cloud Drive,
onderdeel van Saxion Research Services (SRS). Afgeronde datasets worden gearchiveerd in het Research
Information System van Saxion. Ruwe data kunnen met deze systemen worden afgeschermd, terwijl afgeronde
datasets ter beschikking kunnen worden gesteld aan derden. De opslag en toegang tot de data voldoet aan de AVG-
richtlijnen. De cloud-oplossing is voldoende schaalbaar om te voorzien in de databehoefte vanuit het project.

In de eerste maand van het onderzoeksproject wordt hiervoor een deliverable opgesteld:

Deliverables Omschrijving Deadline

D0.1 Datamanagementplan Procedures en richtlijnen voor verzamelen, M1
verwerken en opslaan onderzoeksgegevens;
informed-consentformulieren respondenten.

41
7 Prestatieindicatoren

Netwerkvorming
Waarvan overige
Type organisatie Aantal Waarvan consortiumpartner
betrokken partijen

Hogeschool 1 1

Mkb-onderneming 1 (+2 niet mkb) 1 (+2 niet mkb)

Publieke instelling 10 9 1

Kennisinstelling 1 1

Onderwijs

Deelname beoogd aantal Deelname beoogd aantal docenten

Welke opleidingen zijn betrokken?
studenten bij uitvoering bij uitvoering

HBO-ICT (Saxion) 10 2

CMGT (Saxion) 210 4

Creative Business (Saxion) 100 2

Stadslab (onderdeel opleiding ‘Ruimtelijke 10 1

ontwikkeling’ (Saxion)
Smart Solutions Semester (Saxion, 10 N.v.t.
interdisciplinaire ontwerpopdrachten)

42
Referenties
[1] B. van Zoelen, “Meer bereidheid tot milieubewust gedrag na coronacrisis,” Parool.
[2] Y. De Kluizenaar, C. Carabain, and A. Steenbekkers, “Klimaatbeleid en de samenleving,” 2020.
[3] Rijksoverheid, “Klimaatakkoord,” 2019.
[4] Ministerie van Infrastructuur en Milieu, “Deltaprogramma 2018. Doorwerken aan een duurzame en veilige delta,”
2018.
[5] H. W. J. Rittel and M. M. Webber, “Dilemmas in a General Theory of Planning (original wicked issues),” Policy Sciences,
vol. 4. p. 161, 1973.
[6] B. W. Head and J. Alford, “Wicked Problems: Implications for Public Policy and Management,” Adm. Soc., vol. 47, no. 6,
pp. 711–739, 2015.
[7] M. Gollagher and J. Hartz-Karp, “The role of deliberative collaborative governance in achieving sustainable cities,”
Sustain., vol. 5, no. 6, pp. 2343–2366, 2013.
[8] S. Hügel and A. R. Davies, “Public participation, engagement, and climate change adaptation: A review of the research
literature,” Wiley Interdiscip. Rev. Clim. Chang., vol. 11, no. 4, pp. 1–20, 2020.
[9] P. Burton and J. Mustelin, “Planning for Climate Change: Is Greater Public Participation the Key to Success?,” Urban
Policy and Research, vol. 31, no. 4. Taylor & Francis, pp. 399–415, 2013.
[10] A. N. Glucker, P. P. J. Driessen, A. Kolhoff, and H. A. C. Runhaar, “Public participation in environmental impact
assessment: Why, who and how?,” Environ. Impact Assess. Rev., vol. 43, pp. 104–111, 2013.
[11] P. Burton, “Power to the people? How to judge public participation,” Local Econ., vol. 19, no. 3, pp. 193–198, 2004.
[12] J. May, “The triangle of engagement: An unusual way of looking at the usual suspects,” Public Money Manag., vol. 27,
no. 1, pp. 69–75, 2007.
[13] S. R. J. Sheppard et al., “Future visioning of local climate change: A framework for community engagement and planning
with scenarios and visualisation,” Futures, vol. 43, no. 4, pp. 400–412, 2011.
[14] A. Marzouki, F. Lafrance, S. Daniel, and S. Mellouli, “The relevance of geovisualization in Citizen Participation
processes,” ACM Int. Conf. Proceeding Ser., vol. Part F1282, pp. 397–406, 2017.
[15] K. Cheryl Simrell, F. Kathryn M, and On. Bridget, “The Question of Participation,” Public Can. J. Urban Res. / Rev. Can.
Rech. urbaine, vol. 58, no. 4, pp. 317–326, 1998.
[16] K. Al-Kodmany, “Visualization Tools and Methods for Participatory Planning and Design,” J. Urban Technol., vol. 8, no. 2,
pp. 1–37, 2001.
[17] T. Metze, “Visualization in environmental policy and planning: a systematic review and research agenda,” J. Environ.
Policy Plan., vol. 0, no. 0, pp. 1–16, 2020.
[18] G. Cai and B. Yu, “Spatial annotation technology for public deliberation,” Trans. GIS, vol. 13, no. SUPPL. 1, pp. 123–146,
2009.
[19] E. Falco and R. Kleinhans, “Digital participatory platforms for co-production in urban development: A systematic
review,” Int. J. E-Planning Res., vol. 7, no. 3, pp. 1–27, 2018.
[20] M. van Hulst, “Storytelling, a model of and a model for planning,” Plan. Theory, vol. 11, no. 3, pp. 299–318, 2012.
[21] K. Börner, A. Maltese, R. N. Balliet, and J. Heimlich, “Investigating aspects of data visualization literacy using 20
information visualizations and 273 science museum visitors,” Inf. Vis., vol. 15, no. 3, pp. 198–213, 2016.
[22] H. Berben et al., “Rekeneisen voor het middelbaar beroepsonderwijs,” 2020.
[23] W. Houtkoop, “Basisvaardigheden in Nederland. De ‘geletterdheid’ van Nederland: economische, sociale en educatieve
aspecten van de taal- en rekenvaardigheden van de Nederlandse beroepsbevolking.,” Amsterdam, 2007.
[24] P. Nittyvirta and T. Aho, “Lines (57° 59ʹ N, 7° 16’W),” 2019. .
[25] A. Sundin, K. Andersson, and R. Watt, “Rethinking communication: Integrating storytelling for increased stakeholder
engagement in environmental evidence synthesis Neal Haddaway, Sally Crowe,” Environ. Evid., vol. 7, no. 1, pp. 1–6,
2018.
[26] E. Segel and J. Heer, “Narrative visualization: Telling stories with data,” IEEE Trans. Vis. Comput. Graph., vol. 16, no. 6,
pp. 1139–1148, 2010.
[27] V. Realisatie, “Datavoorziening Energietransitie Gebouwde Omgeving,” 2020. [Online]. Available:
https://tvw.commondatafactory.nl/.
[28] P. Glavič and R. Lukman, “Review of sustainability terms and their definitions,” J. Clean. Prod., vol. 15, no. 18, pp. 1875–
1885, 2007.
[29] U. Nations, E. Programme, E. Integrative, and M. Series, “GY C CENTRE TECHNOLOGY I NTERNATIONAL Melbourne
Principles for Sustainable Cities,” no. 1.
[30] G. C. Homsy and M. E. Warner, “Cities and Sustainability: Polycentric Action and Multilevel Governance,” Urban Aff.
Rev., vol. 51, no. 1, pp. 46–73, 2015.
[31] P. Bishop and G. Davis, “Mapping public participation in policy choices,” Aust. J. Public Adm., vol. 61, no. 1, pp. 14–29,
2002.
[32] W. E. Walker, S. A. Rahman, and J. Cave, “Adaptive policies, policy analysis, and policy-making,” Eur. J. Oper. Res., vol.

43
 128, no. 2, pp. 282–289, 2001.
[33] J. H. Kwakkel, W. E. Walker, and V. A. W. J. Marchau, “Adaptive Airport Strategic Planning,” Eur. J. Transp. Infrastruct.
Res., vol. 10, no. 3, pp. 249–273, 2010.
[34] T. B. Jørgensen and B. Bozeman, “Public Values,” Adm. Soc., vol. 39, no. 3, pp. 354–381, 2007.
[35] K. Kernaghan, “Integrating Values into Public Service: The Values Statement as Centerpiece,” Public Adm. Rev., vol. 63,
no. 6, pp. 711–719, 2003.
[36] L. Kool, J. Timmer, L. Royakkers, and R. van Est, “Opwaarderen. Borgen van publieke waarden in de digitale
samenleving,” 2017.
[37] CBS, “Wat is duurzaamheid?” [Online]. Available: https://www.cbs.nl/nl-nl/faq/specifiek/wat-is-duurzaamheid-.
[Accessed: 10-Nov-2020].
[38] Rijksoverheid, “Klimaatbeleid.” [Online]. Available:
https://www.rijksoverheid.nl/onderwerpen/klimaatverandering/klimaatbeleid. [Accessed: 10-Nov-2020].
[39] Ministerie van Infrastructuur en Milieu, “Nationale klimaatadaptatiestrategie 2016 (NAS),” 2016.
[40] M. Haasnoot, J. H. Kwakkel, W. E. Walker, and J. ter Maat, “Dynamic adaptive policy pathways: A method for crafting
robust decisions for a deeply uncertain world,” Glob. Environ. Chang., vol. 23, no. 2, pp. 485–498, 2013.
[41] L. Muradova, H. Walker, and F. Colli, “Climate change communication and public engagement in interpersonal
deliberative settings: evidence from the Irish citizens’ assembly,” Clim. Policy, vol. 0, no. 0, pp. 1–14, 2020.
[42] P. aan de slag met de Omgevingswet, “Aan de slag met Participatie,” 2017.
[43] K. Callahan, “Citizen participation: Models and methods,” Int. J. Public Adm., vol. 30, no. 11, pp. 1179–1196, 2007.
[44] G. V. Pereira, G. Eibl, C. Stylianou, G. Martinez, H. Neophytou, and P. Parycek, “The Role of Smart Technologies to
Support Citizen Engagement and Decision Making: The SmartGov Case,” Int. J. Electron. Gov. Res., vol. 14, no. 4, SI, pp.
1–17, 2018.
[45] D. Henstra, “The tools of climate adaptation policy: analysing instruments and instrument selection,” Clim. Policy, vol.
16, no. 4, pp. 496–521, 2016.
[46] S. R. Arnstein, “A Ladder Of Citizen Participation,” J. Am. Plan. Assoc., vol. 35, no. 4, pp. 216–224, 1969.
[47] A. N. Glucker, P. P. J. Driessen, A. Kolhoff, and H. A. C. Runhaar, “Public participation in environmental impact
assessment: Why, who and how?,” Environ. Impact Assess. Rev., vol. 43, pp. 104–111, 2013.
[48] C. J. Uittenbroek, H. L. P. Mees, D. L. T. Hegger, and P. P. J. Driessen, “The design of public participation: who
participates, when and how? Insights in climate adaptation planning from the Netherlands,” J. Environ. Plan. Manag.,
vol. 62, no. 14, pp. 2529–2547, 2019.
[49] R. A. Irvin and J. Stansbury, “Citizen Participation in Decision Making: Is It Worth the effort?,” Public Adm. Rev., vol. 64,
no. 1, pp. 55–65, 2004.
[50] J. Edelenbos, Procesbegeleiding van interactieve beleidsvorming over lokale ruimtelijke projecten. Proefschrift. Utrecht:
Lemma, 2000.
[51] I. Mayer, J. Edelenbos, and R. Monnikhof, “INTERACTIVE POLICY DEVELOPMENT : UNDERMINING OR SUSTAINING
DEMOCRACY ?,” Public Adm., vol. 83, no. 1, pp. 179–199, 2005.
[52] F. Wijnhoven, M. Ehrenhard, and J. Kuhn, “Open government objectives and participation motivations,” Gov. Inf. Q.,
vol. 32, no. 1, pp. 30–42, 2015.
[53] J. Thomas, “Public Involvement and Governmental Effectiveness: A Decision-making Model for Public Managers,” Adm.
Sci. Soc., vol. 24, no. 4, pp. 444–69, 1993.
[54] J. De Groot and L. Steg, “Morality and prosocial behavior: The role of awareness, responsibility, and norms in the norm
activation model,” J. Soc. Psychol., vol. 149, no. 4, pp. 425–449, 2009.
[55] S. Lindenberg and L. Steg, “Normative, gain and hedonic goal frames guiding environmental behavior,” J. Soc. Issues,
vol. 63, no. 1, pp. 117–137, 2007.
[56] J. Rowley, “The wisdom hierarchy: Representations of the DIKW hierarchy,” J. Inf. Sci., vol. 33, no. 2, pp. 163–180, 2007.
[57] J. C. Prado and M. Á. Marzal, “Incorporating data literacy into information literacy programs: Core competencies and
contents,” Libri, vol. 63, no. 2, pp. 123–134, 2013.
[58] I. Gal, “Adults ’ Statistical Literacy : Meanings , Components , Responsibilities,” 2002.
[59] M. Galesic and R. Garcia-Retamero, “Graph literacy: A cross-cultural comparison,” Med. Decis. Mak., vol. 31, no. 3, pp.
444–457, 2011.
[60] K. Börner, A. Bueckle, and M. Ginda, “Data visualization literacy: Definitions, conceptual frameworks, exercises, and
assessments,” Proc. Natl. Acad. Sci. U. S. A., vol. 116, no. 6, pp. 1857–1864, 2019.
[61] A. N. Holstein, “Participatie in Klimaatadaptatie,” 2011.
[62] D. A. Keim, F. Mansmann, J. Schneidewind, and H. Ziegler, “Challenges in visual data analysis,” Proc. Int. Conf. Inf. Vis.,
pp. 9–14, 2006.
[63] E. C. Fisher and C. W. Marean, “Data Visualization,” in Encyclopedia of Geoarchaeology, A. S. Gilbert, Ed. Dordrecht:
Springer Netherlands, 2017, pp. 173–180.
[64] M. Ward, G. Grinstein, and D. Keim, Interactive Data Visualization. Foundations, Techniques, and Applications. Boca
Raton, FL: Taylor & Francis, 2010.

44
[65] A. Kirk, Data Visualisation. A Handbook for Data Driven Design. Thousand Oaks, CA: SAGE PUBLICATIONS LTD, 2016.
[66] M. T. Rodríguez, S. Nunes, and T. Devezas, “Telling stories with data visualization,” in NHT 2015 - Proceedings of the
2015 Workshop on Narrative and Hypertext - co-located with HT 2015, 2015, pp. 7–11.
[67] S. Few, “Data visualisation for human perception.,” in The Encyclopedia of Human-Computer Interaction, I. D.
Foundation, Ed. Interaction Design Foundation, 2013.
[68] M. Franco-Torres, B. C. Rogers, and R. M. Ugarelli, “A framework to explain the role of boundary objects in
sustainability transitions,” Environ. Innov. Soc. Transitions, vol. 36, no. March 2019, pp. 34–48, 2020.
[69] S. L. Star and J. R. Griesemer, “Amateurs and Professionals in Berkeley ’ s Museum of Vertebrate Zoology , 1907-39,”
Soc. Stud. Sci., vol. 19, no. 3, pp. 387–420, 1989.
[70] T. Munzner, “A nested model for visualization design and validation,” IEEE Trans. Vis. Comput. Graph., vol. 15, no. 6, pp.
921–928, 2009.
[71] L. Chittaro, “Visualizing Information on Mobile Devices,” ACM Comput., vol. 39, no. 3, pp. 40–45, 2014.
[72] R. Kitchin, S. Maalsen, and G. McArdle, “The praxis and politics of building urban dashboards,” Geoforum, vol. 77, pp.
93–101, 2016.
[73] R. Kitchin and G. McArdle, “Urban data and city dashboards: Six key issues.,” in Data and the City, R. Kitchin, T. P.
Lauriault, and G. McArdle, Eds. London: Routledge, 2016, pp. 1–21.
[74] J. Hullman and N. Diakopoulos, “Visualization rhetoric: Framing effects in narrative visualization,” IEEE Trans. Vis.
Comput. Graph., vol. 17, no. 12, pp. 2231–2240, 2011.
[75] S. Bresciani and M. J. Eppler, “The pitfalls of visual representations: A review and classification of common errors made
while designing and interpreting visualizations,” SAGE Open, vol. 5, no. 4, 2015.
[76] H. Kennedy, R. L. Hill, G. Aiello, and W. Allen, “The work that visualisation conventions do,” Inf. Commun. Soc., vol. 19,
no. 6, pp. 715–735, 2016.
[77] TAFT, “CPA-PR _002_Anatomy Indicators City Anatomy Indicators,” 2015.
[78] C. J. Van Leeuwen and R. M. A. Sjerps, “The City Blueprint of Amsterdam: An assessment of integrated water resources
management in the capital of the Netherlands,” Water Sci. Technol. Water Supply, vol. 15, no. 2, pp. 404–410, 2015.
[79] J. Novak, M. Melenhorst, I. Micheel, C. Pasini, P. Fraternali, and A. E. Rizzoli, “Integrating behavioural change and
gamified incentive modelling for stimulating water saving,” Environ. Model. Softw., vol. 102, pp. 120–137, 2018.
[80] C. Tong et al., “Storytelling and visualization: An extended survey,” Inf., vol. 9, no. 3, 2018.
[81] G. Lakoff and M. Johnson, “The metaphorical structure of the human conceptual system,” Cogn. Sci., vol. 4, no. 2, pp.
195–208, 1980.
[82] C. Ziemkiewicz and R. Kosara, “The shaping of information by visual metaphors,” IEEE Trans. Vis. Comput. Graph., vol.
14, no. 6, pp. 1269–1276, 2008.
[83] Y. Rydin and M. Pennington, “Public participation and local environmental planning: The collective action problem and
the potential of social capital,” Local Environ., vol. 5, no. 2, pp. 153–169, 2000.
[84] M. Hassenzahl, “Human – Computer Interaction The Interplay of Beauty , Goodness , and Usability in Interactive
Products,” vol. 19, pp. 319–349, 2004.
[85] H. Oinas-Kukkonen and M. Harjumaa, “Persuasive systems design: Key issues, process model, and system features,”
Commun. Assoc. Inf. Syst., vol. 24, no. 1, pp. 485–500, 2009.
[86] J. van Aken and D. Andriessen, Handboek ontwerpgericht wetenschappelijk onderzoek. Den Haag: Boom Lemma, 2011.
[87] Hevner, March, Park, and Ram, “Design Science in Information Systems Research,” MIS Q., vol. 28, no. 1, p. 75, 2004.
[88] R. Hevner Alan, “A Three Cycle View of Design Science Research,” Scand. J. Inf. Syst., vol. 19, no. 2, pp. 87–92, 2007.
[89] A. R. Hevner, “Scandinavian Journal of Information Systems A Three Cycle View of Design Science Research,” Scand. J.
Inf. Syst. © Scand. J. Inf. Syst., vol. 19, no. 192, pp. 87–92, 2007.
[90] G. W. Young and R. Kitchin, “Creating design guidelines for building city dashboards from a user’s perspectives,” Int. J.
Hum. Comput. Stud., vol. 140, no. March, 2020.
[91] K. A. Ericsson and H. A. Simon, Protocol analysis: Verbal reports as data. Cambridge, MA: MIT Press, 1984.
[92] C. Salvador, A. Nakasone, and J. A. Pow-Sang, “A systematic review of usability techniques in agile methodologies,”
ACM Int. Conf. Proceeding Ser., 2014.
[93] M. Behrisch et al., “Quality Metrics for Information Visualization,” Comput. Graph. Forum, vol. 37, no. 3, pp. 625–662,
2018.
[94] M. Venkatesh, J. Y. L. Thong, and X. Xu, “Consumer Accceptance and Use of Information Technology: Extending the
Unified Theory of Acceptance and Use of Technology,” MIS Q., vol. 36, no. 1, pp. 157–178, 2012.
[95] G. Rowe and L. J. Frewer, “Public participation methods: A framework for evaluation,” Sci. Technol. Hum. Values, vol.
25, no. 1, pp. 3–29, 2000.
[96] T. Brown, “Design Thinking,” Harv. Bus. Rev., vol. 86, no. 6, p. 84, 2008.
[97] BOOT, “Nationale Hittestresskaart,” 2018. [Online]. Available: https://www.nationalehittestresskaart.nl/.
[98] S. Vajna, K. Kittel, and T. Bercsey, “Designing the solution space for the Autogenetic Design Theory (ADT),” 11th Int. Des.
Conf. Des. 2010, pp. 1441–1450, 2010.
[99] K. Schwaber, “SCRUM Development Process,” in Business Object Design and Implementation, 1997, p. pp 117-134.

45
[100] J. Corbin and A. Strauss, Basics of qualitative research: Techniques and procedures for developing grounded theory.
Thousand Oaks, CA: SAGE PUBLICATIONS LTD.
[101] R. L. Baskerville and M. D. Myers, “Making IS research relevant to practice,” MIS Q., vol. 28, no. 3, pp. 329–335, 2004.
[102] G. I. Susman and R. D. Evered, “An Assessment of the Scientific Merits of Action Research,” Adm. Sci. Q., vol. 23, no. 4,
pp. 582–603, 1978.
[103] M. Shakir, “The selection of case studies: strategies and their applications to IS case study design: a focus on case
selection,” Res. Lett. Inf. Math. Sci., vol. 3, pp. 191–198, 2002.
[104] L. A. Palinkas, S. M. Horwitz, C. A. Green, J. P. Wisdom, N. Duan, and K. Hoagwood, “Purposeful Sampling for Qualitative
Data Collection and Analysis in Mixed Method Implementation Research,” Adm. Policy Ment. Heal. Ment. Heal. Serv.
Res., vol. 42, no. 5, pp. 533–544, 2015.
[105] P. Runeson and M. Höst, “Guidelines for conducting and reporting case study research in software engineering,” Empir.
Softw. Eng., vol. 14, no. 2, pp. 131–164, 2009.
[106] L. Mora, M. Deakin, A. Reid, and M. Angelidou, “How to Overcome the Dichotomous Nature of Smart City Research:
Proposed Methodology and Results of a Pilot Study,” J. Urban Technol., no. October, 2018.
[107] J. McGinn and N. Kotamraju, “Data-driven persona development,” Conf. Hum. Factors Comput. Syst. - Proc., pp. 1521–
1524, 2008.

46
Bijlagen
CVs hoofdonderzoekers

Mettina Veenstra is lector Smart Cities bij Saxion. Haar onderzoek kent twee pijlers: Kwaliteit van leven
verbeteren met smartcitytoepassingen; Sturing van overheidsbeleid op basis van data. In dit onderzoek ligt de
focus op de toepassingsgebieden mobiliteit, aantrekkelijke binnensteden en duurzaamheid. Zij heeft ruim 20 jaar
ervaring in toegepast onderzoek op het gebied van ICT en innovatie waarvan het grootste deel als hoofd van
onderzoeksgroepen bij het Telematica Instituut, de Hogeschool van Amsterdam en Saxion. Ze heeft – als
onderzoeker, initiator en projectmanager – deelgenomen aan diverse regionale, nationale en Europese projecten.
Zij is lid van de StandaardisatieAdviesgroep Smart Cities van de NEN , een van de trekkers van het landelijke
platform voor praktijkgericht ICT-onderzoek PRIO, stuurgroeplid van de KIA Maatschappelijk verdienvermogen en
lid van de board van de NWA-route Smart Liveable Cities. Ze heeft een achtergrond in kunstmatige intelligentie en
is in 1998 gepromoveerd aan de Rijksuniversiteit Groningen op een onderwerp op het gebied van Natural Language
Processing.

Geselecteerde publicaties:

• Veenstra, M. (2020). Data voor Vitale Binnensteden. Smart Cities; Enschede, Netherlands
• NEN (2020). Nederlandse Praktijkrichtlijn Urban Open Platforms. Delft: Stichting Koninklijk Nederlands Normalisatie
Instituut [Mettina Veenstra is een van de auteurs van deze richtlijn]
• PBL. (2019). Oefenen met de toekomst: Scenario’s voor stedelijke ontwikkeling, infrastructuur en mobiliteit in
Nederland voor 2049. Ruimtelijke Verkenning 2019. Planbureau voor de Leefomgeving. [Mettina Veenstra heeft
meegewerkt aan de ontwikkeling van het scenario Eigenwijk, zie p. 36 en p. 62]
• Geurs, K. T., Gkiotsalitis, K., Fioreze, T., Visser, G., Veenstra, M. (2018). The potential of a Mobility-as-a-Service
platform in a depopulating area in the Netherlands: An exploration of small and big data. Population Loss-The role of
Transportation and Other Issues, 2(1), 57-79.
• Primus, N.J.C., Effing, R., Groot, B., Veenstra, M.J.A., & De Vries, S.A. (2018). Innovative public participation in the 21th
century: Assessing initiatives with the I-Participation Index based on cases from municipalities in the
Netherlands. EGOV-CeDEM-ePart 2018 Conference. Danube University Krems, Austria, 3-5 September 2018. Edition
Donau-Universität Krems.
• van de Pas, J., van Bussel, G. J., Veenstra, M., & Jorna, F. (2015). Digital data and the city: An exploration of the
building blocks of a smart city architecture. Digital Information Strategies: From Applications and Content to Libraries,
185-198.
• Astrid van Aggelen, Victor de Boer, Maarten Groen, Wouter Meys, Jaap Reitsma, Wilco Bonestro and Mettina
Veenstra. (2016) Observe: Semantic Context-based Content Recommendation for Adaptive Public Screens. Abstract
accepted at ICT.Open 2016
• Jorna, F. & Veenstra, M. (2015). Setting up smart city ecosystems. Essential building blocks. In:Proceedings of CSC
2015.
• Veenstra, M., Wouters, N., Kanis, M., Brandenburg, S., te Raa, K., Wigger, B., & Moere, A. V. (2015, June). Should
Public Displays be Interactive? Evaluating the Impact of Interactivity on Audience Engagement. In Proceedings of the
4th ACM International Symposium on Pervasive Displays (pp. 15-21). ACM.

Prof. dr. Albert Meijer is hoogleraar public management aan de Universiteit Utrecht. Zijn onderzoek richt zich op
innovatie en het gebruik van nieuwe technologie in de publieke sector. Hij is wereldwijd bekend als een
vooraanstaand onderzoeker in het domein van e-government, transparantie, co-productie, smart cities en publieke
innovatie. Meijer is voorzitter van de permanente studiegroep e-government van de European Group for Public
Administration en hoofdredacteur van het wetenschappelijke tijdschrift ‘Information Policy’. Hij leidt het
internationale onderzoeksprogramma ‘Smart governance of Sustainable Cities’ en heeft bijdrages geleverd aan
twee grote Europese projecten (ROUTETOPA and MEDI@4SEC).

Geselecteerde publicaties
• Ruijer, E., & Meijer, A. (2020). Open government data as an innovation process: Lessons from a living lab experiment. Public
Performance & Management Review, 43(3), 613-635.

47
 • Ruijer, E., & Meijer, A. (2020). Open Government Data as an Innovation Process: Lessons from a Living Lab
Experiment. Public Performance & Management Review.
• Meijer, A., & De Jong, J. (2020). Managing value conflicts in public innovation: Ostrich, chameleon, and dolphin
strategies. International Journal of Public Administration, 43(11), 977-988.
• Meijer, A., & Potjer, S. (2018). Citizen-generated open data: An explorative analysis of 25 cases. Government
Information Quarterly, 35(4), 613-621.
• Meijer, A., & Thaens, M. (2018). Urban technological innovation: Developing and testing a sociotechnical framework
for studying smart city projects. Urban Affairs Review, 54(2), 363-387.
• Ruijer, E., Grimmelikhuijsen, S., & Meijer, A. (2017). Open data for democracy: Developing a theoretical framework for
open data use. Government Information Quarterly, 34(1), 45-52.

Dr. Mark Melenhorst is associate-lector bij het lectoraat Smart Cities van Saxion. Hij heeft 15 jaar ervaring in
toegepast onderzoek naar ICT-innovaties, waarvan de laatste vijf jaar in het sustainability- en smart citydomein. Hij
is senior onderzoeker geweest bij TU Delft (Multimedia Computing) en bij European Instititute for Participatory
Media, waar hij onderzoek deed naar persuasieve op IoT-data gebaseerde datavisualisaties om water- en
energiebesparing te stimuleren bij huishoudens. Naast inhoudelijke expertise op het gebied van smart cities,
datavisualisatie, persuasieve technologie en omgevingspsychologie, is hij een expert op het gebied van design
thinking, cocreatie en living labs. Hij heeft ruime ervaring met nationale en Europese innovatieprojecten
(SmartH2O, enCOMPASS, POWER, CUbRIK, Netmobil, PHENICX, etc.).

Geselecteerde publicaties
• Melenhorst, Mark & Koroleva, Ksenia & Novak, Jasminko & Micheel, Isabel. (2018). Methaporical Visualizations of
Energy Saving Impact for Behavioural Change: A Goal-Framing Approach and Results from an Online Crowd Evaluation.
Proceedings of the 5th European BEHAVE conference.
• Novak, J., Melenhorst, M., Micheel, I., Pasini, C., Fraternali, P., & Rizzoli, A. E. (2016). Behaviour change and incentive
modelling for water saving: first results from the SmartH2O project.
• Fraternali, P., Herrera, S., Novak, J., Melenhorst, M., Tzovaras, D., Krinidis, S., ... & Cellina, F. (2017, June).
enCOMPASS—An integrative approach to behavioural change for energy saving. In 2017 Global Internet of Things
Summit (GIoTS) (pp. 1-6). IEEE.
• Melenhorst, M., Novak, J., Micheel, I., Larson, M., & Boeckle, M. (2015, October). Bridging the utilitarian-hedonic
divide in crowdsourcing applications. In Proceedings of the Fourth International Workshop on Crowdsourcing for
Multimedia (pp. 9-14). ACM.
• Novak, J., Melenhorst, M., Micheel, I., Pasini, C., Fraternali, P., & Rizzoli, A. E. (2018). Integrating behavioural change
and gamified incentive modelling for stimulating water saving. Environmental Modelling & Software, 102, 120-137.

Dr. Laurence Guérin is practor burgerschap bij ROC van Twente en daarnaast lector wereldburgerschap bij de
Haagse Hogeschool. Haar onderzoek richt zich op (de didactiek van) burgerschapsvorming. Haar aandacht gaat
vooral uit naar de didactiek van deliberatie en debatteren en naar kritisch denken. Ze is projectleider van het NRO-
project werkplaats burgerschap ‘Democratisering van kritisch denken’.

Geselecteerde publicaties
• Guérin, L. (2018). Group problem solving as citizenship education: Mainstream idea of participation revisited
[proefschrift]. Enschede: Saxion Progressive Education University Press
• Van der Ploeg, P., & Guérin, L. (2016). Questioning participation and solidarity as goals of citizenship education. Critical
Review, 28(2), 248-264.
• Guérin, L. J. F., Van Der Ploeg, P. A., & Sins, P. H. M. (2013). Citizenship education: the feasibility of a participative
approach. Educational Research, 55(4), 427-440.

48