2/15/23

Mentale Verbeelding & Representaties Wat gaan we vandaag doen?

(H. 4 & H. 5) t!
heb
Mentale verbeelding (H4) ingen
r
Inleiding Cognitieve Psychologie • Visueel versus Auditief rva
le e
• Cognitive maps eptue jpt!
erc egr i
Maartje Raijmakers
! je p t b
Hoogleraar Cognitieve Ontwikkeling, UvA ilers er als je heb
o t ls
Ontwikkelingspsychologie / 2 sp
Representaties (H5)
t be er a
oud t bet
Science Museum NEMO • Het belang van
o nthbetekenis
u d
e ntho
• EmbodiedJ Cognition
Je o

1 2

Waarom is het classificeren van beelden zo

moeilijk?

https://www.zooniverse.org/projects/y-dot-liefting/snapshot-hoge-veluwe
3 4

3 4

Nieuwe technieken in de AI:

Nieuwe technieken in de AI: Alpha Zero Chess/Go Curiosity-Driven learning
• Deep learning NN Generaliseerbare
kennis!
• Reinforcement learning
• Geen openingsboek
• Leren door tegen
zichzelf te spelen
https://i.ytimg.com/vi/lb3_eRNoH_w/maxresdefault.jpg
https://en.chessbase.com/post/the-future-is-here-alphazero-learns-chess

5 https://www.youtube.com/watch?v=l1FqtAHfJLI 6

5 6

1
 2/15/23

Mentale verbeelding Vragen

• Welke kleur haar heeft Lucas Molleman?
• Hoe verwerken we informatie in een mentaal beeld?
• Lijkt de verwerking van een mentaal beeld op de verwerking van
perceptuele input?
• Welke hersengebieden zijn betrokken bij mentale verbeelding?
• Hoe ontwikkelen we mentale beelden van onze omgeving en
gebruiken we deze voor ons gedrag?

7 8

7 8

Filosofische vraag:
Mentale verbeelding Dat was lekker, ik
Body neem nog een
hap!
Mind
• Voorstelling in je hoofd / mentale verbeelding

Filosofische vraag Mentale beelden

• In hoeverre zijn de processen die ten
grondslag liggen aan mentale verbeelding te
vergelijken met de perceptie en
waarnemingsprocessen van voorwerpen die
Gedrag (spieren)
Neuronen (vuren) ? Bewustzijn

er wel echt zijn? Fysiologie (hormonen) Wereld

Beeld
9 Perceptuele waarneming
Geluid 10

9 10

Tegen het Dualisme Common-sense view:

I’m
scared
Lichaam en Geest / Mind - Body
Mentale verbeelding
• Epifenomeen (bijproduct) Appraisal
I’m
• Heeft geen causale rol James-Lange theory: scared

• Beleving is onbelangrijk voor gedrag

≠
Perceptuele waarneming (James, 1894)
• Heeft effect op neuronen
• Heeft een causale rol
• Geheel uitdrukbaar in fysische processen
https://www.youtube.com/watch?v=f0wetQwH9nY
Daniel Dennett
11

11 12

2
 2/15/23

Mentale verbeelding: Change Blindness Mentale verbeelding

Change Blindness: Mensen
zijn blind voor Teken een fiets!
veranderingen in beelden
(na een korte maskering)
Mentale verbeelding
Mensen slaan geen is geen foto in je hoofd!
geheel beeld op in
het geheugen Mentale verbeelding
Mentale verbeelding is is anders dan perceptie
anders dan perceptie

13 14

13 14

Mentale verbeelding Verbaal vs. Beeld

Werken de modaliteiten
Hoe sterk lijkt mentale verbeelding op de hetzelfde in perceptie en
mentaal?
perceptie?
Santa, J. L. (1977).
Spatial transformations
• Informatie van het beeld wordt op dezelfde manier of words and pictures.
verwerkt? Journal of Experimental
Psychology: Human
• Betrokkenheid van dezelfde hersendelen? Learning and Memory,
3(4), 418. From :
Anderson, Fig. 4.2

15 16

15 16

Woord
Verbaal vs. visueel Beeld
(Santa (1977) Verbaal vs. Visueel
• Informatie van het mentale beeld wordt op dezelfde manier
verwerkt als de perceptie?

• Voorafgaande is evidentie voor JA, het maakt uit in welke

modaliteit (beeld versus woord) de informatie gepresenteerd is.
• bv woord perceptie is temporeel, volgorde maakt veel uit!

Beeld: Iedere verandering van configuratie maakt uit.

Woord: Vooral volgorde van presentatie maakt uit
(en een array is sneller). Verandering van volgorde

17 18

17 18

3
 2/15/23

Deuschel, T., & Scully, T. (2016, September). On the Importance

of Spatial Perception for the Design of Adaptive User Interfaces.
Toepassingen in AI In Self-Adaptive and Self-Organizing Systems (SASO), 2016 IEEE
10th International Conference on (pp. 70-79). IEEE.
Visuele verbeelding

Deuschel, T., & Scully, T. (2016, September). On the Importance Adaptieve interfaces • Belangrijke functie van mentale verbeelding is het kunnen anticiperen op hoe
of Spatial Perception for the Design of Adaptive User Interfaces. objecten er vanuit een ander perspectief uitzien.
In Self-Adaptive and Self-Organizing Systems (SASO), 2016 IEEE • Mentaal roteren om perspectief te veranderen.
10th International Conference on (pp. 70-79). IEEE. “Visual stimuli are always
processed in a spatial
relation […]. E.g. when
memorizing geometric
shapes, also their relative
position is memorized”

19 20

19 20

Mentale rotatie Mentale rotatie

• Als we een mentale verbeelding hebben die functioneel is (als we het kunnen roteren zoals
we een beeld kunnen roteren), zouden RT corresponderen met de hoek van rotatie.

21 22

21 22

• Brooks, L. R.
(1968). Spatial Mentaal Scannen
Mentaal scannen - Brooks (1968). and verbal
components of
the act of recall. • Brooks (1968)
Canadian Journal
Scan het figuur (begin bij *) en of
wijs naar YES op de slide bij een Psychology/Revue
uiterste boven- of onderhoek,
naar NO op de slide bij andere
Beeld canadienne de
psychologie,
22(5), 349.
YES NO
hoek.

Zeg van ieder woord of het een

zelfstandig naamwoord YES is of Verbaal
niet NO. Pointing Tapping Vocal
“A bird in the hand is not in the bush.”
23 24

23 24

4
 2/15/23

Mentaal scannen Mentale verbeelding

Resultaten Hoe sterk is mentale verbeelding gerelateerd aan

• Sannen van een beeld interfereert het meest met spatiële de perceptie?
taak (pointing)
• Scannen van een zin interfereert meeste met een vocale • Informatie wordt op dezelfde manier verwerkt?
taak. • Daar is allerlei evidentie voor!
Conclusie • Betrokkenheid van dezelfde hersendelen?
• Mentale beelden zijn bepaald door het type informatie (beeld, • Daar is allerlei evidentie voor!
verbaal)
• Verwerking van informatie interfereert met gedrag
25 26

25 26

Neurale basis mentale verbeelding Neurale basis mentale verbeelding

• Visuele verbeelding -> parietale cortex, occipital cortex en temporale cortex • Vaak zijn vergelijkbare gebieden in de hersenen actief bij
de perceptie en de mentale verbeelding
Mental rotations
Maar

• Als het gaat om de primaire visuele gebieden is dat vooral

zo als het gaat om kleine details en minder bij globale
kenmerken.
Huizen vs Gezichten • Wang, L., Cohen, A. S., & Carr, M. (2014). Spatial ability at two scales of representation: A
meta-analysis. Learning and Individual Differences, 36, 140-144.
Fusion Face Area (FFA)
Parahippocampal place area (PPA)
27

27 28

Cognitieve kaarten
Pauze!
• Belangrijke functie mentale verbeelding is de ruimtelijke structuur van onze
omgeving begrijpen en onthouden
• Cognitive maps: onze mentale representaties van de wereld/onze omgeving

30

29 30

5
 2/15/23

• Fiets de campus af
• Ga links.

Cognitieve kaarten Ga onder het spoor door.

Fiets 100 meter en ga links.

allocentric
• Route map/routekaart representation
• Pad dat specifieke plekken aangeeft zonder
ruimtelijke informatie
• Kan ook verbaal zijn: “eerst rechts, dan links, egocentric
…” representation

• Survey map/overzichtskaart
• Ruimtelijke afbeelding van de omgeving

Yes, I am wearing a bush.

Tversky and Lee
31 (1998) 32

31 32

Combineren van
egocentrische en
allocentrische Cognitieve kaarten
representatie is moeilijk Global landmark (veraf, bv radiomast)
• Rotatie maakt Locale landmark (dichtbij)
orienteren moeilijker, bv
een kaart die altijd
noord naar boven heeft.

Ruddle, R. A., Volkova, E., Mohler, B., & Bülthoff, H. H.

(2011). The effect of landmark and body-based sensory
information on route knowledge. Memory &
Cognition, 39(4), 686-699.

allocentric representation
33 oefening, (o) heen en (r) terug 34

33 34

Cognitieve kaarten Neurale basis cognitieve kaarten

VR-bril (walk) versus joystick (rotate)
Egocentric Allocentric
Heeft met ruimtelijke
orientatie te maken!

Ruddle, R. A., Volkova, E., Mohler, B., & Bülthoff, H. H.

(2011). The effect of landmark and body-based sensory
information on route knowledge. Memory &
Cognition, 39(4), 686-699. Heeft met geheugen
te maken!
oefening, (o) heen en (r) terug 35 36

35 36

6
 2/15/23

Neurale basis cognitieve kaarten Misoriëntatie

Wat is zuidelijker:
New York of Rome?

Maguire, E. A., Gadian, D. G., Johnsrude, I. S., Good, C. D., Ashburner, J.,
Frackowiak, R. S., & Frith, C. D. (2000). Navigation-related structural change Globale kaarten zijn beperkt gecombineerd met lokale details
in the hippocampi of taxi drivers. Proceedings of the National Academy of
Sciences, 97(8), 4398-4403. 37 38

37 38

Mentale verbeelding vs. Welk punt wil Anderson maken in H4?

perceptuele verwerking
Body Mind
• Processen overlappen, maar zijn niet hetzelfde
• Bij perceptuele verwerking altijd ook vroege visuele processen
actief Mentale beelden
• Mensen die blind zijn, maar wel visuele verbeelding hebben, missen
vooral vroege perceptuele verwerking
Gedrag (spieren) Bewustzijn
• Bij mentale verbeelding altijd ook hogere orde processen Neuronen (vuren)
• Mensen die problemen hebben met visuele verbeelding, maar niet blind
zijn missen iets in hogere orde verwerking van perceptuele input
Fysiologie (hormonen) ≈ Wereld
Beeld
39
Geluid 40

39 40

Conclusie: Wat onthouden we? Het belang van betekenis.

Mentale Verbeelding (H. 4) 1. Na verwerking van een talige boodschap herinneren we ons
meestal de inhoud en niet de precieze woorden
Ons denken en de perceptie zijn nauw verweven! 2. Als mensen een beeld zien, dan kijken ze vooral naar onderdelen
die ze betekenisvol achten.
Representaties (H. 5) 3. Als je iets een betekenis kan geven dan herinner je het beter
Embodied cognition: Ons denken en ons lichaam zijn
nauw verweven!

41 42

41 42

7
 2/15/23

Geheugen Vraag
“The procedure is actually quite simple. First you arrange items into different
groups. Of course, one pile may be sufficient depending
on how much there is to do. If you have to go somewhere else due Why would you go somewhere else ?
to lack of facilities that is the next step, otherwise you are pretty well set. It
is important not to overdo things. That is, it is better to do 1. there is much to do
too few things at once than too many. In the short run this may not seem
important but complications can easily arise. A mistake can be expensive as 2. due to lack of facilities
well. At first the whole procedure will seem complicated. Soon, however, it 3. one pile is not sufficient
will become just another facet of life. It is difficult to foresee any end to the
necessity for this task in the immediate future, but then one never can tell.
After the procedure is completed one arranges the materials into different
groups again. Then they can be put into their appropriate places. Eventually
they will be used once more and the whole cycle will then have to be
repeated. However, that is part of life.”
(Bransford and Johnson, 1972, p. 722)
44 45

44 45

In overeenstemming met het idee van de propositionele representaties)

Propositional Representations Computermetafoor

• De zinnen worden op een abstracte manier gecodeerd (bv in LISP). Hamburger-model
“The procedure is actually quite simple. First you arrange items into different
groups. […] it is better to do too few things at once than too many” Input
Propositions Perceptie
• A. (is simple: procedure) “The procedure is actually quite simple”
• B. (arrange: items, groups) “You arrange items into different groups” The real stuff!
• C. (better: too few things, too many things) “better to do Computation/Software Cognitie
too few things at once than too many”
• Etc.
Actie
• Volgens de propositionele analyse herinneren mensen een complexe zin als een Output
verzameling van abstracte betekenis-eenheden die de zinnen representeren.

46 47

46 47

Amodal hypothesis Amodal hypothesis

• Alle modaliteiten zijn beeld • Alle modaliteiten zijn beeld
via de betekenis aan via de betekenis aan
elkaar gekoppeld. elkaar gekoppeld.

motor betekenis woord motor betekenis poes

geluid “miauw”

48 49

48 49

8
 2/15/23

Belang van perceptie voor betekenis Embodied Cognition

(alternatief voor het idee van de propositionele/amodale representaties) • Vertel eens over je laatste tandartsbezoek ………
Dual-code theory (Paivio’s, 1971, 1986)
• We representeren kennis in gecombineerde verbale en visuele codes.

(nieuwe variant van hetzelfde idee) Embodied cognition.

Perceptual symbol system (Barsalou et al., 2003)
• Als mensen een zin begrijpen, vormen ze een perceptuele representatie
van die zin.

50 51

50 51

Embodied Cognition Multimodal hypothesis

Barsalou et al. (2003)
Ons denken en ons lichaam zijn nauw verweven... • Betekenis wordt poes
Actie gevormd door de
koppeling van alle
modaliteiten.
• Er is een
mechanisme voor
het vertalen tussen
modaliteiten
Cognitie Perceptie • Geen betekenis
zonder de miauw
modaliteiten
Als mensen een zin begrijpen dan hebben ze een perceptuele 53
52
representatie van de zin gevormd. Barsalou et al. (2003)

52 53

https://www.youtube.com/watch?v=n9xVC76PlWc
Embodied Cognition & Toepassingen Embodied Cognition & Toepassingen
Wat te doen met abstracte betekenissen waaraan geen Verhoudingen: 1:2 =. 4:8
directe perceptuele of motorische ervaring gekoppeld
is?

Maak gebruik van lichamelijke en perceptuele

ervaringen en reacties om abstracte begrippen te leren.
Mathematical Imagery Trainer
Hutto, D. D., Kirchhoff, M. D., & Abrahamson, D. (2015). The enactive roots of STEM: Rethinking
educational design in mathematics. Educational Psychology Review, 27(3), 371-389.
54 55

54 55

9
 2/15/23

Make Robots Talk: Piek Vossen (AI-VU-Amsterdam)

Conceptuele kennis: Overzicht
• Semantische netwerken • Semantische Netwerken
• Schema’s • Pragmatische kennis (context, plaats, tijd)
• Uitwisseling kennis beschikbaar op internet
• Gebruikmakend van krachtige leertechnieken deep-
learning NN, reinforcement learning
(spraakherkenning-Google, object herkenning, etc.)
• Maakt gebruik van meerdere leersystemen

http://makerobotstalk.nl/robotleolani/
56 57

56 57

Concept = mentaal idee Moeilijk te automatiseren concept (“visuele situatie”)

• Diagnosiseren van symptomen als
een ziekte
• Interpreteren van een schilderij als
een Picasso
• Classificeren van een
gesprekspartner als een
charmante persoon
• Categoriseren van een persoon als
een vriend of vijand

https://commons.wikimedia.org/wiki/File:Juan_gris,_ritratto_di Mitchell, M. (2017). Active Interpretation of Visual Situations. The AAAI 2017 Spring Symposium on
58
_pablo_picasso,_1912,_01.jpg Science of Intelligence: Computational Principles of Natural and Artificial Intelligence Technical Report SS-17-07.59

58 59

Moeilijk te automatiseren concept (“visuele situatie”) Concepten

De meest rudimentaire vorm van concepten:

(Zie Hoofdstuk 2)
Categorische perceptie: Waarnemen van de
(continue) wereld in categorieën.
http://splab.net/APD/U100/index-e.html

Goldstone, R. L., & Hendrickson, A. T. (2010). Categorical

perception. Wiley Interdisciplinary Reviews: Cognitive Science,
1(1), 69-78.
Mitchell, M. (2017). Active Interpretation of Visual Situations. The AAAI 2017 Spring Symposium on
60
Science of Intelligence: Computational Principles of Natural and Artificial Intelligence Technical Report SS-17-07. 61

60 61

10
 2/15/23

Categorisatie: Bongard problemen

Waarom Concepten?
The contents of the six boxes on Concept
the left all have something in • Mentaal idee
common. The six on right also all • Het concept hond refereert aan mentale
toestanden die gedachten aan honden
have something in common, karakteriseren.
which is the opposite of the ones
on the left. What is it? Waarom concepten?
• Kennis van eerdere waarnemingen kan https://pxhere.com/en/photo/1457983
samengevoegd worden
• Genereert voorspellingen over de wereld
• https://en.wikipedia.org/wiki/Bongard_problem • Goede, efficiënte communicatie
• http://www.foundalis.com/res/bps/bpidx.htm
62 63

62 63

Concepten Hoe is kennis georganiseerd in concepten?

Een vader en zijn zoon krijgen een auto-ongeluk. De vader is op slag Semantisch netwerk: Amodale representatie
dood, de zoon is zwaargewond. De zoon wordt per ambulance naar het - Representatie op abstract niveau,
ziekenhuis gebracht. De zoon wordt naar de operatie-kamer gereden. losgekoppeld van directe ervaring
De chirurg kijkt naar het slachtoffer en zegt: "Ik kan die jongen niet
opereren, want het is mijn zoon." Rara, hoe kan dat? beeld

Concept
Dit raadsel werkt alleen door stereo-typering motor
poes
poes

Impliciete stereotype aanname: “Chirurg isa man” maakt dat het

moeilijk is het antwoord te vinden. “miauw” Amodal

Conceptuele kennis heeft ook onbedoelde invloed

64 65

64 65

Superordinate
category

Semantisch Netwerk Semantisch Netwerk

Abstractie
• Alleen relevante aspecten worden onthouden
Basic
category
has windows Generalisatie has windows

• Goede generalisatie naar nieuwe situaties

Hiërarchische organisatie
subordinate
• Superordinate – Basic – Subordinate categorieën category
voertuig – auto – sportauto

File:Google Street View camera cars in Hong Kong 2009.JPG https://commons.wikimedia.org/wiki/File:Net21.jpg https://commons.wikimedia.org/wiki/File:Net21.jpg
66 https://commons.wikimedia.org/wiki/File:Net21.jpg
67

66 67

11
 2/15/23

Superordinate
Superordinate niveau
Wat is er speciaal aan het basic niveau?
1. Meest abstracte niveau
waarop objecten vergelijkbare
Voorkeur
vorm hebben
Basic
BASIC NIVEAU 2. Ontwikkeling
Eerste woorden die geleerd
worden (bv: hond, bal, stoel)
3. Taal
Natuurlijk niveau waarop
objecten benoemd worden
Subordinate niveau
Subordinate
68 69

68 69

Superordinate
category

Semantisch Netwerk Expertise Langzaamste

categorisatie

Hiërarchische organisatie Empirische resultaten

• Superordinate – Basic – Subordinate categorieën
voertuig – auto – sportauto Basic
category
has windows • Snel:
Niet monotone relaties direct bereikbaar in Snelste categorisatie
• A truck is a car geheugen
• A car has 4 wheels (vogel, hond, muis)
subordinate
• But, a truck has more than 4 wheels!
category
• Langzaam:
Psychologische consequentie redeneerstappen nodig
• Hoe meer stappen je moet maken, hoe trager het (roodborstje, merel, arend)
antwoord.
Tanaka, J. W., & Taylor, M. (1991). Object categories and expertise: Is
https://commons.wikimedia.org/wiki/File:Net21.jpg the basic level in the eye of the beholder?. Cognitive psychology, 23(3),
https://commons.wikimedia.org/wiki/File:Net21.jpg
70
457-482. 71

70 71

Empirische bevindingen Semantisch netwerk

• Het afleiden van feiten die niet direct
geassocieerd zijn aan een concept (maar
wel indirect) duurt langer. • Amodale representatie beeld

• Als je een feit frequent tegenkomt dan

has windows • Alleen relevante aspecten worden onthouden
Concept
wordt het direct bij het concept • Hiërarchische structuur motor
poes
poes

opgeslagen en hoef je het niet af te leiden. • Goede generalisatie naar nieuwe situaties
• Hoe frequenter een feit over een concept
voorkomt hoe sterker het met het concept • Verklaart enkele resultaten van “miauw”
Amodal
geassocieerd wordt. Hoe sterker psychologische experimenten
geassocieerd, hoe sneller gecontroleerd of
het correct is.

https://commons.wikimedia.org/wiki/File:Net21.jpg
72 73

72 73

12
 2/15/23

Schema’s (default waarden van een concept voor specifieke karakteristieken) Schema’s
• Parts: wielen, stuur, …
Auto
• Isa: Voertuig attribuut waarden

• Parts: wielen, stuur, … • Isa: Voertuig

• Materialen: blik, rubber, …
• Functie: personenvervoer superset

• Vorm: aerodynamisch https://gizmodo.com/inside-the-office-of-albert-einstein-5902978

• Grootte: 4500 x 1800 mm Default waarden
• Geheugen wordt sterk beïnvloed
File:Google Street View camera cars in Hong Kong 2009.JPG door de default waarden van een
categorie
74
Empirische evidentie: Wat heb je allemaal gezien?
Je herinnert je eerder de objecten die default zijn (bv boeken)
Je vergist je eerder met afwezigheid van default objecten
(bv bureau lamp).
75

74 75

Concepten vs Categorieën Concepten bepalen categorieën of vice versa?

Concept • Primair interne mentale concepten
– Externe categorieën zijn het eindproduct van het toepassen van interne
• Mentaal idee
concepten op geobserveerde entiteiten
• Het concept hond refereert aan mentale toestanden die gedachten – Concepten organiseren ongestructureerde wereld (Lakoff)
aan honden karakteriseren.
– Aangeboren concepten van levend/levenloos dingen?

Categorie
• Een verzameling entiteiten die samen gevoegd worden • Primair externe categorieën
– Concept leren: Inductief creëren mentale structuren
• De categorie honden refereert aan alle entiteiten in de wereld die
correct gecategoriseerd worden als honden.

76 77

76 77

Ter afsluiting: leerdoelen Volgende colleges

• Belang van cognitieve psychologie voor KI uitleggen
• Gebruik van kennis voor toepassingen (maps/educatieve software)
• Algoritmes baseren op natuurlijke (leer-)processen (deeplearning
NN/reinforcement learning) • Lucas Molleman
• Maandag 20 februari – Communiceren van onderzoek
• Theorieën van cognitie en wetenschappelijk onderzoek
• Mentale verbeelding/Dualisme/Embodied Cognition/ Amodal vs Multimodal
hypothesis

• Realisatie van cognitieve processen in het brein.

• Mentale verbeelding in het brein

78 79

78 79

13