Discours

als multimodale interactie

prof. dr. Paul Sambre

discoursanalyse en Italiaanse taalkunde
MIDI – Multimodality, Interaction & Discourse

1 Taal en Discours Faculteit Letteren

vooruitblik
1. definitie multimodaliteit en kernbegrippen

2. multimodale theorieën

3. een functioneel basismodel

4. multimodaal product en proces

5. elektronisch discours

6. naar een overkoepelend semiotisch model

 1. Definities
Multimodaliteit en multimodale kernbegrippen
1.1 multimodaliteit
1.2 mode
1.3 canvas
1.4 medium
1.5 multimodale tekst en discours
1.6 tekst en genre
3
 1.1 definitie multimodaliteit
• semiose, de sociale realisatie van betekenis, wordt gerealiseerd via meerdere
semiotische hulpmiddelen en kanalen (semiotic modi, resources and
channels), elk met eigen beperkingen en mogelijkheden
(affordances)
• betekenis ligt dus niet besloten in het taalsysteem of geest van de individuele
taalgebruiker,
maar maakt binnen menselijke interactie en communicatie
deel uit van een breder multimodaal geheel
• betekenis is niet alleen een product, maar ook een sociaal proces dat
plaatsvindt in een communicatieve situatie
• producten en processen wijzen op een geschiedenis van deze producten, met
een specifiek design, een distributie en receptie van multimodale producten
All interactions are multimodal. […] Multimodality steps Multimodality is a way of charactering communicative
away from the notion that language always plays the situations (considered very broadly) which rely upon
central role in interaction, without denying that it often does. communications of different ‘forms’ of communication to be
(Norris 2004: 3) effective. (Bateman et al. 2017)

Norris, S. 2004. Analyzing Multimodal Interaction. A Methodological Framework. London: Routledge.

 1.1.1 de shift van de multimodale grammatica
traditionele formele taaltheorie
• object van de taalkunde:
geschreven teksten
(veeleer dan gesproken)
• syntaxis
• modulariteit
• zinsgrammatica verbindt
woordbetekenissen via syntaxis
• syntaxis is autonoom t.o.v. andere
dimensies zoals fonetiek,
betekenis, gebruik
 1.1.2 de shift van de multimodale grammatica
traditionele taaltheorie
• object van de taalkunde:
geschreven teksten
(veeleer dan gesproken)
• syntaxis en modulariteit
• abstracte zinsgrammatica organiseert
woordbetekenissen
• autonomie syntaxis t.o.v. andere
dimensies als fonetiek, betekenis, gebruik
• semiotiek als marge
• beperkte aandacht voor context, genre, actie,
lichamen, interactie, technologie, sociale,
culturele en historische context
multimodale betekenistheorie
• object van de taalkunde:
communicatie in sociale processen
(inclusief niet-gesproken/niet-geschreven taal)
• integratie van functie en betekenis
• meerdere waarnemingskanalen:
zien, horen, voelen, handelen
• holistische communicatie,
concrete betekenis
• semiotiek als centrum
• belang van sociaal-institutionele en historische
context, actie, en interactie tussen genres en
tussen gespreksdeelnemers, lichamen en
voorwerpen
 1.2 semiotische modus (Engels: mode) -
algemeen
modi slaan op de materiële semiotische onderdelen
• maak hierbij even abstractie van
van en relaties tussen • de participanten die deze modes
• conventioneel gebruik van taal in geschreven of gebruiken
gesproken vorm
• intentie
• visuele elementen,
• doel van de communicatie
zoals foto’s en lay-out, maar ook blikken, gebaren
en lichaamshouding • gebruik van modes door
• andere zintuiglijke ervaringen (horen, voelen, gemeenschap van gebruikers
ruiken)
• de daarmee verbonden
• objecten, zgn. materiële artefacten
zoals gebruiksvoorwerpen, maar ook architectuur interpretatie
en de lichamen van participanten
• wie wilde iets meedelen aan wie en
• contextuele en culturele settings met hun eigen
materialiteit en lokale en culturele geschiedenis in
waartoe?
de private of publieke ruimte van de interactie
Bateman, John, Wildfeuer, Janina Tuomo Hiipala (2017). Multimodality. Foundations, Research and Analysis. A
7 Problem-Oriented Introduction. Berlin: de Gruyter.
 1.2.1 Modes - subtypes
linguistic talig

haptic aural haptisch auraal

spatial gestural spatiaal gestueel

visual visueel

8
 1.2.2 Voor een beter begrip:
Jan Blommaert over multimodaliteit
• bekijk deze reflectie
over multimodaliteit
in overeenstemming met vorige slide
• illustratie over visuele affordances
van grafische vorm en layout in boek
• paragraaf, titel, witregel, secties,
foto’s als betekeniseenheden
• communicatie gebruikt en
combineert om het even welke
resource om te communiceren en
sociale betekenis te construeren

9
 1.2.3 technische definitie modus - mode
• geordende set van vormelijke
resources met eigenschappen van
betekenisvorming…
• die doorheen de tijd gestalte heeft
gekregen door sociaal en cultureel
georganiseerde communities
• de combinatie van de materialiteit
ervan leidt tot een canvas
• dat binnen een medium wordt
ingezet
• met mogelijkheden en beperkingen
(affordances)
Stöckl, Hartmut (2020). Linguistic multimodality – multimodal inguistics: a state-of-the-art sketch. In Janina Wildfeuer et
10 al. (2017). Multimodality. Disciplinary Thoughts and the challenge of diversity, 41-68. Berlin: de Gruyter.
 1.2.4 mode - voorbeelden
vormen waaraan betekenis wordt ontleend
• schrijven • schilderen • film – videoclip - game
• vorm • vorm • vorm
• karakters • lijnen • storytelling montage
• fonts • vormen • ondertiteling, vertaling
• layout • texturen • enactment - kostuum
• kleur • kleuren • focus – camerabeweging
• drager zoom
• ruimtelijke organisatie
• spacing enz. enz. • gesture
• enz.

daarover later meer…

11
 1.2.5 Modes als
betekenis
• dimensies van waaruit je een sociale
betekenis kan construeren
• voorbeelden van dimensies en
factoren binnen die modi

12
1.3 Semiotic canvas = interactietypes + media +
modes
• definitie
• de plaats/locus
voor semiotische activiteit
• plaats waarin de vorming van
betekenis plaatsvindt
• verwijzen naar de soorten interactie
die plaatsvinden met de modes en
media
• abstract begrip: kijkt naar de relatie
tussen media en participanten
• het gaat hier niet over de inhoud van
het semiotische materiaal (bv.
lesinhoud)
13
 1.3.1 canvas concreet voorbeeld - stripverhaal

Suske en Wiske eigenschappen

• statisch - boekvorm
• 2D
• permanent
• lezer als observator

• maak abstractie
van de thematische inhoud, van de
3D personages in de strip

14
 1.3.2 canvas concreet voorbeeld - vergadering

fysieke vergadering e-vergadering

15
 1.3.2 canvas concreet voorbeeld - vergadering

fysieke vergadering e-vergadering

• dynamisch • dynamisch
• 3D • 2D
• voorbijgaand • voorbijgaand
• participant • participant

• media • media
• computer, white board, papier • softwareapp
(ik neem even niet mee dat je naar (ik neem even niet mee dat je naar
een foto kijkt!) een screenshot kijkt!)
16
 1.3.3 canvas - dimensies
statisch dynamisch
2D 3D
permanent voorbijgaand | transient
participant observator

17
 1.3.4 canvas : illustratie complexe setting

Bateman, John, Wildfeuer, Janina Tuomo Hiipala (2017). Multimodality. Foundations, Research and Analysis. A
18 Problem-Oriented Introduction. Berlin: de Gruyter.
 1.4 Medium
• biotoop voor semiose waarin
verschillende geselecteerde
semiotische modi betekenis
genereren
• historisch stabiele site voor
ontplooiing en distributie van
semiotische modi

Bateman, John, Wildfeuer, Janina Tuomo Hiipala (2017). Multimodality. Foundations, Research and Analysis. A
19 Problem-Oriented Introduction. Berlin: de Gruyter.
 1.5 multimodale tekst en multimodaal discours
• tekst als gebruik van semiotische
modi binnen een medium met een
bedoelde betekenis
• tekst in een communicatieve situatie
waarin deze betekenis wordt
geactualiseerd in een canvas
noemen we discours
20
• gaat verder dan
conventionele visie op tekst
• geschreven en/of gesproken
+ layout
+ grafische vormgeving
+ lineaire of niet-lineaire structuur
• artefact – object
• performance
• analyse van gebruikscontexten
(offline en online ruimte voor
consumptie en interactie)
 voorbeelden tekst en discours

21
22
 2. Multimodale theorieën

Een verkennende blik

op theoretische benaderingen
en hun multimodale objecten

23
 2. Multimodale theorieën

2.1 sociale semiotiek • theoretische assumpties

en systemisch-functionele • recente illustraties
taalkunde
2.2 interactieanalyse
2.3 multimodale etnografie
en semiotic landscapes

24
 Multimodale taaltheorie en benaderingen

2.1 sociale semiotiek • object

• multimodale artefacten, veelal teksten
en systemisch-functionele
• interactie visuele en talige modi
taalkunde • onbelichaamde aspecten van interactie
2.2 interactieanalyse
• doel
2.3 multimodale etnografie • typologie keuzes
en semiotic landscapes • analyse van agentiviteit en macht
• uiteenlopende contexten
• kunst
• architectuur
• wiskunde, wetenschap
• reclame, marketing
• leermethodes en -processen

25
 2.1.1 grammatica van visueel design
• beelden als een grammatica
met descriptieve regels
• functionele en structuralistische
inspiratie bij Michael Halliday,
Jakobson en Roland Barthes
• beelden hebben betekenis via
• compositionele structuur
• kleurgebruik
• deze grammatica heeft betekenis
binnen een sociale groep of cultuur

26
 2.1.1 grammatica van visueel tekstdesign
• beelden als een grammatica
met descriptieve regels
• functionele en structuralistische
inspiratie bij Michael Halliday,
Jakobson en Roland Barthes
• beelden hebben betekenis via
• compositionele structuur
• kleurgebruik
• deze grammatica heeft betekenis
binnen een sociale groep of cultuur

27
 2.1.2 functionele indeling

28
 2.1.3 functionele indeling

29
 2.1.4 beeld en modaliteit (niet behandeld)
• beeldeigenschappen kunnen
verwijzen naar realiteit als feitelijke
waarheid of buitenwerkelijke fictie
• bv. iconische schematiciteit
• bv. kleurschakering

30 McCloud, Scott (1994). Understanding Comics. New York: Harper Collins.

31 McCloud, Scott (1994). Understanding Comics. New York: Harper Collins.
 2.1.5 toepassing: analyse leermaterialen en
leerproces
• leerproces als multimodaal gebeuren
• transmissie van informatie gebeurt met
taal en visuele informatie, bv. handboek,
bordschema, lesnotities
• receptie door leerlingen in notities
impliceert cognitieve verwerking via
multimodale selectie en adaptatie
• gesproken, geschreven en getekende
tekst heeft verschillende functies
• analyse van leerprocessen moet
dynamiek van multimodale adaptatie
meenemen in studie leerprocessen
Carey Jewitt , Gunther Kress et al. (2001) Exploring Learning Through Visual, Actional and Linguistic Communication:
32 The multimodal environment of a science classroom, Educational Review, 53:1, 5-18.
 2.1.6 interactieve relaties

33 Kress, G., Van Leeuwen, Th. (2006). Reading Images. The Grammar of Visual Diesign. London: Routledge.
 2.1.6 interactieve relaties

34 Kress, G., Van Leeuwen, Th. (2006). Reading Images. The Grammar of Visual Diesign. London: Routledge.
 2.1.6 interactieve relaties

35 Kress, G., Van Leeuwen, Th. (2006). Reading Images. The Grammar of Visual Diesign. London: Routledge.
36 Kress, G., Van Leeuwen, Th. (2006). Reading Images. The Grammar of Visual Diesign. London: Routledge.
 Facultatieve pauze met founding father Günther
Kress

37
 Multimodale discoursanalyse

2.1 sociale semiotiek • face-to-face in situ interactie

en systemisch-functionele • gebruik van modi door participanten
taalkunde
• inspiratiebronnen
2.2 interactieanalyse
• conversatieanalyse
2.3 multimodale etnografie • interactionele sociologie
en semiotic landscapes
• alledaagse en institutionele interactie
• sequentiële actie: huidige sociale
handeling bestudeerd m.b.t.
voorafgaande en volgende handeling
• belichaamde – embodied dimensies

38
 2.2.1 belangrijke concepten in de CA
• turntaking A: kop koffie
• turn construction unit TCU B: yep
• sequentiële organisatie A: tot ziens
B: doeoei
• adjacency pair
aangrenzend paar A: hallo
• three-part sequence b: hej
drieledige sequentie
A: mee pintje drinken?
B: nee joh corona verdomme
A: ok gelijk hebde
39
 2.2.2 illustratie: multimodaliteit en muzikale
conceptualisering
• embodied resources
belichaamde dimensies in interactie
• gestiek
gesture
• blikrichting
gaze
• gelaatsuitdrukking
facial expression
• lichaamshouding
body posture
• hoofdbewegingen
head movement
• afstand
proxemics
• prosodie en intonatie
prosody
Sambre, P. (2018). Doing multimodal intersubjectivity in music: embodied affordances in digital horn hangouts. In: L-A.
40 Cougnon, B. De Cock, C. Fairon (Eds.), Language and the new (instant) media, (133-147). (Cahiers du CENTAL, 9).
Louvain-la-Neuve: Presses Universitaires de Louvain-la-Neuve. ISBN: 978-2-87558-697-1.
 2.2.3 Elan als annotatietool
• principes • screenshot
• tiers – parameters
• sequentiële analyse – duur
• clusters en correlaties bekijken
tussen features

41
 Multimodale taaltheorie

2.1 sociale semiotiek • doel: culturele en sociale praktijk van een

en systemisch-functionele bepaalde speech community duidelijk maken
taalkunde • studie van instellingen en actor-
netwerkrelaties in gesitueerde ontmoetingen
2.2 interactieanalyse (situated encounters) in de publieke ruimte
2.3 multimodale etnografie • aandacht voor ruimtelijke – architecturale –
urbane settings
en semiotic landscapes
• aandacht voor relatie tussen
offline en online media/practices via
gedetailleerde thick transcripties van lived
experience
• aandacht voor superdiversiteit en semiotic
landscapes

42
 2.3.1 Ben Rampton
etnografie binnen de sociolinguïstiek
• reikt verder dan sociale aspecten uitgedrukt
worden taal ; hier gaat het om hoe taal sociale
relaties representeert maar ook transformeert
• rol van taal in sociale processen
• sociale groepen in onderwijs
• families en superdiverse maatschappij
• rol van sociale media op
samenlevingsvormen
• alledaags discours biedt inzicht in het DNA van
het sociale leven
• analytische inzichten kunnen tools aanreiken
om sociaal leven te verbeteren vaak met een
sociale (linkse) agenda

43
 2.3.2 illustratie: translanguaging in superdiverse
shops

analyse van gebruikte talen en taalgebruik

+ visuals + (private en publieke) ruimte

Jackie Jia Lou (2017) Spaces of consumption and senses of place: a geosemiotic analysis of three markets in
44 Hong Kong, Social Semiotics, 27:4, 513-531, DOI:10.1080/10350330.2017.1334403
3.
functioneel basismodel
voor analyse van
multimodale communicatieproducten
Genre and Modality model
Delin & Bateman (2002)

3.1 doelstellingen model

3.2 vijf structuurniveaus
3.3 kritische evaluatie
 3.1 doelstellingen
• beschrijving en typologie aanreiken
van multimodale discoursgenres

• modi blijven hier beperkt tot taal/tekst en visuele gegevens

• tekst, lay-out
• tekeningen, afbeeldingen, diagrammen
• later model: ook dynamische genres als video, film

46
Delin, J., Bateman, J. 2002. Describing and critiquing multimodal documents.
Document Design 3: 141: 155.
 3.1 doelstellingen
• beschrijving en typologie aanreiken
van multimodale discoursgenres

• GeM model = genre and modality

• genres: papier, print media, elektronische documenten
• overzicht modaliteiten waaraan modi moeten voldoen

• modi blijven hier beperkt tot taal/tekst en visuele gegevens

• tekst, lay-out
• tekeningen, afbeeldingen, diagrammen
• later model: ook dynamische genres als interactieve website, sociale media, video, film
Delin, J., Bateman, J. 2002. Describing and critiquing multimodal documents.
47 Document Design 3: 141: 155.
 3.2 structuurniveaus (5) in GeM

3.2.1 inhoudsstructuur (content structure)

3.2.2 retorische structuur (rhetorical structure)
3.2.3 layout-structuur (layout structure)
3.2.4. navigatiestructuur (navigation structure)
3.2.5 linguïstische structuur (linguistic structure)

48
Delin, J., Bateman, J. 2002. Describing and critiquing multimodal documents.
Document Design 3: 141: 155.
 Wat zie je?

Renkema, p. 79

49
 3.2.1 inhoudsstructuur

• ruwe data waaruit een document is opgebouwd

• toont hiërarchische relaties tussen inhoudelijke onderdelen
• maakt met andere woorden inhoudelijk geen onderscheid tussen taal en beeld

50
 3.2.1 inhoudsstructuur

jan-van-gent

naam eigenschappen gedrag grootte

voorkomen

groeifase volwassen voedsel voortplanting …

nest kuikens

51
3.2.2 retorische structuur
• opbouw van de argumentatie
• tekstuele relatie tussen de
segmenten
• illustratie van een stelling
• sequentiële tijdsrelaties

52
3.2.3 layout-structuur
• positie
• bv. naam van de vogel bovenaan
• toont belangrijkste info
• opmaak,
• bv. twee tekstdelen met aparte font
• gebruik van vetjes, cursief,
tekstgrootte
• eerst naam vogel, dan foto, dan
detailtekst

53
3.2.4 navigatiestructuur
• manieren waarop richting of
directionaliteit documentgebruik
weergegeven wordt
• bv. “27” bovenaan geeft relatieve
positie aan
van de beschrijving
in de volledige lijst van vogels

54
3.2.5 linguïstische structuur
• taal gebruikt bij de realisatie van dit
alles
• bv. volledige zinnen in eerste
tekstdeel
• bv. telegramstijl in het tweede
deel
• merk op dat het verbale niveau als
laatste binnenkomt in de analyse
• nu pas koppelen we de 4 eerste
niveaus aan taalgebruik

55
 3.3 kritische evaluatie van productmodel
sterkte
• eenvormig model voor tekst- en
beeldanalyse
• inzicht in discourskeuzes op elk niveau
• visualisatie van overgangen tussen modi
• relatie tussen lay-out en tekstsoort en
vice versa
• inzicht in visuele aspecten van
tekstontwerp, meer dan schrijven alleen
25
zwakte
• geeft geen inzicht in contextueel
gebruik van dit product
• geen inzicht in historische evolutie
van naslagwerk als tekstsoort
• geen inzicht in proces van
boekproductie en –gebruik
• oorspronkelijk gericht op traditionele
print media zoals het boek
4. multimodaal product en proces

Dagelijkse kost met Jeroen Meus

4.1 product- en procesanalyse

4.2 van boekproductie en analoge tv naar web 3.0
 4.1 product- en procesanalyse
product niveaus
3.2.1 inhoudsstructuur
3.2.2 retorische structuur
3.2.3 lay-out-structuur
3.2.4. navigatiestructuur
3.2.5 linguïstische structuur

58
59
4.1 product- en procesanalyse: even reflecteren

product niveaus
3.2.1 inhoudsstructuur
3.2.2 retorische structuur
3.2.3 lay-out-structuur
3.2.4. navigatiestructuur
3.2.5 linguïstische structuur

60
 4.1 product- en procesanalyse

product proces

Kress, G., Van Leeuwen, T. 2001. Multimodal Discourse.

61 The Modes and Media of Contemporary Communication. London: Bloomsbury.
 4.1 product- en procesanalyse
4.1.1 design
• hoe ontwikkelen teams abstracte boekconcepten?
4.1.2 productie
• hoe worden boeken materieel gemaakt?
4.1.3 distributie
• via welk logistiek platform komt een boek van uitgever, drukker,
transportmaatschappij tot (e-)boekhandel ?
4.1.4 promotie en receptie
• hoe wordt een boek gepromoot aan en ontvangen door de individuele lezer
en een doelgroep?

Kress, G., Van Leeuwen, T. 2001. Multimodal Discourse.

62
The Modes and Media of Contemporary Communication. London: Bloomsbury Academic.
 4.1.5 product- en procesanalyse: MA en jobs

proces
• proces verwijst naar stappen in
ontwikkeling en gebruik van product
• elke stap leidt tot nieuwe multimodale
producten online en offline
• onze studenten analyseren en
verbeteren producten (MAMC – MAJ)
• afgestudeerden vinden een job in
ontwikkeling van multimodale
communicatieproducten/-processen

64
 4.2 van boekproductie en analoge tv naar web 3.0

proces 2.0
• websites integreren
print en non-print media
• web 2.0:
internet als informatiearchief
• deze sites kan je analyseren en
vergelijken met oudere media, zoals
het kookboek of het tv-programma

65
 4.2 van web 2.0 naar web 3.0

proces 3.0
• internet leidt tot interactie op sociale
media
• de gebruiker participeert actief en het
multimodale product en proces
• multimodaliteit analyseert in
toenemende mate deze dynamische
media en vormen van interactie
daarop
• interactie tussen traditionele en
nieuwe (sociale) media
66
67
 4.3 samenvattend bij multimodale processen

• producenten
• consumenten
• betrokkenheid participanten
bij canvas, media en modi
• tijdsverloop
• consumptie
synchroon – asynchroon
• productietijd
consumptietijd

Bateman, John, Wildfeuer, Janina Tuomo Hiipala (2017). Multimodality. Foundations, Research and Analysis. A
68 Problem-Oriented Introduction. Berlin: de Gruyter.
 5. elektronisch discours

5.1 indelingen

69
 5.1 classificatie e-media
discourstypes communicatie met elektronische media
asynchroon
Asynchrone media zijn communicatiemiddelen
waarbij berichten worden verzonden en ontvangen
zonder de noodzaak van gelijktijdige interactie
tussen de deelnemers.
Dit betekent dat communicatie niet noodzakelijk in
realtime plaatsvindt; gebruikers kunnen berichten
verzenden en ontvangen op een moment dat voor
hen het beste uitkomt.
70
synchroon
Synchrone media zijn communicatiemiddelen
waarbij alle deelnemers gelijktijdig betrokken zijn en
directe interactie mogelijk is.
Dit betekent dat communicatie plaatsvindt in
realtime, waarbij alle betrokken partijen op hetzelfde
moment aanwezig moeten zijn om berichten te
verzenden en ontvangen.
 5.1 classificatie e-media
discourstypes communicatie met elektronische media
asynchroon synchroon
E-mail whatsapp-videocall
Facebook post Teams Video Call
Forums/Message Boards Skype
Blogs Zoom Meeting
whatsapp-telefoontje
Opgenomen Video/Audio

SMS Videoconferencing
notitie in OneNote/Evernote collaboratiece platforms: Google Docs, Onedrive
niet-vergeten: het oude face-to-facegesprek

71
illustratie: digitaal onderwijs aan de KU Leuven na
corona

72
achteraf
1. definitie multimodaliteit en kernbegrippen

2. multimodale theorieën

3. een functioneel basismodel

4. multimodaal product en proces

5. elektronisch discours