Sveučilište u Zagrebu Zagreb, 2020.

Arhitektonski fakultet
Studij dizajna

Manipulacija u
kapitalizmu nadzora
Završni esej

Tana Jeić
0054044560

Kolegij: Teorija i povijest dizajna 1

Mentor: prof. dr. sc. Feđa Vukić
Asistentica: Iva Koštešić
manipulacija u kapitalizmu nadzora*
*za potrebe eseja prevela sam “surveillance capitalism” kao “kapitalizam
nadzora”, u hrvatskom se još koristi i prijevod “platformski kapitalizam”

Sadržaj

Kapitalizam nadzora

Korisnik ili roba?

Arhitektura uvjeravanja

Oblikovanje ponašanja

Poljuljana demokracija

Zaključak
manipulacija u kapitalizmu nadzora Tana Jeić

Kapitalizam nadzora

Pojam kapitalizam nadzora označava oblik kapitalizma u kojemu se

osobni podaci komodificiraju i postaju vrijedan resurs za stjecanje
profita. Wikipedija navodi kako je kapitalizam “...ekonomski i društveni
sustav u kojem su kapital, zemlja i sredstva za proizvodnju privatno
vlasništvo...” Možemo, stoga reći kako u kapitalizmu nadzora privatne
informacije pojedinaca postaju privatno vlasništvo kompanija (ponekad
svjesno, ali često nesvjesno ili bez legitimnog pristanka). Shoshana Zuboff,
američka spisateljica kojoj se pripisuje zasluga za uvođenje samog pojma
surveillance capitalism, objašnjava: “Surveillance capitalism unilaterally
Shoshana Zuboff,
claims human experience as free raw material for translation into The Age of Surveillance
behavioral data.” Capitalism, 2019.

Početna ideja sakupljanja osobnih podataka možda je bila etički

prihvatljiva — što više imamo povratnih informacija od samih korisnika
to bolje možemo unaprijediti proizvode, sustave i iskustva kako bi bili
korisniji, pristupačniji, prilagođeniji ljudskim potrebama i željama. No što
je sa svim onim informacijama koje se ne mogu direktno primjeniti na
poboljšanje proizvoda neke kompanije? Takve informacije, tzv. bihevioralni
višak postaju roba na tržištu, podloga za razvijanje umjetne inteligencije
ali i alat manipulacije. Zuboff to objašnjava ovako: “Although some of
Shoshana Zuboff,
these data are applied to product or service improvement, the rest The Age of Surveillance
are declared as a proprietary behavioral surplus, fed into advanced Capitalism, 2019.
manufacturing processes known as “machine intelligence,” and
fabricated into prediction products that anticipate what you will do now,
soon, and later.”

Korisnik ili roba?

“We are not surveillance capitalism’s “customers.” Although the saying

Shoshana Zuboff,
tells us “If it’s free, then you are the product,” that is also incorrect. We are The Age of Surveillance
the sources of surveillance capitalism’s crucial surplus: the objects of a Capitalism, 2019.
technologically advanced and increasingly inescapable raw-material-
extraction operation. Surveillance capitalism’s actual customers are the
enterprises that trade in its markets for future behavior.” Zuboff zključuje
da korisnik zapravo nije korisnik, on je sam sredstvo koje omogućuje
funkcioniranje kapitalizma nadzora i koje će za nekoga značiti profit.

Čovjek je velikodušno prihvatio internet kao prostor širenja informacija,

znanja, emocija, socijalnih interakcija... No sve čemu pristupamo putem
interneta ima svoju cijenu, odnosno način na koji provodimo interakciju s
internetom (ali i smart uređajima) akumulira novu vrstu resursa. D. Carrole,
američki profesor ironično komentira: “... we were so in love with this free
connectivity, that noone bothered to read terms and conditions... These David Carolle,
The Great Hack (Karim
digital traces of ourselves are being mined into a trillion—dollar—a—year
Amer, Jehane Noujaim),
industry. We are now the comodity.” 2020.

Možemo se tješiti time da svoje privatne informacije dajemo svjesno

pritišćući na “Accept cookies” ili “I have read Terms&Conditions” gumbe,
a zauzvrat dolazimo do “besplatnih” informacija, članaka, videa, knjiga i
sl. Međutim, koliko smo puta zapravo pročitali sve uvjete korištenja? Pa
čak i da smo ih s razumijevanjem pročitali, naviknuti smo na instantnost
pristupa informacijama u digitaliziranom svijetu, i možda bismo rađe

TPD 1 | studij dizajna 3

manipulacija u kapitalizmu nadzora Tana Jeić

“platili” dostupnost informacijama svojim osobnim podacima nego svojim

vremenom, pogotovo kada nam posljedice takvog ponašanja nikako nisu
vidljive.

Finn Lutzow—Holm Myrstad, predstavnik Digitalne politike Norveškog

Finn Lutzow-Holm Mystad,
Vijeća Potrošača sa svojim je suradnicima odlučio istražiti uvjete
How tech companies deceive
korištenja aplikacija na prosječnom mobitelu (33 aplikacije) kako bi you into giving up your data
dokazao koliko je nerealno očekivati od korisnika da će pročitati i razumijeti privacy (TEDTalk)
ono što u njima piše. Uvjeti korištenja za dotične aplikacije isprintani se
protežu na 900 stranica A4 papira i zahtjevaju 31 sat, 49 minuta i 11 sekundi
neprestanog čitanja. Čitanje s razumijevanjem napisanog, uvjereni su,
trajalo bi još puno duže.

Isječak iz TED talka:

How tech companies deceive
you into giving up your data
privacy

Taj eksperiment dokaz je da su uvijeti korištenja osmišljeni i oblikovani

kako bi bili nepristupačni, teško razumljivi i predugi da bi ih korisnik
pročitao i shvatio. Kao i inače u životu, što smo manje upućeni u neki
problem to se manje možemo njime baviti ili se protiv njega buniti.
Onima koji imaju moć paše kako naša ovisnost o tehnologiji, tako i naše
nepoznavanje procesa iza radnji koje nam čine svakodnevnicu virtualnog
postojanja.

Arhitektura uvjeravanja

Naša okolina šalje nam manje ili više suptilne poruke što misliti, kako se
osjećati i kako se ponašati. Od prostornog naglašavanja društvenih uloga
kao primjerice učionica u kojoj je profesorski stol izdvojen kao simbol
autoriteta i nadzora, pa do sustavnog omalovažavanja određenih etničkih,
rasnih, spolnih i raznih drugih skupina kroz različite medijske kanale.
Takve manipulacije možemo pokušati osvijestiti, prihvatiti ili se od njih
odmaknuti, one su namjenjene svim uključenim akterima. Manipulacije
ne moraju nužno biti loše. One nas mogu usmjeriti, pomoći da brže
nađemo ono što tražimo. Gui Bonsiepe pričao o dizajnu kao sučelju
prilagođenom ljudskom tijelu. Način na koji je sučelje (bilo predmetno ili Gui Bonsiepe,
virtualno) oblikovano je nužno sugestivno, dapače od njega se upravo Dizajn: od materijalnog
traži da bude prilagođeno čovjeku. Zato se primjerice koristi Google prema digitalnom i natrag
Analytics prije nego što se kreće u redizajn neke web stranice. Trebamo

TPD 1 | studij dizajna 4

manipulacija u kapitalizmu nadzora Tana Jeić

razumijeti način na koji ljudi nešto koriste kako bi ih pomoću sučelja mogli
usmjeriti i olakšati im korištenje. No u kontekstu kapitalizma nadzora
uvjeravanje nije samo duboko upleteno u sam mediji nego je i precizno
personalizirano te često prepušteno procesima umjetne inteligencije koji
nisu nužno potpuno jasni čovjeku. Možda će neka druga osoba na istoj
web stranici vidjeti drugačiji poredak članaka nego što to mi vidimo, ali
mi u to nemamo uvid pa primjerice poredak objava na Facebookovom
feedu stranice niti nećemo smatrati manipulacijom. Upravo je to način
kako algoritmi pokušavaju navesti korisnika da ostane što duže na stranici
dok mu se sa svih strana serviraju brojni oglasi. Zeynep Tufekci, turska
Zeynep Tufekci,
tehno-sociologinja, spisateljica i profesorica dala je zanimljivu usporedbu
We’re building a dystopia just
arhitekture uvjeravanja u fizičkom i virtualnom svijetu: “You know how, to make people click on adds
at the checkout counters at supermarkets, near the cashier, there is (TEDTalk)
candy and gum at the eye level of kids? Thats designed to make them
whine at their parents just as the parents are about to sort of check out.
Now that’s a persuasion architecture… Now in the physical world such
persuasion architectures are kind of limited, because you can only put
so many things by the cashier. And the candy and gum — it’s the same
for everyone, even though it mostly works for those who have whiny
little humans beside them. In the digital world, though, persuasion
architectures can be built at the scale of billions and they can target,
infer, understand and be deployed at individuals one by one, by figuring
out their weaknesses, and they can be sent to everyone’s phone private
screen, so it’s not visible to us.”

Upravljanje ponašanjem

Čovjek voli misliti da je otporan na različite utjecaje koji mu se nameću.

Tako se u doticaju s različitim oglasima iz predmetne i virtualne okoline
tješimo da smo imuni na pokušaje uvjeravanja. No kada netko (ili nešto)
zna toliko detaljno način na koji funkcioniramo može puno lakše i suptilnije
navigirati našim željama i mislima. Z. Tufekci objašnjava da algoritmi
Zeynep Tufekci,
(koji “donose zaključke” na temelju ogromne količine podataka koju We’re building a dystopia just
korisnici interneta i smart uređaja akumuliraju) čak mogu predvidjeti to make people click on adds
ulazak bipolarne osobe u stanje manije prije nego što je to klinički (TEDTalk)
moguće ustvrditi. Algoritam će tada plasirati veći broj oglasa jer je osoba
u takvom stanju sklonija impulzivnom kupovanju. Na taj način umjetna
inteligencija više nije samo alat za prikupljanje i analiziranje podataka,
ona postaje autoritet, donositelj odluka izmaknut iz kontrole čovjeka i
lišen odgovornosti ili moguće kazne za nepropisno ponašanje. S. Zuboff
to objašnjava ovako: “Competitive pressures produced this shift, in which Shoshana Zuboff,
automated machine processes not only know our behavior but also shape The Age of Surveillance
our behavior at scale. With this reorientation from knowledge to power, it Capitalism, 2019.
is no longer enough to automate information flows about us; the goal now
is to automate us.”

Poljuljana demokracija

U dokumentarcu The Great Hack opisano je kako se manipulacija kroz Karim Amer, Jehane
kanale kapitalizma nadzora lako može primjeniti na puno većoj razini od Noujaim , The Great
one individualne. Dokumentarac se bavi slučajem kompanije Cambridge Hack, 2019.
Analytica koja je bila uključena u biračke procese kod Brexita i Američkih
predsjedničkih izbora 2016. Ukratko, u dokumentarcu je opisano kako
je dotična kompanija bila uključena u predizbornu kampanju Donalda

TPD 1 | studij dizajna 5

manipulacija u kapitalizmu nadzora Tana Jeić

Trumpa i pomoću “data mininga”, kupovanja i prikupljanja osobnih

podataka biračkog tijela manipulirala oglasima koji se pojavljuju na
ekranima potencijalnih glasača. Pomoću prikupljenih privatnih podataka
algoritam je mogao generirati arhetipe i na temelju toga plasirati oglase
za Donalda Trumpa onima koji bi bili skloniji glasati za njega, ali i plasirati
oglase protiv izlaska na izbore onima koji svoj glas sigurno ne bi dali
Trumpu. Bivši zaposlenik Cambridge Analytica-e, Cristopher Wylie, složio
se kako se radi o izrazito neetičkom eksperimentu i za tu misiju nadodao:
“You are playing with the psychology of an entire country without
their consent or awareness. And not only that, you’re playing with the
psychology of an entire nation in the context of the democratic process.”
Ne možemo sa sigurnošću reći da je Cambridge Analytica zaslužna za
Trumpovu pobjedu na predsjedničkim izborima 2016., ali možemo reći da
je imala velik utjecaj. Iako je Cambridge Analytica zbog dotičnog skandala
prestala s radom (iako neki nisu sigurni u taj podatak) ali razne se druge,
više ili manje poznate, kompanije i danas bave našim osobnim podacima.
Teško je odrediti do koje je mjere prikupljanje podataka etički ispravno i
u korist poboljšanja korisničkog iskustva kada nismo sigurni u procese
iza toga, nismo upućeni na što sve pristajemo svakim klikom, niti znamo
tko, kada i na koji način može pristupiti, kupiti ili prodati naše podatke.
Netko zarađuje na nečemu što mi ni ne znamo da nam je “oduzeto”. David
Carroll u dokumentarcu The Great Hack odluči prijaviti “legal challenge”
kojim traži britanski sud da naredi Cambridge Analytica-i da mu da uvid u
sve podatke (data) koju su o njemu sakupili. Carroll kaže: “Im demanding
full disclosure, so where did they get our data, how did they process it,
who did they share it with and do we have a right to opt out?” Kraj njegove
tvrdnje daje uznemiravajuću naznaku da od takvog sustava zapravo ne
možemo pobjeći. Primjerice jedan student ne može (ili može ali vrlo teško)
ispunjavati svoje akademske obaveze bez prisustvovanja u virtualnom
svijetu. Način na koji svijet funkcionira uvjetuje korištenje interneta, a čim
smo njegovi korisnici prihvaćamo da se naše akcije bilježe, analiziraju,
čuvaju, prodaju...

Zaključak

Manipulacija i prikupljanje osobnih podataka ne moraju nužno biti loši.

Primjerice dizajneri i arhitekti kroz oblikovanje nekog iskustva zapravo
manipulira ponašanjima i emocijama korisnika oslanjajući se na već
postojeće društvene, fiziološke, emocionalne prakse. Prikupljanje osobnih
podataka također može biti iznimno koristan alat, jer tko nam može više
reći o iskustvu korisnika nego on sam? Kako bismo stvarali za ljude, prvo ih
moramo razumijeti. Dok god se manipulacija koristi kako bi se unaprijedilo
ili olakšalo određeno iskustvo korisniku, i dok je korisnik upoznat s
informacijama koje daje (i ima ih izbor dati ili ne dati) ne propitujemo etiku
iza takvih metoda.

Kapitalizam nadzora dovodi manipulaciju na novu razinu. Metode

prikupljanja podataka nisu transparentne, a donošenje zaključaka na
temelju prikupljenih podataka često se prepušta umjetnoj inteligenciji čije
postupke ne možemo do kraja razumjeti. Ljudsko postojanje u virtualnom
svijetu postaje resurs i sredstvo moći. Manipulacija se vrši i na način da
se ljudima ne daju (ili im se maksimalno otežavaju) pristup i mogućnost
razumijevanja svega na što imaju opciju svjesno pristati prilikom surfanja.
Teško je braniti svoja prava ako nismo svjesni na koji se način ona krše, i

TPD 1 | studij dizajna 6

manipulacija u kapitalizmu nadzora Tana Jeić

krše li se uopće. Kapitalizam nadzora kao resurs koristi ljudsko iskustvo

pretvarajući ga u podlogu za predviđanje i usmjeravanje budućih
akcija, emocija i doživljaja. Čovjek je u začaranom krugu u kojem ujedno
akumulira moć (za nekoga) i dopušta da se ona na njemu primjenjuje,
gotovo prisiljen sudjelovati u virtualnom svijetu koji ne može u potpunosti
razumijeti. Nove tehnologije sa sobom donose nova pravila, a njihova
praktična primjena možda je jedini način kako ustvrditi odnos prednosti i
mana. Je li kapitalizam nadzora put prema tehno fašizmu (ili jesmo li već i
sami dio toga)? Postoji li način da se prikupljanje podataka strože regulira
i tko bi to trebao regulirati? Zar ne bi trebalo omogućiti ljudima uvid u
podatke koji su o njima prikupljeni? Bi li trebalo obrazovati ljude o online
sigurnosti pošto se veliki dio naših aktivnosti preselio u virtualni prostor?
Treba li i kako omogućiti ljudima da odaberu hoće li sudjelovati u
prikupljanju podataka? Predstavlja li umjetna inteligencija prijetnju za
demokratske postupke? ...

Ljudi često kažu “Ja nemam ništa za sakriti pa me nije briga ako netko
sakuplja moje podatke”, ali vrlo je jasno da kapitalizam nadzora otvara
puno veće probleme od potencijalnog otkrivanja nečeg što ne bismo htjeli
da o nama bude otkriveno. U svakom slučaju kao individue trebamo težiti
zaštiti vlastitih prava i podataka. Trebamo težiti edukaciji o sigurnosti u
virtualnom prostoru jednako kao što se brinemo o primjerice sigurnosti u
prometu. Virtualni je svijet naš novi prostor obitavanja i samim time treba
bi biti smislen, razumljiv i po mjeri čovjeka.

TPD 1 | studij dizajna 7

manipulacija u kapitalizmu nadzora Tana Jeić

Literatura

Shoshana Zuboff
The Age of Surveillance Capitalism; The Fight for a Human Future at
The New Frontier of Power, 2019.

Feđa Vukić
Teorija i povijest dizajna, kritička antologija, 2012.

Zeynep Tufecki
We’re building a dystopia just to make people click on adds
(https://www.ted.com/talks/zeynep_tufekci_we_re_building_a_
dystopia_just_to_make_people_click_on_ads#t-776495)

Finn Lutzow—Holm Myrstad

How tech companies deceive you into giving up your data privacy
(https://www.ted.com/talks/finn_lutzow_holm_myrstad_how_
tech_companies_deceive_you_into_giving_up_your_data_and_
privacy#t-373100)

Karim Amer, Jehane Noujaim

The Great Hack, 2019.

Wikipedia—Shoshana Zuboff
(https://en.wikipedia.org/wiki/Shoshana_Zuboff)

Bowdoin—Carroll
(https://www.bowdoin.edu/news/2019/11/david-carroll-97-and-the-fight-
to-upend-cambridge-analyticas-dark-data-quest.html)

TPD 1 | studij dizajna 8