Professional Documents
Culture Documents
Kaase Memorandum Kriteriji Kvalitete Pri Anketah
Kaase Memorandum Kriteriji Kvalitete Pri Anketah
METODOLOŠKA GRADIVA
Max Kaase
Iz nemščine prevedel
Sergio Švara, univ. dipl prof. psih. in fil.
(neredigirano gradivo)
1
Vsebina
Predgovor ......................................................... 6
1. Uvod ....................................................8
2
5.5.3.6 Nadzor anketarjev .....................................42
5.5.3.7 Število intervjujev na anketarja ......................43
5.5.3.8 Koristi in vzpodbude...................................43
5.6 Začasni zaključek .....................................44
5.7 Telefonski intervjuji .................................45
5.8 Dosegljivi paneli (acces panels) ......................46
6 Standardi anketiranja, nadzor procesa in mednarodna
situacija .............................................48
6.1 Uvodne opombe .........................................48
6.2 Zgledno anketiranje ...................................48
6.2.1 Uvod ..................................................48
6.2.2 AAPOR standardi .......................................49
6.2.2.1 O stroških in koristih ................................50
6.2.2.2 Vzorci ................................................52
6.2.2.3 Pretestiranje: razvoj in testiranje orodij in tehnik
za intervju ...........................................54
6.2.2.4 Izbiranje in trening anketarjev .......................55
6.2.2.5 Statistične analize in interpretacije .................55
6.3 Nadzori kakovosti, ki so povezani s procesom ..........56
6.3.1 Mednarodna razprava ...................................57
6.3.2 Certifikat ISO 9000 ...................................57
6.3.3 Nacionalni standardi ..................................58
6.3.4 Mednarodni standardi kakovosti ........................60
6.3.5 Položaj v Nemčiji .....................................61
6.3.6 Razprava o kakovosti v sistemih evropske uradne
Statistike ............................................62
4
16.1.1 Uvod .................................................112
16.1.2 Najboljši postopki za ankete in raziskovanje
javnega mnenja .......................................114
16.1.3 Postopki pri anketah, ki jih AAPOR obsoja ............122
16.1.4 Viri .................................................124
16.2 Kodeks profesionalne etike in postopkov ..............125
16.3 Industrijska raziskovalna zveza (Research Industry
Coalition, RIC): Poklicni in etični standardi za
raziskovanje tržišča, javnega mnenja in
množičnih občil ......................................128
16.3.1 Industrijska raziskovalna zveza (RIC) ................128
16.3.2 Izjava RIC o poklicnih in etičnih standardih za
raziskovanje tržišča, mnenj, medijev in podobnega ....129
17. Projekt družbene znanosti, ki ga je sponzorirala
DFG 1987-1996 .......................................131
Okrajšave .......................................................133
5
Predgovor
6
Memorandum pa nudi še več, saj oblikuje merila kakovosti za ankete v
širokem soglasju družboslovcev na visokih šolah in neuniverzitetnih
znanstvenih raziskovalnih inštitutih, uporabnikov anket in vodilnih
predstavnikov ponudnikov anket, to je privatnih inštitutov za tržne
raziskave in raziskovanje javnega mnenja. Raziskuje različne razsežnosti
kakovosti, ki segajo od tehnične pravilnosti in raziskovalne etike pri
delu z respondenti in njihovimi odgovori, pa do vprašanj o
dokumentiranju in dostopnosti podatkov, zbranih z anketami. Na koncu -
skoraj mimogrede - daje laiku, ki ga zanimajo te stvari, poučen vpogled
v različnost vsebin, v družbeno pomembnost in v metodološko strogost
kvantitativnih družbenih raziskav. Memorandum je namenjen
"profesionalcem", pa tudi politikom, podjetjem, javnosti in še posebej
množičnim občilom, ki jih zanimajo zanesljivi rezultati anket kot
zadovoljiva osnova za odločanje.
7
Uvod
8
zmanjša, če preko množičnih občil vpeljemo bolj ali manj hitro
spremenljiva mnenja prebivalstva, ker politiki vedno bolj reagirajo na
slabo utemeljene informacije in je tako njihovo politično razmišljanje
moteno zaradi problematičnega plebiscitarnega elementa (Hennis 1957). Po
drugi strani pa trdijo - še posebej ameriški družboslovci - da
reprezentativne ankete odločilno prispevajo k kakovosti političnih
razmišljanj. Veliko je dokazov, da je bil ta pogled osnova prizadevanj
ameriških okupacijskih sil po drugi svetovni vojni, da bi ustanovile
znanstveno utemeljeno empirično družboslovno raziskovanje v Nemčiji
(Crespi 1952; Braun in Articus 1984; Reimann 1989; Kutsch 1995; Merrit
1995).
Pri tem je vedno veljalo široko soglasje o tem, kaj velja na tem
področju v danem času kot znanstveno zanesljiv postopek, tako za
akademske in privatne ankete, kot tudi za uradno statistiko. Vendar pa
se je to v zadnjih letih močno spremenilo, ker so se razvile nove
tehnike, še posebej telefonsko anketiranje. Negotovost, ki je sledila iz
tega, je bila glavni razlog, da se je zbrala skupina strokovnjakov in
napisala to besedilo.
9
zaradi naraščajoče uporabe telefonskih anket v privatnem raziskovanju
tržišč in javnega mnenja. Samo inštituti, ki so člani ADM (Združenja
nemških inštitutov za raziskovanje tržišča in za družboslovne
raziskave), so leta 1996 opravili okrog 6.8 milijona standardiziranih
intervjujev, leta 1997 pa okrog 9 milijonov. To je vključevalo tudi
okrog 3 milijone telefonskih intervjujev leta 1996 in okrog 3.6 milijona
leta 1997; to je bistveni absolutni porast (čeprav je prišlo do majhnega
znižanja od 44 odstotkov leta 1996 na 40 odstotkov leta 1997); glej
Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V. 1997a:
5). S telefonskim intervjujem lahko sedaj s pomočjo centraliziranih
telefonskih studiev dobimo zanesljive, reprezentativne informacije o
stališčih prebivalstva o določenih dogodkih in tako analiziramo procese
oblikovanja javnega mnenja. Pri volilnih raziskavah, na primer, so
telefonski intervjuji malo pred posebnimi volitvami postali nekaj, kar
se razume samo po sebi in nam omogoča, da zasledujemo dinamiko odločanja
volivcev prav do dneva volitev.
10
Tako je nastalo novo področje sistematičnega metodološkega raziskovanja,
predvsem zaradi velikega širjenja telefonskih intervjujev. V zvezi s tem
bodo nastala in pridobivala vedno večji pomen vprašanja o kakovosti,
obsegu in trdnosti podatkov družbenih znanosti, zbranih z anketami. Dva
obraza takega razvoja lahko prikažemo z naslednjim primerom. Po eni
strani so informacije po telefonu kontrolirane in predvsem hitreje
dosegljive kot v preteklosti. Po drugi strani pa ustvarja relativno
cenejša dosegljivost opreme za telefonske intervjuje (telefonski studii)
ter programov za nadzor anketiranja (na primer CATI, s pomočjo
računalnika opravljenih telefonskih intervjujev), ugodne pogoje za vstop
novih ponudnikov na tržišče družboslovnega raziskovanja, z njimi pa tudi
nujnost izbire kvalificiranega osebja in ustrezne velikosti podjetja.
11
Za anketne raziskave v Nemčiji je bilo dolgo časa značilno, da so
konstruktivno sodelovale z akademskimi in privatnimi raziskovalci in
bile z njimi v stalnem dialogu. Tudi ta memorandum se pridružuje tej
filozofiji in takim izkušnjam. Iz tega pa tudi sledi, da ni namenjen le
univerzam in podobnim visokim šolam. Doseči mora tudi privatno
anketiranje, pa naj ga vodijo inštituti za tržne raziskave ali za
raziskovanje javnega mnenja, ali pa družbe, interesne skupine itd. Glede
na vpliv ugotovitev empiričnega družboslovnega raziskovanja na javnost
so tretji pomemben naslovnik masovna občila, da ne omenjamo političnega
sistema, ki podpira, kupuje in uporablja ugotovitve anketnega
raziskovanja.
12
Prvi del
2.1 Definicija
1
Converse (1987) sodi, da so to definicijo javnega mnenja na široko sprejeli (glej tudi Page in
Shapiro 1991). Hennis ima pomisleke, ki slonijo na njegovem poudarjanju posebne variante teorije o
demokraciji. Noelle-Neumann ima pomisleke socialnopsihološke narave.
14
2.2 Katere informacije zbiramo?
15
napake (meja napake)je prav tako odvisna od velikosti vzorca. Pri tem je
skoraj nepomembno, kako velik del skupne populacije je vključen v
vzorec; pomembna je le velikost vzorca: tudi za populacijo več milijonov
prebivalcev lahko vzorci tisoč anketiranih oseb dajo zanesljive
rezultate. Informativna vrednost podatkov anket se zmanjšuje zaradi
napak vzorčenja in zaradi problemov pri realizaciji načrtov vzorčenja,
na primer zaradi nesodelovanja možnih respondentov (obseg sodelovanja).
Težko dosegljive osebe in tisti, ki odklanjajo sodelovanje, se morda
sistematično razlikujejo od celotne populacije v mnogih značilnostih, ki
jih želimo meriti s pomočjo vzorca. Praviloma nesodelovanje
(nonresponse) ni nekaj nevtralnega.
2
Mikrocenzus je letna reprezentativna anketa na celotni populaciji, ki jo opravi uradna statistika v Nemčiji na osnovi enoodstotnega vzorca
gospodinjstev. Za bistveni program vprašalnika obstaja obveznost dajanja podatkov (glej Esser in drugi 1989)
16
vprašalniku (glej poglavje 4). To velja še posebej takrat, kadar
raziskujemo subjektivne pojave. Pri tem razumemo vprašanje kot verbalni
dražljaj (stimulus), na katerega respondenti reagirajo na različne
načine, kar je odvisno od njihovih mnenj, stališč itd. (Schnell in drugi
1992). V primeru zaprtih vprašanj so že vnaprej postavljene kategorije,
med katerimi respondent lahko izbira svoj odgovor; v primeru odprtih
vprašanj pa anketar zapiše svobodno oblikovane odgovore anketiranih. Na
odgovore lahko vpliva tako besedilo vprašanja, kot tudi kontekst
vprašanja, na primer vprašanje, ki je bilo postavljeno neposredno pred
sedanjim. Ta problem je treba upoštevati pri razvrščanju vprašanj v
vprašalniku.
3.1 Populacija
17
Pri definiranju populacije je treba razlikovati med populacijo, ki jo
raziskujemo (population under study), ki jo imenujejo tudi ciljna
populacija, target population, matična populacija, parent population,
raziskovalna populacija, prospect population; ta vključuje vse ljudi, o
katerih bi želeli dati izjave (na primer vse volivce) in med totalno
populacijo ankete (total survey population), ki jo imenujejo tudi
vzorčni okvir (sampling frame). Vzorčni okvir sestavljajo enote, s
katerimi želimo doseči dostop do podatkov o posameznikih, ki jih bomo
anketirali (na primer seznami volivcev). V mnogih primerih sta pri
anketah vzorčni okvir in ciljna populacija identična. Pri oblikovanju
dobrih vzorčnih načrtov je nujno potrebno zelo natančno definirati
matično populacijo.
3.2 Vzorci
18
načrt vzorčenja (sampling design) - v praksi pogosto zanemarjajo, ko
analizirajo podatke. Do tega pride prvič zaradi zapletenosti načrtov
vzorčenja, ki jih uporabljajo pri raziskovanju z anketami; uporabniki
podatkov iz sekundarnih analiz pogosto ne poznajo v celoti teh
zapletenosti. Drugič, pri analizi podatkov je poudarek na modelih
razporeditve značilnosti, ki niso del procesa zbiranja podatkov.
Kakovost rezultatov je v celoti odvisna od veljavnosti modela, ki na
splošno predpostavlja neodvisne, identično razporejene slučajne
spremenljivke (random variables). Vendar pa take spremenljivke
(značilnosti) dobimo le v primerih ponavljanja enostavnega slučajnega
vzorčenja.
3
Ankete preko interneta ali elektronske pošte sedaj še niso možne, ker ti mediji še niso dovolj razširjeni med prebivalstvom. Doslej so primerni le za
ekspertske ankete ali pa za ankete po intranetu.
19
Sedaj obstajata v Nemčiji za osebno anketiranje 'iz oči v oči' dva
glavna vzorčna načrta na temelju slučajnega izbora. Prvi je 'slučajna
pot' (random route) ali postopek vnaprej izbranih naslovov
(gospodinstvo izbere sam anketar, slučajno, v skladu z določenimi
pravili, ali pa dobi anketar natančen naslov gospodinjstva, ki je bilo
že prej izbrano po slučajnem postopku). Na splošno pride do izbora na
osnovi standardnih vzorcev ADM (Arbeitskreis Deutscher Markt- und
Sozialforschungsinstitute). Kot smo že videli, najprej sučajno izberejo
gospodinjstvo, potem pa še posameznika v gospodinstvu, v skladu z vrsto
pravil (Arbeitsgemeinschaft ADM-Stichproben und Bureau Wendt 1994).
Druga metoda je vzorčenje na osnovi registrov prebivalcev (residents
register sampling); to je slučajni vzorec posameznikov, ki so poimensko
izbrani iz registrov prebivalcev, ki jih imajo lokalne oblasti; ti
prebivalci so vključeni v vzorec za to področje.
Eden od glavnih problemov pri osebnem intervjuju 'iz oči v oči' je to,
da ima anketar relativno veliko možnosti za odločanje pri izvedbi načrta
vzorčenja, na primer v primerjavi s telefonskim intervjujem (več
podrobnosti o tem je v poglavju 5). Vendar pa obstajajo razlike tudi med
načrti: pri vzorčenju 'po slučajni poti', pa tudi pri že vnaprej zbranih
naslovih, je anketarjeva vloga dosti večja kot pri vzorčenju na osnovi
seznamov prebivalcev. Glede na to, da to vpliva na izvedbo vzorca - kot
so pokazale izkušnje - je treba izhajati iz tega, da obstaja možnost
različne kakovosti rezultatov; to pomeni, da so rezultati lahko bolj ali
manj pristrani (biased) (Kirschner 1985: 153).
20
telefona približno 20 odstotkov), so imeniki sedaj uporabni le še v
povezavi z dodatnimi postopki za izbiranje slučajnih reprezentativnih
vzorcev. Prisotnost telefonov v privatnih gospodinjstvih in s tem
načelna dosegljivost ciljnih oseb skoraj ne vpliva na zmanjšanje
kakovosti. Zdaj ima telefon več kot 90 odstotkov nemških gospodinjstev
(Lessler in Kalsbeek 1992; Saris in Kaase 1997).
Poleg tega ima pri tej vrsti anket pomembno vlogo izpadanje iz vzorca
(nonresponse), saj respondenti niso v stiku z anketarjem, ki bi jih
lahko motiviral v neposrednem osebnem stiku. Iz tega sledi samoizbor
respondentov, ki tudi prispeva k pristranosti vzorca. Medtem pa so že
razvili metode, ki so bistveno izboljšale zajetje vzorca (na primer
Dillman (1978) Total Design Method).
21
številu strokovnjakov je jasno, v kakšni meri vpliva na rezultate anket
besedilo vprašanj in struktura vprašalnika.
22
prikazovanju podatkov upoštevamo zapletenost javnega mnenja in pri tem
sistematično raziskujemo in dokumentiramo, do kakšne mere so mnenja
odvisna od sprememb referenčnega okvira, od sprememb besedil vprašanj
ter od modelov in tehnik intervjujev, ki smo jih izbrali.
23
Hippler in Schwarz 1987; Schwarz in Sudman 1992). Te študije so
prikazale znatne učinke ureditve vprašanj, še posebej pa naslednje:
Pri rezultatih anket lahko bistvene razlike pripišemo tudi temu, ali smo
vprašanja postavili ustno, z vizualnimi pripomočki, koliko je bilo
možnih odgovorov, ali so bile lestvice prikazane na verbalen ali
numeričen način, ali je prišlo do respondentove odločitve na osnovi
izbora iz liste, ali pa je bilo treba izraziti svoj odnos do vsake
vsebine v listi posebej, in ali so bili odgovori razporejeni v že
vnaprej danih alternativah (Schwarz in Sudman 1996).
24
4.3.4 Vpliv načina anketiranja
25
* Sistematične priprave na izdelavo vprašalnika in zbiranje informacij,
ki so povezane z vsebino študije,
26
• Zbrati je treba vse znanje o primerjanju telefonskih anket in anket
z osebnim stikom 'iz oči v oči', ki je dosegljivo na privatnih
inštitutih in na univerzah,
27
• Večja je verjetnost, da bodo ljudje priznali pripadnost skrajnim
strankam,
5. Terensko delo
28
naravnem okolju. Pri anketah definiramo terensko delo kot uspešne ali
neuspešne poskuse anketarja, da bi našel respondente, jih pregovoril,
naj sprejmejo intervju in jih na koncu intervjuval. Podatki, pridobljeni
na terenu, so predpostavka za analize, s katerimi raziskovalci lahko
empirično preverijo svoje pojme in hipoteze in so tako osrednji sestavni
del celotnega raziskovalnega procesa. Vendar pa pri nobeni drugi fazi
projekta nimajo raziskovalci manjšega vpliva na rezultate kot prav med
zbiranjem podatkov. V vsakem posebnem primeru le malo vemo o tem, kako
ravnajo anketarji in respondenti, še posebno pri osebnih intervjujih 'iz
oči v oči'; zato lahko to le deloma nadziramo.
29
najboljšimi postopki (best practices) in priznanimi, sprejemljivimi,
uporabnimi in tudi preskrbljivimi dobrimi postopki (good practices).
5.2 Splošni okvir
• Strah pred stiki s tujci (na primer strah pred zločini, več je
prodajalcev 'od vrat do vrat');
30
gospodinjstev in večja nenaklonjenost do socialne participacije)
izmikajo vplivu ljudi, ki so vključeni v proces izvajanje ankete;
31
vključitev neke dosegljive osebe, ki je pripravljena odgovarjati);
32
nedosegljivi ali pa nesposobni sodelovati, morda odklanjajo sodelovanje
pri anketi, ne ustrezajo pričakovanjem o tem, kakšna naj bo vloga
anketirane osebe, morda ne morejo slediti spraševanju ali pa morda ne
odgovarjajo po resnici, pa naj bo razlog za to kakršen koli.
33
Nespoštovanje pravil standardiziranega intervjuja najprej vodi do
"tipičnih" tehničnih napak, kot so manjkajoči podatki (missing values),
napake pri izpolnjevanju vprašalnikov, napake v zvezi s filtri itd.
Posledica pa je lahko tudi to - na primer tedaj, kadar anketar ne
prebere celega vprašanja - da intervjuji pri anketi kot celoti niso
opravljeni v enakih okoliščinah, kot je to potrebno v skladu s cilji
standardiziranega intervjuja. Če anketar ne prebere kategorij odgovorov
ali celega vprašanja, je učinek lahko dramatičen. In končno, skrajna
oblika manipuliranja s podatki pri anketarju se kaže v delni ali popolni
ponareditvi intervjuja, pri čemer so delne ponareditve (dopolnitve
odgovorov na vprašanja, ki sploh niso bila postavljena, na osnovi
odgovorov na nekaj postavljenih vprašanj) verjetno pogostejše kot
težavnejša ponareditev celotnega intervjuja. Do pristranosti podatkov
lahko končno pride tudi zaradi ravnanja anketiranih ljudi, ki dajejo
"socialno zaželene " in "politično pravilne" odgovore, odgovorijo na
vprašanja, ne da bi razumeli njihov smisel, namerno napačno odgovarjajo,
ali pa sploh ne odgovorijo.
34
(univerzitetni raziskovalni inštituti, privatni inštituti, naročniki,
uporabniki) delovali tako, da bi izboljševali sliko, ki jo imajo ljudje
o anketah. Respondenti bi bili zanesljivo bolj pripravljeni sodelovati,
če bi bilo sodelovanje pri anketah v vsakdanjem življenju pozitivno
ocenjeno (včasih imamo občutek, da velja prej nasprotno). Delo te vrste
pri "stikih z javnostjo" (public relation) bi lahko vključevalo:
35
Ukrepe za zagotavljanje in izboljševanje kakovosti terenskega dela v
bistvu lahko opravljajo le inštituti, ki so odgovorni za zbiranje
podatkov (če opravljajo ankete sami pripadniki univerzitetnega
sociološkega raziskovanja, velja to mutatis mutandis). Oni to delajo,
ker je takšen njihov interes, pa tudi zato, da delajo v skladu z
zahtevami, ki jim jih postavljajo akademski ali drugi naročniki. Pri
ocenjevanju terenskega dela je izredno pomembno uravnotežiti želje
naročnikov s stvarnimi okoliščinami takojšnega zbiranja podatkov.
Naročniki, ki postavljajo nerealistične zahteve glede zbiranja podatkov,
so prav tako škodljivi kot inštituti, ki pod pritiskom ekonomskega
tekmovanja brez premisleka sprejemajo take zahteve. Bolj ali manj
zavezujoči dogovori o tem, kaj je možno, komajda možno, ali pa sploh ni
možno narediti v danih finančnih in drugih okoliščinah, bi bili pomemben
korak v smeri realističnega ocenjevanja področij in obsega zbiranja
podatkov za vse, ki so vključeni (tak dogovor je bil nedavno
pripravljen, glej oddelek 6.3.5).5 Pri tem bi bilo treba razlikovati
različno visoke zahteve glede kakovosti, ki so povezane z različnimi
ravnmi stroškov (primerjaj besedilo o "proceduralnih modelih" v poglavju
13). Dogovor o možnostih zbiranja podatkov in prostovoljna obveznost
inštitutov, pa tudi zvestoba tej obveznosti, bi lahko bil okvir za
ocenjevanje terenskega dela, za definiranje kriterijev kakovosti tudi za
možnost merjenja kakovosti terenskega dela. Možnim naročnikom je treba
jasno povedati, da so tako postavljeni kriteriji za dober postopek
odločilnega pomena za resno izvedbo anket in za kakovost zbranih
podatkov. Kodifikacija dobrih postopkov bi istočasno tudi
diskreditirala tiste ponudnike anket, ki ne zadovoljujejo teh
kriterijev.
5
Primer za to je soglasje o višini stopnje zajetja (coverage rate), ki jo lahko pričakujemo v
danih finančnih in drugih okoliščinah. V normalnih pogojih in pri običajnih finančnih in časovnih
omejitvah verjetna stopnja pokritosti ni 70 odstotkov, pač pa 55 do 65 odstotkov. Zelo težko bi
bilo doseči 70 odstotkov; to bi bilo možno le tedaj, če bi sprejeli posebne postopke; 80 odstotkov
je normalno nedosegljivo. Naročniki bi to morali vedeti in v skadu s tem definirati svoje želje.
Ponudbe inštitutov naj bi se temu prilagodile ne glede na tekmovanje. Isto velja na primer tudi za
dolžino intervjujev 'iz oči v oči', ki je v zadnjih letih naraščala pri primerjalnih raziskavah.
36
ankete, in z vprašanjem o tem, kako ga primerjati s kvotnim vzorčenjem,
ki je v praksi pokazalo svojo praktično vrednost. Kot smo videli, je
posplošitev iz vzorca na populacijo možna le pri slučajnem vzorčenju
(random sampling); vendar pa nemški inštituti uspešno delujejo tudi s
kvotnimi vzorci.
5.5.3.1 Vzorčenje
37
srečanj, razlogi izpadanja itd.), pa tudi natančne informacije o
opravljanju intervjujev (število potrebnih srečanj, prikaz datumov in ur
obiskov, težav pri iskanju ciljnih posameznikov itd.). Glede na to, da v
praksi le malokdaj zahtevajo natančne informacije te vrste in da bi to
močno povečalo stroške, se dokumentacija v smislu dobrega postopka
praviloma omejuje na dogajanje v zvezi s stvarnim izpadanjem, pri čemer
v glavnem prikazujejo informacije o vrsti in številu izpadov, da bi
lahko ocenili stopnjo zajetja. Vzroke izpadov iz vzorca (nonresponse) bi
bilo treba razčleniti v podskupine na standardiziran način, ki bi bil
skupen za vse inštitute. To bi olajšalo primerjalno analizo o tem, kaj
se dogaja na terenu pri različnih postopkih vzorčenja, kako je to pri
različnih inštitutih in kako pri različnih ravneh stroškov.
38
Navezovanje stikov običajno nadzirajo z nadzorom anketarjev.
6
O tem glej Dorrosch (1994); njegova trditev, da je vsak tretji intervju ponarejen, je daleč od
resnice; pri raziskavi ALLBUS 1994 (primerjaj Koch 1995) je bil delež dokazanih ponareditev nekaj
več kot 3 odstotke; to je verjetno bolj točna številka, ki govori o nespornem problemu ponarejenih
intervjujev pri anketah. ALLBUS je bienalna reprezentativna anketa prebivalcev Nemčije, starejših
39
nadzorov. Primeren način za discipliniranje anketarjev je nadziranje
anketarjev ali pa vsaj prepričljiva grožnja z nadzorom. Tudi tu velja:
če bi bilo možno definirati in uporabljati obvezujoče kriterije
kakovosti za nadzorovanje anketarjev, bi nam moralo uspeti, da bi
prepričali naročnike, da nadzor anketarjev po teh kriterijih povečuje
kakovost ankete; vsekakor pa čas in denar na splošno postavljata ozke
okvire, ki jih je treba na novo določiti za vsako raziskavo posebej.
40
pripravljenostjo na sodelovanje in med pripravljenostjo, da bo med
intervjujem ravnal tako, kot to želi raziskovalec.
ALLBUS 1996 (primerjaj Wasmer in drugi 1996: 66) na zahodu opravilo 30.9 odstotkov anketarjev več
kot 10 intervjujev, 4.9 odstotka več kot 20, na vrhu pa je bil anketar z 52 intervjuji.
8
Zastopniki vodilnih inštitutov za anketiranje pripisujejo vsebini ankete poseben pomen pri
uspešni izvedbi ankete.
41
nadaljevanju o dveh vprašanjih:
42
ker mora biti na splošno krajši od osebnega intervjuja 'iz oči v oči' in
ker so izključeni pripomočki, ki jih normalno uporabljamo pri osebnih
intervjujih (liste, igre kartic itd.). Poleg tega je omejena
kompleksnost načrta vprašanj (na primer spraševanje z matriko, seznami
ali slikovnimi pripomočki). Ta vidik še prav posebej pomeni, da nam
telefonski intervju ne more vedno nuditi natančnosti, ki je potrebna pri
družbenih anketah, saj te pogosto uporabljajo zapletene oblike vprašanj.
43
• Oblikuje se panel "prostovoljcev", pri katerih se odgovori morda
sistematično razlikujejo od odgovorov respondentov normalnega
slučajnega vzorca (samoselekcija);
44
anketiranja koristna.
6.2.1 Uvod
45
(DGS), European Society for Opinion and Marketing Research (ESOMAR),
International Statistical Institute (ISI), Arbeitskreis Deutcher Markt-
und Sozialforschungsintitute e. V. (ADM); v novejšem času pokriva vsa
področja raziskovanja Deutsche Forschungsgemeinschaft (DFG) (DFG 1998).
Ti etični kodeksi se nanašajo na splošna, pogosto precej abstraktna
pravila o vključevanju znanstvenih standardov. Primer za to je naslednje
pravilo iz kodeksa ESOMAR: Tržno raziskovanje je treba vedno opravljati
objektivno in v skladu u utrjenimi znanstvenimi načeli.
46
na vprašanje, ali ima neka raziskava značaj referenčne študije, ob
kateri lahko merimo rezultate drugih manj dragih raziskav, ali pa gre za
standardno anketo, ki nima tako strogih zahtev v zvezi s tehniko in
metodologijo (primerjaj tudi poglavje 13).
9
AAPOR obsoja vse postopke, ki pod plaščem raziskovanja služijo prodajanju ali zbiranju
prispevkov, manipulativno postavljanje vprašanj (push polls), to je manipulativno politično
anketiranje, prikazovanje raznih akcij "pokliči po telefonu" (TED) kot "anket" in še posebej
objavljanje identitete anketiranih oseb brez njihovega dovoljenja (primerjaj "Postopki pri anketah,
ki jih AAPOR zavrača" v dodatku, oddelek 16.1.3).
47
Anketa z anketarji
anketar
multimedia
Poleg ankete z anketarji ima poštna anketa že dolgo tradicijo kot način
komunikacije med raziskovalci in respondenti. Kmalu bomo vedno bolj
uporabljali internet in televizijo kot kanale komuniciranja pri anketah.
Po internetu že delajo številne ankete (čeprav ne anket na osnovi
reprezentativnih vzorcev), niso pa še razširjene ankete z uporabo
televizije.
48
Vsak od teh načinov zbiranja podatkov postavlja posebne pogoje v zvezi s
kakovostjo podatkov. Deloma so že na razpolago rezultati raziskav, ki pa
še ne omogočajo zaključene znanstvene ocene o razlikah v kakovosti pri
uporabi različnih načinov anketiranja (de Loeuw in Collins 1997); glej
tudi poglavji 4 in 5).
6.2.2.2 Vzorci
49
informacije o populaciji. Ta kritična točka se posebno jasno kaže pri
vzorcih, ki jih je treba izbrati iz posebnih populacij, na primer iz
populacije "vseh družin, ki imajo vsaj enega otroka v srednji šoli".
Take informacije morajo biti prav tako dosegljive za telefonske in
poštne ankete (o problemih, ki so povezani s tem, glej pri Gabler in
Haeder 1997).
50
Ponovljena uporaba naslovov respondentov za različne vzorce je lahko za
respondente spodbuda za sodelovanje, še posebej tedaj, če so nagrajeni
(na primer s sodelovanjem pri žrebanju). Paziti pa je treba, da to ne bi
"odprlo vrat" do anket - in s tem do javnega mnenja - zelo različnim
interesnim skupinam.
51
Drug kriterij kvalitete zadeva statistične analize in interpretacije
anket (AAPOR, točka 10). O tem je že v petdesetih letih pisal Duff
(1979; prvič objavljeno 1954), z naslovom Kako lagati s pomočjo
statistike (How to Lie with Statistics). Kljub takemu naslovu so avtorja
predvsem zanimali kriteriji za pošteno in znanstveno točno statistiko.
52
V literaturi so doslej namenjali le malo pozornosti kritični razpravi o
metodah analize podatkov, ki ustrezajo posebnim tipom podatkov. Pri tem
ne mislimo toliko na obsežno literaturo o metodah empiričnega
raziskovanja družbe, pač pa bolj na vsebinsko razpravo o obstoječih
ugotovitvah raziskav.
53
postopnega spoznavanja, da certifikat ne pomeni nujno zoževanja
znanstvene ustvarjalnosti, pač pa tudi zaradi spoznanja, da lahko
certifikat poveča produktivnost in trženje, pa tudi dejansko ali
dozdevno napetost na tržišču.
54
procesa, vendar pa sam ne postavlja standardov, ki slonijo na
znanstvenih kriterijih. Za ta namen potrebujemo splošno sprejete
vsebinske standarde kakovosti. Brez takih standardov je pomen
certifikata za znanstveno kakovost raziskovanja tržišča in družbe v
veliki meri odvisen od zavesti o kakovosti in od filozofije o kakovosti
posebnega inštituta, ki želi certifikat.
55
Foereningen Svenska Marknadsinformationsfoeretag (SMIF) razviti
minimalne standarde, ki bodo ustrezali standardom MRQSA. Španska
organizacija ANEIMO bo objavila priročnik o kakovosti, ki se bo opiral
na British Service Standard in bo obvezen za vse člane.
56
(European Federation of Association of Market Research Organisations,
EFAMRO) je v novejšem času razvila evropske standarde kakovosti, ki so
jih dali v presojo članicam organizacijam.
57
• Sodelovanje z naročnikom
• Konceptualna pomoč raziskavam / Vodenje raziskav
• Zbiranje podatkov
• Obdelava podatkov
• Svetovanje naročnikom
58
Drugi del
59
umerjena. Primerljivost in nepretrganost sta redki in težko je doseči
uskladitev.
60
raziskovalcev iz udeleženih držav, ki sodelujejo pri programih anket, se
izogibajo; sodelujejo znani raziskovalci iz vključenih držav (Szalai
1977: 69-79). V tem se izraža iskanje skupnih standardov in
prizadevanje, da bi operacionalizirali demografske spremenljivke na
čimbolj primerljiv način.
61
povezavi z nacionalnimi statističnimi uradi. Anketa o delu je primer za
tak pristop. Ta postopek je nastal na osnovi izkušnje, da je utrjenim
nacionalnim statistikam težko vsiliti mednarodna prizadevanja, da bi
standardizirali značilnosti anket. Odvisno od pomembnosti posameznih
komponent anket so tiste tehnike in značilnosti, ki so bistvene za
evropsko primerljive statistične rezultate, usklajene na input način,
druge pa na output način.
62
Ocenjujejo, da so vredna posnemanja mednarodna prizadevanja ADM, ASI ter
Nemškega zveznega statističnega urada (German Federal Statistical
Office), da bi se dogovorili za skupne standarde statistike prebivalstva
(Ehling in drugi 1992). Cilji primerjalnega družbenega raziskovanja za
izboljšanje delovnih pogojev so infrastrukturna podpora, okrepljeno
temeljno raziskovanje o zanesljivosti (reliabilnosti) in veljavnosti
(validnosti) različnih merskih instrumentov in načinov raziskovanj, pa
tudi koordinacija, ki sega preko programov, ko gre za velike raziskave.
63
informacije o stališčih posameznikov in o njihovih načinih vedenja, ki
omogočajo zgodovinskemu raziskovanju znanstveno utemeljen vpogled v
človekovo življenje na reprezentativni podlagi; to ni bilo možno pred
začetkom dobe anket. Že ta razlog je dovolj, da je treba podatke
arhivirati za sekundarne analize. Poleg tega je možno tudi znanstveno
preverjati izjave in tabele primarnih raziskovalcev (intersubjektivna
preverljivost; v zvezi s tem glej tudi Deutsche Forschungsgemeinshaft,
Nemška raziskovalna skupnost 1998: 12-13). Poleg tega lahko ponovno
kombiniramo spremenljivke za različne analitične namene, ker lahko pomen
vprašanj in odgovorov interpretiramo v različnih teoretičnih okvirih.
Tam, kjer je orodje merjenja primerljivo, je primerjalno raziskovanje ex
post facto možno v času in prostoru. Ponovna uporaba vprašanj, s
katerimi so prej zbirali podatke, odpira še dodatne perspektive
zgodovinskim raziskavam (Rokkan 1966; Scheuch 1973; Hyman 1972;
Klingemann in Mochmann 1975).
64
• poprava napak
• preveritev marginalov na osnovi načrta kodiranja
Vsak korak pri tem delu bi bilo treba neprestano nadzorovati z vmesnim
štetjem. Kako obsežna so posamezna dela, ni odvisno le od števila
spremenljivk, pač pa tudi od tehničnega stanja izvirne skupine podatkov.
65
Poleg tega hkrati s kopijo čuvajo tudi originalni material (izvod
vprašalnika, opis metode, tehnične in vsebinske informacije o anketi v
opisu raziskave). Sedaj to delajo s pomočjo skenerja na formatu, ki je
združljiv z internetom.
66
treba zaščititi posebne interese naročnikov, bi to lahko naredili na
primer tako, da bi dali podatke na razpolago po preteku določenega časa.
Tudi arhiviranje v inštitutih za anketiranje naj bi upoštevalo tu
napisana pravila arhiviranja.
67
Tretji del
9.1 Diagnoza
68
dosedanje raziskave in izkušnje pa kažejo, da je bilo tega sodelovanja
dosti manj, kot bi ga lahko bilo. Niti informacije ADM, niti rezultati
ankete o načrtovanju in analizi, niti banka podatkov IZ v zvezi z
učenjem ne govorijo o tem, da bi se v praksi pridobljeno znanje v omembe
vredni meri prelivalo v univerzitetno učenje na osnovi dogovorov med
praktiki in univerzami.
69
zagotavljanja ustrezne odprtosti v odnosih med raziskovalnimi inštituti,
množičnimi občili in javnostjo, bodisi da gre za občinstvo, potrošnike
ali za naslovljence anketnih ugotovitev. V medsebojnem tekmovanju kažejo
privatni inštituti za raziskovanje tržišča in javnega mnenja interes za
definiranje in opazovanje kriterijev kakovosti. Ob širjenju zahtev po
hitro dosegljivih ugotovitvah anket o aktualnih zadevah se povečuje
tudi nevarnost, da bodo inštituti zanemarili kriterije kakovosti, da
bodo tekmovali le glede cene in da bodo tvegali, ko bo šlo za vzorce, za
oblikovanje vprašanj in za terensko delo. Ta nevarnost je še toliko
večja, če od naročnikov ne moremo pričakovati, da bi imeli dovolj
strokovnega znanja za ocenjevanje kakovosti. Ta problem se še zaostri,
ker so ugotovitve anket pogosto objavljene v množičnih občilih in o njih
javno razpravljajo, ne da bi prikazali točna besedila vprašanj in in-
formacije o vzorčenju in postopkih dela, še posebno takrat, kadar občila
ali novinarji tega ne morejo oceniti.11
11
Le malo več kot polovica časopisnih poročil o volilnih anketah v Nemčiji je vključevala
informacijo o številu respondentov in le ena tretjina je prikazala točna besedila vprašanj
(Brettschneider 1996). Neka mednarodna anketa ESOMAR/WAPOR je pokazala, da je manj kot 40 odstotkov
od 147 raziskovalcev javnega mnenja (skupno 206) iz 87 držav, ki so jih vprašali, ocenilo, da je
poročanje o ugotovitvah anket v medijih visoko kvalitetno (Foundation for Information 1997).
70
občilih razumljiv korak, ki ga je treba priporočiti, vendar pa je to
brezuspešno prizadevanje v primerih, kadar:
• število respondentov,
• kdaj je bila anketa opravljena,
• kdo je naročnik,
• besedilo vprašanj.
Nič pa niso omenili ostalih minimalnih kriterijev AAPOR ali ADM, ki pri
objavljanju zahtevajo tudi informacije o:
71
• pristranosti vzorca (bias),
• velikosti podvzorca v primerih delnih rezultatov.
72
lahko posplošimo. To velja za vse informacije o slučajnih ali
"reprezentativnih" kvotnih vzorcih, ki jih potrebujemo za
interpretiranje rezultatov, še posebno informacije o deviantnih
(neslučajnih) metodah vzorčenja ali o posebno visokih mejah napak.13
73
časovnem obdobju le tedaj, če v študijskih programih dobijo večji
poudarek metode družboslovnih znanosti na tečajih o komunikološki
znanosti in novinarstvu in v načrtih neuniverzitetnih šol za novinarje
(bodisi privatnih, javno financiranih, ali v okvirih založniških hiš).
Videti je, da bo kratkoročno še bolj pomembno in obetavno, če se bo
povečala možnost nadaljnjega treninga za novinarje, ki že delajo, bodisi
na posebnih univerzitetnih tečajih in seminarjih (n. pr. tečajih za
novinarje, kot jih nudi Freie Universitaet Berlin), ali pa s
sodelovanjem izbranih novinarjev na znanih pomladanskih seminarjih ali
poletnih tečajih o metodah družbenih znanosti, na primer tistih, ki jih
ponujajo ZA, ZUMA, ECPR (European Consortium for Political Research) in
ICSPR (Interuniversity Consortium for Political and Social Research).
74
Četrti del
75
Poseben problem je bila pridobitev pismenega dovoljenja posameznika, da
lahko kdo drug uporabi informacije, ki jih je on sam neposredno zbral z
anketiranjem (Kaase 1980). Na tem mestu ne moremo podrobno prikazati
zgodovine teh sporov in različnih rešitev teh problemov. Pomembno je, da
so organizacije družbene znanosti, ki so bile udeležene (ASI, ADM in
BVM), sklenile sporazum z najvišjimi deželnimi oblastmi, ki so odgovorne
za zaščito podatkov; ocenili so, da je sporazum sprejemljiv za vse,
kljub zakonitim razlikam v mišljenjih. Sprejemljiv je bil v tem smislu,
da je bila zagotovljena zaščita posameznikovih osebnih pravic, kot jo
določa zakon in zanjo jamči ustava; temeljni predpogoji za znanstveno
družboslovno raziskovanje pa niso bili sporni.
14
V zvezi s tem moramo posebej omeniti Nemško družbo za infrastrukturo družbenih znanosti
(Gesellschaft sozialwissenschaftlicher Infrastruktureinrichtungen e. V. GESIS), ki jo podpirajo
federalna vlada in nekatere deželne vlade.
76
zbira podatke za take namene, ne dela raziskave.
77
univerzah in v privatnem družboslovnem raziskovanju. V naslednjem
poglavju bomo pokazali, da ni potrebno dvomiti o tem, ali se bo to
sodelovanje še nadaljevalo. Nasprotno, vse kaže, da se bo to sodelovanje
ne samo nadaljevalo, pač pa se bo še okrepilo, kar bo koristilo tudi
univerzitetnemu družboslovnemu raziskovanju (glej poglavje 9). Zato ni
niti koristno, niti potrebno, da bi se trudili za taka posebna določila
v zakonu o zaščiti podatkov, ki ne bi hkrati vključevala tudi privatnega
raziskovanja tržišča in privatnih družboslovnih raziskav.
78
Peti del
79
in intenziviranje družboslovnega raziskovanja, še posebno v empirični
smeri. ASI je ustanoviteljica Informacijskega centra za družbene
znanosti (Informationszentrum Sozialwissenschaften, IZ) v Bonnu, ki je
od leta 1986 korporativni član Družbe družboslovnih infrastrukturnih
institucij (Gesellschaft sozialwissenschaftlicher Infrastrukture-
inrichtungen e. V., GESIS) (Oba preostala korporativna člana sta ZA
(Zentralarchiv fÜr Empirische Sozialforschung, Osrednji arhiv za
empirične družbene raziskave) in ZUMA (Zentrum fuer Umfragen, Methoden
und Analysen e. V., Center za anketiranje, metode in analize v
Mannheimu).
80
je izkazal kot pomembna točka prekrivanja med akademskim in privatnim
raziskovanjem z anketami. Težišče njegovega dela je pomoč družboslovnim
znanstvenikom, še posebno na univerzah. Kot servis svetuje v zvezi z
razvojem raziskovalnih načrtov, pripravo instrumentov za anketiranje,
vzorčenjem in interpretacijo podatkov. Poleg tega organizira redne
metodološke seminarje za znanstvenike in izdaja dva časopisa: ZUMA-
Nachrichten (ZUMA-Novice) in Informationsdienst Soziale Indikatoren
(Informacijska služba socialni kazalci). Sodelovanje z inštituti za
tržne raziskave in raziskovanje javnega mnenja velja še posebej za
terensko delo pri anketiranju.
81
metod odkrili vsak zase in na novo, so pa porabili precej sredstev za
temeljne raziskave (na primer Jung 1990); vendar te pridobljene izkušnje
in ugotovitve raziskovanja niso bile takoj objavljene, ne nazadnje
zaradi tekmovalnosti. Zaradi tega, pa tudi zaradi različnih izkušenj
inštitutov, postaja vedno bolj iluzorna skupna norma glede novejših
tehnik intervjujev za privatno in akademsko raziskovanje. Dodati je
treba, da akademsko raziskovanje nima dovolj sredstev, da bi lahko bilo
na tem področju resen tekmec. Če gledamo v celoti, grozi nevarnost, da
se bo privatno anketiranje čedalje bolj ločevalo od akademskega
anketiranja.
12.3 Sklepi
82
13. Spremembe in pričakovanja na področju anketiranja
83
• nepopačena odslikava neke definirane populacije v vzorcu,
• veljavno in zanesljivo merjenje parametrov z intervjuji.
• točnost rezultatov,
• ustreznost metod.
84
strokovna razprava in neprestano metodološko raziskovanje, ki upošteva
tudi raziskovalno prakso.15
15
Primer za takšen prispevek je novejša objava metodološke študije o Evrobarometru, ki sta jo
napisala Saris in Kaase 1997.
16
ADM sistem vzorčenja temelji na slučajnem izboru splošnih volilnih področij. Določeni naslovi so
slučajno izbrani v področjih in so izhodiščna točka za tako imenovani "random walk", pri katerem se
na splošno izbere vsako tretje gospodinjstvo (Loeffler in von der Heide 1993).
85
zakonu o zaščiti podatkov so nameravali zaščititi potrošnike pred
nepoklicanim telefonskim trgovanjem; to dopolnilo pa ne razlikuje na
jasen način takega trgovanja od anketnega tržnega raziskovanja in takoj
vpliva na telefonske ankete (glej poglavje 11).
86
Vsaka od teh sestavin pokriva vrsto postopkov, ki so deloma v zvezi s
kakovostjo, ki jo lahko ocenimo. "Boljše metode" vključujejo večji
učinek in so zato dražje. Temu bi lahko rekli stroški kakovosti (quality
costs). Vsak model postopka predstavlja posebno ravnovesje med
kakovostjo in vidiki stroškov.
17
Dodajamo, da je seveda "dober vprašalnik" močan kriterij kakovosti. Vendar pa lahko razpravljamo
o metodoloških problemih ne glede na kakovost posebnega vprašalnika. "Dober vprašalnik" pa mora
upoštevati možnosti in omejitve izbrane metode intervjuja (glej poglavje 4).
87
področje?
88
anket različne skupine naročnikov nimajo istih kriterijev kakovosti.
Danes firme želijo, da jim raziskovalno tržišče hitro ponudi
informacije, ki so koristne za njihovo sprejemanje odločitev; kriterija
za instrumente ankete sta v skladu s tem hitrost in usmeritev na
problem. V nasprotju s tem pa družbeno znanost zanimajo kvaliteta
vzorčenja, terensko delo, zajetje vzorca, učinki različnih načinov dela
itd.
89
Ne nameravamo obdelati vseh možnih razsežnosti kakovosti. Stvari, o
katerih govorimo, tipizirajo sedanje modele postopkov.
90
pokažejo na možne strukturne učinke izpadanja iz vzorca (10)18
Vse ostale metode vzorčenja morajo popustiti pri enem ali drugem od
kriterijev, ali pa to namenoma naredijo, da bi bili stroški manjši. Če
upoštevamo vse gornje kriterije kakovosti, so vzorci random route19 (za
intervjuje 'iz oči v oči') in telefonski vzorci na sredini ranga; zaradi
različnih možnosti organiziranja teh metod je razpon kakovosti velik.20
Po teh kriterijih zavzemajo kvotni vzorci nizko mesto na lestvici.
18
To je nadomestek (čeprav neustrezen) za strukturne informacije o velikem vzorcu
19
"Vzorec slučajne poti" ("random route sample") je izraz za tiste vzorce, ki so izbrani na temelju
ADM sistema vzorčenja
20
Nekatere statistične kriterije kakovosti je laže zadovoljiti s telefonskimi intervjuji kot z osebnimi intervjuji 'iz oči
v oči'. Glej poglavje 13.4.2
91
odrasle osebe (ki pogosto še vedno živijo v gospodinjstvih staršev, na
primer v skupnem gospodinjstvu) so reprezentirani v manjši meri. To ni
nujno zaradi tega, ker je teže priti do njih, ali pa zato, ker bi bili
manj pripravljeni na sodelovanje (9), pač pa zato, ker imajo manjšo
možnost, da bodo izbrani (4).
Nadomeščanje
21
Socialnoekonomski panel (Sozio-oekonomisches Panel, SOEP) je letna raziskava okrog 6000 gospodinjstev, ki jo od leta 1984 opravlja Nemški
inštitut za ekonomsko raziskovanje (Deutsches Institut fuer Wirtschaftsforschung, DIW) v sodelovanju z Infratest Burke. Glej Projektgruppe Panel
1993 Burkhauser in drugi 1997)
92
distribucijo vzorca z regionalno definiranimi primarnimi enotami
selekcije ali s točkami vzorca (v večfaznih načrtih vzorčenja; običajno
sloni na oceni pristranosti vzorca). Če vzamemo primer vzorca s točkami
desetih naslovov in če nadomeščanje ni dovoljeno, so lahko neke točke v
realiziranem čistem vzorcu predstavljene z nič, enim ali dvema
intervjujema, druge pa z 8, 9 ali 10. Če je stopnja zajetja v določenih
regijah, skupnostih ali soseskah (na primer v združenih mestih)
sistematično nižja kot v drugih, je ustrezna populacija podreprezetirana
v vzorcu.
93
• Od mnogih dejavnikov je odvisno, ali bo vzorec preslikal populacijo
brez pristranosti (bias). Našteli smo deset razsežnosti kakovosti.
Le
celota teh kriterijev omogoča točne ocene.
Kvotno vzorčenje daje več možnosti izbora samega sebe pri respondentih
in nekontroliranega izbora pri anketarjih (na primer pri raziskavi Shell
Youth Study iz leta 1984, kjer so uporabili kvotne vzorce, je 86
94
odstotkov mladih respondentov poznalo anketarja že pred intervjujem;
glej Jugendwerk der deutschen Shell 1985: 67). Pri nekaterih ciljnih
skupinah se morda temu ne da izogniti in je za določene namene morda
sprejemljivo, vendar ni nobenega razloga za trditev, da to ustvarja
boljše, bolj reprezentativne vzorce.
95
navezovanja stikov, da bi se tako izognili izpadom iz vzorca
(nonresponse).
• Skupni stroški so mnogo nižji, če le intervjuji ne trajajo
predolgo.
• Hitrost, s katero lahko opravimo anketo, se lahko znatno poveča, če
je dovolj delovnih mest, kjer delajo anketarji.
22
Na primer trend v smeri več telefonskih zvez na gospodinjstvo (ISDN, mobilna telefonija) ter naraščajoča uporaba strojev za odgovarjanje
(answering machines).
96
modelov postopkov.23
97
niso pripravljeni sodelovati. Zelo zanimive so vse tiste tehnike, ki
delujejo brez anketarja. Na tem področju bodo izkoristili možnosti novih
elektronskih medijev in tehnologij.
98
Šesti del: Priporočila
99
V zvezi s tem je treba omeniti tudi psihološko tržišče, javno mnenje in
družbeno raziskovanje s svojimi številnimi in različnimi metodološkimi
pristopi.
100
ukvarja s postopki, to je s formaliziranimi procesi, manj pa z
intelektualno ustvarjalnostjo, postajajo zahteve glede kakovosti, kot so
jih definirali sami raziskovalci, vedno bolj standardi. Korak v to smer
so tudi proizvodi, ki jih vedno bolj razvija raziskovanje trga, javnega
mnenja in družbe.
Nadaljne tehnične novosti bodo prej ali slej močno dodatno vplivale na
metode zbiranja podatkov v družbenih znanostih. Ena od smeri razvoja bi
lahko bilo izbiranje reprezentativnih vzorcev iz dane populacije na tak
način, da bi lahko ankete opravljali preko oddaljenih omrežij za
obdelavo podatkov in z uporabo neke ustrezne naprave v gospodinjstvu.
Tak razvoj bi postavil docela nova metodološka vprašanja. Na to področje
spada tudi zbiranje podatkov s pomočjo interneta.
101
8. Tudi anketno raziskovanje postaja mednarodno
102
raziskovanja trajno in nepopravljivo osramočen zaradi "anket" te vrste,
še posebej takrat, kadar z njimi zbirajo naslove, ali pa jih uporabljajo
za neposredno trženje (z vidika zakonov gre za nepošteno trgovanje, če
se lotevajo oglaševanja pod pretvezo, da gre za raziskovanje). Tveganje,
da se bo zmanjšala pripravljenost respondentov na sodelovanje (stopnje
zajetja vzorca), ki jih povzroča tako ravnanje, ogroža bistvena načela
empiričnega družboslovnega raziskovanja. Zelo nujno je treba z zakonom
urediti to vprašanje in javnost opozoriti nanj.
103
raziskovanja
104
priznanje
105
15. Bibliografija
(skenirati)
106
Sedmi del
Dodatek in dokumentacija
16.1.1 Uvod
107
standardov, idealov ali ciljev razumljivo pomeni tveganje: a) da bodo
nekateri kriteriji odličnosti brez dvoma vsaj deloma v konfliktu z
drugimi, b) da bi druge kriterije čisto zanemarili, in c) da si nobena
taka vrsta predpisov ne more zares prisvojiti vloge razsodnika pri
tehtanju alternativnih sredstev in posledic" (Turner in Martin 1984,
311) pri takih zadevah. Vendar pa AAPOR v duhu dviganja prakse anket na
višjo stopnjo ponuja v oddelku A natančen seznam "najboljših postopkov"
pri raziskovanju javnega mnenja z anketami.
108
2. Upoštevajte alternative anketi pri zbiranju informacij.
109
jasne ocene o možnih izpadih iz vzorca (nonresponse) in o
reprezentativnosti vzorca.
110
je treba uporabiti dobro razvite kognitivne raziskovalne metode (na
primer parafraziranje in intervjuje "misli glasno") in podobne metode
(na primer kodiranje interakcij med anketarjem in respondentom) pri
osebah, ki so podobne onim, ki jih bo zajela anketa; tako bi ocenili in
izboljšali vsa ključna vprašanja teh različnih razsežnosti.
111
8. Pripravite nadzor kakovosti za vsako fazo ankete posebej.
112
ponovno pošiljanje pisem ali ponovno telefoniranje tistim, ki na začetku
niso odgovorili. Če ne skušamo slediti tistim, ki so težko dosegljivi,
ali pa odklanjajo sodelovanje, lahko resno spodkopljemo dobro načrtovano
anketo. Če pride do tega, je treba: (a) skrbno izdelati urnik obiskov
gospodinjstev ali klicev po telefonu in upoštevati najprimernejši dnevni
čas za telefoniranje ali obisk; (b) dobiti privolitev za ponovno
poskušanje (na primer telefoniranje ob različnih dnevnih časih), da bi
temeljito obdelali izbrani vzorec z vidika "ga ni doma" ali podobnih
situacij; in (c) posebno si je treba prizadevati (na primer odklonitve
pri izkušenih anketarjih), da bi pregovorili k sodelovanju ljudi, ki
nagibajo k odklanjanju. Pri poštnih anketah je običajno treba poslati
vljuden opomin in opraviti več ponovnih pošiljanj pisem; včasih je treba
po telefonu ali z osebnim obiskom priti v stik vsaj s podvzorcem
preostalih nerespondentov. Kjer je možno, je treba v načrt ankete
vključiti tudi posebna prizadevanja, da bi neposredno opazovali ali
merili značilnosti nerespondentov.
113
podatkov ankete in pri interpretiranju ugotovitev raziskave, v
vsestranskem prizadevanju, da bi ocenili napako z vseh vidikov. Sklepe
(conclusions) bi morali skrbno razlikovati od dejanskih ugotovitev
(factual findings) in zelo bi morali paziti na to, da se prepričamo, ali
obstaja skladnost med prikazani sklepi in ugotovitvami.
114
12. Razkrijte vse metode ankete, da bi tako omogočili ocenitev in
ponovitev ankete.
Izvrstna praksa anketiranja zahteva prikaz vseh metod ankete ter dovolj
natančno poročanje o njih, da lahko nek drug raziskovalec ponovi anketo,
in da so vsi podatki - na primeren način zavarovani glede zasebnosti in
zaupnosti - v celoti dokumentirani in na voljo za neodvisno preverjanje.
Dober postopek postavlja pred vse raziskovalce javnega mnenja obveznost,
da vključijo v vsako poročilo in prikaz rezultatov določen najmanjši del
bistvenih informacij o tem, kako je bila izpeljana anketa; to zagotavlja
uporabnikom ustrezno osnovo za ocenjevanje zanesljivosti in veljavnosti
rezultatov v poročilu. Vzorni postopki pri anketah prekašajo standarde
"minimalnega razkritja", ki jih razširjajo AAPOR in druga poklicna
združenja (na primer CASRO in NCPP), na ta način, da (a) dovolj natančno
opišejo, kako je bila opravljena raziskava, da jo lahko izkušen
raziskovalec ponovi, in (b) omogočijo, da so podatki dosegljivi za
neodvisno preiskavo in analize, ki jo opravijo drugi odgovorni ljudje (z
ustrezno zaščito zasebnosti).
115
primer skupno število elementov vzorca, s katerimi smo prišli v
stik, število tistih, ki jih ni bilo mogoče srečati, število
odklonitev, število nezaključenih intervjujev, število neprimernih
in število v celoti opravljenih intervjujev oz. število
vprašalnikov;
• dokumentacija in popoln opis, če je uporaben, vseh stopenj zajetja
enot vzorca (pri kvotnem načrtovanju število odklonitev) in, če je
možno, informacija o tem, kako se nerespondenti razlikujejo od
respondentov;
• opis vseh postopkov, ki so bili uporabljeni pri beleženju, urejanju
ali prilagajanju podatkov ali opis postopkov indeksiranja;
• razprava o natančnosti ugotovitev, z vključitvijo, če je primerno,
oceni napake vzorčenja z ozirom na druge možne vire napak, tako da
ne pride do zavajajočega vtisa glede natančnosti, in opis vsakega
uteževanja ali postopka ocenjevanja;
• opis vseh odstotkov, na katerih slonijo sklepi;
• jasna označitev, kateri rezultati slonijo na delih vzorca in ne na
celotnem vzorcu;
• metoda (metode), kraj(i) in datumi intervjujev, terenskega dela ali
zbiranja podatkov;
• značilnosti anketarjev;
• kopije navodil ali priročnikov za anketarje, rezultati validacije,
kodirne knjige in drugi pomembni delovni papirji ter vse druge
informacije, da bi si lahko laični bralec ustvaril razumno oceno o
sporočenih ugotovitvah.
116
2. Prodajanje proizvodov ali uslug ali pa uporaba stikov z ljudmi za
ustvarjanje nekih prednosti pri prodajanju. Običajni postopek je tak,
da si pridobijo vstop in da jih sprejmejo; naredijo si nekakšno
"prodajno stojnico", ko na začetku trdijo, da so se povezali z
"raziskovalnimi nameni". To je trgovanje na račun ugleda znanosti in
izkoriščanje pripravljenosti javnosti, da v javnem interesu odkriva
informacije o sebi. V nekaterih primerih z vprašanji ugotovijo
občutljivost respondentov na pritiske prodaje in njihovo zanimanje za
določene proizvode ali usluge. Potem navežejo stike s tistimi, ki so
jih na tak način odkrili; vse to se dogaja pod pretvezo
"raziskovanja".
117
pa tudi za razumevanje, katerim proizvodom in uslugam javnost daje
prednost, najstrože obsojamo take postopke.
16.1.4 Viri
Poleg številnih predlogov članov sveta in drugih članov AAPOR smo pri
sestavljanju obeh list "postopkov, ki jih AAPOR obsoja" in "najboljših
postopkov" uporabili naslednje vire:
Maj 1997
26
Vir: Internet (http://www.aapor.org/ethics/principl.shmt)
118
javnega mnenja in pravilne uporabe ugotovitev takega raziskovanja.
Kodeks
119
II. Načela profesionalne odgovornosti pri našem delu z ljudmi
A. Javnost:
C. Poklic:
D. Respondent:
120
če nam respondenti to dovolijo.
III. Standardi minimalnega razkritja
Marec 1986
121
Pride do izboljšanja obstoječe politike, proizvodov in uslug in do
ustvarjanja novosti. Naši člani soglašajo s kodeksom profesionalne etike
in s postopki, ki poudarjajo poštenost, spoštovanje in profesionalizem v
naših stikih z vsemi, ki sodelujejo pri naših anketah ali drugih načinih
raziskovanja.
27
To izjavo so potrdila naslednja združenja: Advertising Research Foundation, American Association for Public Opinion Research, American
Marketing Association, American Statistical Association, Association for Consumer Research, Council of American Survey Research Organisations,
Market Research Association, National Association of Broadcasters, National Council of Public Polls, Newspaper Association of America,
Qualitative Research Consultants Association, Society for Consumer Psychology.
122
• Kritično preglejte zbrane informacije. Obdelajte in očistite jih.
Temeljito jih analizirajte. Iščite smisel v njih.
• Nadzirajte in preverite vsak korak v raziskovalnem procesu.
123
zasluži ta odgovorna in poklicna dejavnost.
• Sprejmite le tiste naloge, ki jih lahko zaključite v danem času
glede na veščine in sredstva.
• Tekmujte za raziskovalna naročila na osnovi zmožnosti in vrednot,
ne pa s skrivnimi pogodbami ali nezakonitimi finančnimi dogovori.
• Zahtevajte le legitimne akademske stopnje, naročnike in druge
kvalifikacije.
• Naj ostane zaupno vse, kar ste zvedeli o sponzorjevih poslih.
Spoštujte pravico sponzorjev do lastnine raziskave in njihovega
dostopa do kupljene raziskave.
• Priznajte sponzorjem pravico, da legalizirajo raziskavo, ki ste jo
naredili za njihovo uporabo. Pozdravite strokovne ocene raziskave, pa
naj prihajajo od kogar koli izven sponzorjeve organizacije.
• Izzivajte vse slabo opravljene in nepoštene raziskave. Ščitite dobro
opravljeno raziskovanje, ki ga nepošteno napadajo.
124
navedbe. Enota za tabeliranje pri tabeli 1 je navedeni primer, izražena
pa je v odstotkih na osnovi projektov.
------------------------------------------------------------------------
Metoda Skupaj DFG
------------------------------------------------------------------------
abs. št. % abs. št %
------------------------------------------------------------------------
Individualni intervju 7,875 52.6 634 54.8
Telefonski intervju 604 4.0 32 2.8
Ekspertni intervju 4,207 28.1 190 16.4
Skupinska diskusija 1,993 13.3 87 7.5
Poštni intervju 8,323 55.6 656 56.7
Opazovanje 3,045 20.3 211 18.2
Analiza poročil 8,258 55.2 509 44.0
Analiza vsebine 3,180 21.1 217 18.8
Test 1,207 6.9 94 8.1
------------------------------------------------------------------------
Skupaj primerov 38,512 2,630
Skupaj projektov 14,966 257.2 1,156 227.3
------------------------------------------------------------------------
125
* Analizirali smo letna poročila DFG od leta 1991 naprej; vendar ne vsebujejo določenih informacij,
ki so običajne pri anketah FORIS (na primer natančne informacije o metodah). Glede na močan 50
odstotni dvig (od 206 na 301) je lahko oster padec v zadnji vrsti tabele (od 59.2 odstotka na
40.9 odstotka povezan s tem. Vpliv se kaže le pri DFG projektih.
126