Download as pdf or txt
Download as pdf or txt
You are on page 1of 15

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/315800029

EĞİTİM ARAŞTIRMALARINDA ÖRNEK OLAY (VAKA) ÇALIŞMALARI: TANIMI,


TÜRLERİ, AŞAMALARI VE RAPORLAŞTIRILMASI

Article · January 2005

CITATIONS READS

38 34,218

2 authors:

Ruken Akar Vural Fulya Cenkseven Önder


Aydın Adnan Menderes University Cukurova University
42 PUBLICATIONS 263 CITATIONS 70 PUBLICATIONS 784 CITATIONS

SEE PROFILE SEE PROFILE

All content following this page was uploaded by Fulya Cenkseven Önder on 06 April 2017.

The user has requested enhancement of the downloaded file.


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

E T M ARA TIRMALARINDA ÖRNEK OLAY (VAKA) ÇALI MALARI:


TANIMI, TÜRLER , A AMALARI VE RAPORLA TIRILMASI

CASE STUDIES IN EDUCATIONAL RESEARCH: DEFINITION, TYPES,


STAGES AND REPORTING OF CASE STUDY RESEARCH
*
Ruken Akar Vural
**
Fulya Cenkseven

ÖZET
Bu çalı manın temel amacı, 1980’li yıllardan itibaren sosyal bilimler
alanında hızla yaygınla maya ba layan bir ara tırma deseni olarak örnek
olay çalı masını tanımlamaktır. Bununla birlikte çalı manın di er amaçları,
örnek olay çalı malarının e itim bilimleri alanında kullanılma nedenlerini
incelemek, a amaları ve raporla tırılmasına ili kin ayrıntılı bilgi sunmaktır.
ANAHTAR SÖZCÜKLER: Örnek olay çalı ması, örnek olay
çalı masının tanımı, türleri, a amaları ve raporla tırılması.
ABSTRACT
The main purpose of this study is to define case studies as a
research design which has become widespread swiftly since 1980. In
addition, other purposes of this study are to examine the reasons for using
case studies in educational sciences and to present detailed information
about the stages and reporting of the case studies.
KEY WORDS: Case study; definition, types, stages and reporting of
case study research.

1. G R
Örnek olay (vaka) çalı malarının tarihsel geli imine bakıldı ında,
hukuk ve tıp disiplinlerine ili kin bir kavram olarak ortaya çıktı ı, antropoloji,
psikoloji, sosyoloji, yönetim, sosyal hizmetler ve politik bilimler gibi alanların
geli iminde de önemli rol oynadı ı görülmektedir. Yalnızca sosyal bilimler
açısından bakıldı ında ise, 1960’lı yılların sonu, 1970’lerin ba ında e itim
ara tırmalarındaki dinamikleri ve süreci ayrıntılı biçimde açıklamak amacıyla,
örnek olay çalı maları yapılmaya ba lanmı fakat sıklıkla kullanımı
1980’lerde söz konusu olmu tur (Merriam, 1988).
Hartley’ in de (Akt. Yıldırım ve im ek, 1999) belirtti i gibi, 1960 ve
1970’ li yıllarda pozitivizmin egemenli i sosyal bilimler alanında çalı anların
örnek olay çalı malarına ilgi göstermesini kısmen engellemi , 1980’li yıllarda
bu alana ili kin ilgi artmaya ba lamı tır.
*
Ö r. Gör. Dr. Adnan Menderes Üniversitesi, E itim Fakültesi, E itim Bilimleri
Bölümü.
**
Ö r . Gör. Dr. Çukurova Üniversitesi, E itim Fakültesi, E itim Bilimleri
Bölümü.

126 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

Bu çalı mada, örnek olay çalı malarının e itim ara tırmalarında


kullanılma amaçları, türleri ve bir örnek olay çalı ması gerçekle tirilirken
planlamadan raporla tırmaya de in, nasıl bir sürecin i letilmesi gerekti i
açıklanmaya çalı ılmı ve örnek olay çalı malarına ili kin örnekler verilmi tir.
1.1. Örnek Olay Çalı malarının Tanımı ve Türleri
Örnek olay çalı ması, tıpkı mimaride yapılan ayrıntılı bir planlama
gibi, bilgi toplama, toplanan bilgileri organize etme, yorumlama ve ara tırma
bulgularına ula ma gibi basamakları içeren sistematik desen türlerinden
biridir (Merriam, 1988). Di er bir tanımlama ile örnek olay çalı ması; (1)
güncel bir olguyu kendi gerçek ya am çerçevesi (içeri i) içinde çalı an, (2)
olgu ve içinde bulundu u içerik arasındaki sınırların kesin hatlarıyla belirgin
olmadı ı, ve (3) birden fazla kanıt veya veri kayna ının mevcut oldu u
durumlarda kullanılan, görgül bir ara tırma yöntemidir (Yin, 1984:23; Akt.
Yıldırım ve im ek, 1999:190).
Örnek olay çalı maları, bir program, bir ki i, bir i lem, bir süreç, bir
kurum ya da bir sosyal grup gibi spesifik bir olguyu derinlemesine ara tırmak
için oldukça elveri li bir desendir. Bununla birlikte, tek bir vakanın seçilmesi,
“gerçek” hakkında olabildi ince çok ve anlamlı bilgi de verebilmektedir.
Adelman, Jenkins ve Kemmis (1983; Akt: Merriam, 1988) bunu “bir sınıftan
yalnızca bir spesifik durumu çekip çıkarmak” eklinde tanımlamaktadırlar.
Ele alınan sınırlı olgu hakkında derinlemesine bilgi verebilen örnek olay
çalı maları, e itim ara tırmalarının do asına da oldukça uygundur. Cohen ve
Manion (1994: 123), e itim ara tırmalarında örnek olay çalı malarının tercih
edilme nedenlerini u ekilde sıralamaktadır;
- Örnek olay çalı maları ile elde edilen veriler, “gerçeklik ba lamında
çok güçlüdür” fakat organize edilmesi güçtür. Kar ıt olarak, di er
ara tırma verileri gerçeklik açısından zayıflık gösterirler, fakat
kolayca organize edilebilmektedirler.
- Örnek olay çalı maları bir olaya ya da bir olaydan bir kategoriye
genellemeye olanak tanımaktadır.
- Örnek olay çalı maları, sosyal gerçekleri en küçük ayrıntılarına
kadar i leyerek iyice özümsemeye olanak tanır. Sosyal durumların
dikkatlice incelenmesi, katılımcıların bakı açıları arasındaki
uyumsuzluk ve çeli kileri de ortaya çıkarabilir. En iyi örnek olay
çalı maları, alternatif yorumların da sunulmasıyla gerçekle mektedir.
- Örnek olay çalı maları, ürün olarak da dü ünülebilir. Ar iv belgeleri
ya da betimleyici materyaller, sonradan ortaya çıkan yeniden
yorumlamaların yapılabilmesine olanak tanır. Bu materyaller, özellikle
e itim ara tırmaları için ara tırmacının temel amacı dı ında da
birtakım yeni amaçları ve yeni ara tırma konularını ortaya çıkarabilir.
- Örnek olay çalı maları ile elde edilen bulgular do rudan
yorumlanmaya ve kullanıma hazırdır. Bir birey, bir akademik kadro ya
da bir kurum için yapılan çalı malar bir “e itim ortamı” geli tirmeye
kadar gidebilir.
- Örnek olay çalı maları, anla ılması ve yorumlanması bakımından
di er ara tırma raporlarına göre daha çok “kamuya açık olma”
niteli i ta ırlar. Ara tırma formları ve ara tırma formunun dili, “belirli

Burdur E itim Fakültesi Dergisi 127


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

bir kesime hitap etme” özelli ini di er ara tırma raporlarına göre
daha az ta ırlar ve bu nitelik halk tarafından anla ılırlı ı artırır.
Örnek olay çalı maları, farklı sosyo-ekonomik düzeylerden gelen
çok sayıda okuyucuya hizmet etmeyi temel alır. Bu nedenle örnek
olay çalı malarının “demokratikle me” sürecine katkıda bulundu u
söylenebilir.
“Gerçek” hakkında derinlemesine bilgi vermek ve uygulamada pratik
yararlar sa lamak amacıyla kullanılan örnek olay çalı masının birkaç türü
bulunmaktadır. Bu türler, ara tırma sonunda beklenen hedef ürüne göre
farklıla ma göstermektedir. Örne in, ara tırmadan elde edilmesi beklenen
ürün betimleyici mi? Ara tırmanın oda ı elde edilen verilerin yorumları mı?,
analizi mi? Bu çalı ma ile bir kuram mı olu turuluyor? Yoksa bir program mı
de erlendiriliyor?... gibi sorulara verdi i yanıtlar çerçevesinde örnek olay
çalı maları, “betimleyici”, “yorumlayıcı” ve “de erlendirici” olarak üçe
ayrılmaktadır. Betimleyici örnek olay çalı ması, incelenen olgu hakkında
ayrıntılı bilgi edinmek açısından oldukça i e vuruktur. Genellikle, daha sonra
yapılacak kar ıla tırmalı çalı malar için veri tabanı olu turmaya ve kuram
geli tirmeye yönelik olarak yapılmaktadır. E itim bilimleri açısından
bakıldı ında, özellikle yeni programlar ve uygulamalar betimleyici örnek olay
çalı malarının ara tırma oda ını olu turmaktadır. Yorumlayıcı örnek olay
çalı maları ise, yo un ve zengin betimlemeleri kapsamaktadır. Ara tırmacı,
mümkün oldu unca çok miktarda veri toplamaya çalı malıdır ki, toplanan
veriler bir kuram geli tirmeye ya da kuramı test etmeye yeterli olsun. Özellikle
bir kuram geli tirmeye yönelik çalı malar yapılıyorsa, de i kenler arasındaki
ili kiler saptanırken, yüksek düzeyde soyutlama ve kavramsalla tırmaya
gidilmesi için yorumlamaların yapılması gerekmektedir. De erlendirici örnek
olay çalı maları ise, betimleme, açıklama ve yargılamayı içermektedir. Örnek
olay çalı malarının en önemli özellikleri olan; yo un betimleme, bütüncül
bakı , okuyuculara kolay okunabilme ve anla ılabilme olana ı verme ve
algılama kolaylı ı sa lama (Guba ve Lincoln, 1981; Akt: Merriam, 1988) bu
desenleme türünün, “yargıya varma amacıyla bilgi sunma” özelli ini
beslemektedir. Yargıya varma ise, de erlendirmenin en son a amasını
olu turmaktadır (Merriam, 1988).
Bir örnek olay çalı ması, ara tırmanın ilk basama ı olan
planlamadan raporla tırmaya kadar pek çok a amayı içermektedir. Bu
a amalar a a ıda ayrıntılı bir ekilde tanımlanmaya ve örneklendirilmeye
çalı ılmı bununla birlikte, bir örnek olay çalı ması raporla tırılırken
ara tırmacının nasıl bir yol izlemesi ve nelere dikkat etmesi gerekti i
üzerinde durulmu tur.
1.2. Örnek Olay Çalı masının A amaları
Örnek olay çalı ması yapılırken belli basamakların izlenmesi
gerekmektedir. Bu basamaklar u ekilde özetlenebilir:
1.2.1. Ara tırma Hedefinin ve Ara tırma Probleminin Belirlenip
Sınırlandırılması
Ara tırma hedefinin ve probleminin belirlenmesi, ara tırmayı
desenlemeden önce verilmesi gereken en önemli karardır. Her ara tırma için
önemli olan kim, ne, nerede, nasıl, niçin sorularından özellikle “nasıl” ve

128 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

“niçin” soruları örnek olay çalı maları için son derece önemlidir. Örne in, bir
üniversitede ne tür ileti im sorunlari ya andı ını örnek olay çalı ması yoluyla
ortaya koymak isteyen bir ara tırmacı, ara tırma sorularını “ne tür” eklinde
olu turabilir. A üniversitesinin X, Y, Z bölümlerinde görev yapan ö retim
elemanlarının ya adı ı en önemli ileti im sorunları “nedir” veya “nelerdir”
eklinde hazırlanan ara tırma sorusu, ilgili bölümlerdeki ileti im durumunu
ke fetmeye yönelik açık uçlu bir sorudur. Öte yandan, aynı soru “nasıl”
yoluyla da ara tırılabilir. A üniversitesinin X, Y, Z bölümlerindeki ögretim
elemanları bölümlerindeki ileti imi “nasıl” de erlendirmektedirler? Yine bu
sorudan yola çıkarak ara tırmacı, ileti imle ilgili bir dizi sorun alanını
ke fedebilecektir (Yin, 1984; Akt: Yıldırım ve im ek, 2000).
1.2.2.Ara tırma De i kenlerinin Belirlenmesi
Ara tırma stratejisini geli tirmek ve ara tırmayı etkili biçimde
yapılandırabilmek için ara tırıcının öncelikle, u üç de i keni belirlemesi
gerekmektedir.
*ba ımlı de i kenler hangileridir?
*ba ımsız de i kenler hangileridir?
*parametreler nelerdir? (Bennett ve George, 1997).
1.2.3. Örnek Olayın Seçimi
“Örnek olayın seçimi”, ara tırmanın ilk a amasında ara tırıcıyı
epeyce yoran bir konudur. Örnek olay seçiminin en önemli ölçütü, “ara tırma
amacına en uygun vakanın seçilmesi” gerekti idir. Daha sonra vakanın
”ilginç”, “önemli” ve “ara tırılabilir” olmasına dikkat edilmelidir. Birden fazla
vaka üzerinde çalı ılacaksa genel yakla ım, birbirine “en çok benzerlik
gösteren” ya da “en az benzerlik gösteren” vakaların seçilmesidir (Benneth
ve George, 1997).
Ara tırmanın amacı açık olarak formüle edilemedi i zamanlarda
örnek olayın seçimi oldukça güç olmaktadır. Ara tırmacı, hangi durumların
ara tırma problemine uygun oldu u, hangilerinin olmadı ını, açık bir ekilde
belirlemek durumundadır. Ara tırmacının örneklem seçerken de konu
alanına ve ara tırma problemine en uygun örneklemi seçmesi gerekmektedir
(Bennett ve George, 1997). Tüm bunlara ek olarak Jensen ve Rodgers da
(2001) örneklem seçiminin temel konulardan biri oldu unu belirtmekte ve
ara tırmanın belli bir kuramsal temele de dayandırılması zorunlulu una
dikkat çekmektedir.
1.2.4. De i kenlerdeki Varyansın (Uyu mazlık) Belirlenmesi
Ara tırmacı amacı ister bir kuramı test etmek olsun, isterse kuram
geli tirmek olsun, en uygun de i kenleri belirlemek çok önemlidir.
De i kenlerin belirlenmesinde, sıklıkla kar ıla ılan bir kavram önyargıdır.
Önyargı hem yapıcı olmayan hem de riskli bir durumdur. Bu nedenle,
ara tırmacının çok hassas davranması gerekmektedir. Di er taraftan,
ara tırmacının dü ünmesi gereken en önemli soru, kaç de i ken kategorisini
dikkate alaca ıdır. Örne in, dichotomous (ikili) de i kenler, ekonomiklik
(Parsimony) ilkesine uygun olmakla beraber, zenginlik ve ayrıntıdan
yoksundurlar. Oysa, tricotomous (üçlü) ve daha fazla kategoriden olu an
de i kenler, ara tırmaya zenginlik katarken, ekonomiklik ilkesine ters
dü mektedir (Bennett ve George, 1997). Bu nedenle ara tırmacının

Burdur E itim Fakültesi Dergisi 129


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

ara tırmasını planlarken tüm bu de i kenleri de göz önünde bulundurması


gerekmektedir.
1.2.5. Ara tırma Sorularının Formüle Edilmesi
Ara tırma sorularının, ara tırmanın hedefine ve oda ına uygun
olarak hazırlanması gerekmektedir. Fakat dikkat edilmesi gereken asıl nokta
udur: Ara tırmacı, ara tırma ile elde edilecek verilerin kar ıla tırılması
üzerine odaklanırsa i levsel sorular elde edemeyebilir ve zengin,
derinlemesine yorumlar yapamayabilir. Hazırlanan soru türlerinin ayrıntılı
yorumlar yapabilmeye olanak tanıması gerekti inden soruların seçilmesi çok
önemlidir. A a ıda, ara tırma bulguları do rultusunda zengin yorumlar
yapmaya olanak sa layaca ı dü ünülen üç farklı türde soru örne i
bulunmaktadır. Bunlar; felsefi, araçsal ve teorik soru örnekleridir.
Felsefi sorular:
*Politik ya amın do ası nedir?
*Politik gelecek tahmin edilebilir mi?
*Politik liderlerin tarihi de i tirmek ve ekillendirmekteki rolü nedir?
Araçsal sorular:
*Politik hareket için amaçları ve hedefleri seçmedeki en iyi yakla ım
nedir?
*Politik hareketteki risk faktörleri en iyi nasıl hesaplanabilir ve kontrol
edilebilir? (Bennett ve George, 1997).
Teorik sorular:
*Oyun oynamak, “okumaya hazır olma” ya nasıl etki eder? Bili sel ve
duyu sal i lemler nelerdir? Belli rolleri alan çocuklar mı daha kalıcı
ö renirler?
Belli bir popülasyon üzerinde odaklanan sorular unlardır:
*Cerrahlar, hastalarının hayatlarının ellerinde oldu u ve bir çok
hastanın ölümü gerçe i ile ba etmeyi nasıl ö renmektedirler?
*Uzun mesafeli yolculuklar yapan bir kamyon oförü ya amında
nelerden ho lanır?
(Marshall ve Rossman, 1995).

1.2.6.Verilerin Toplanması ve Toplanan Verilerin Önermelerle


veya Alt Problemlerle li kilendirilmesi
Örnek olay çalı malarında veri toplama a aması yürütülürken dikkat
edilmesi gereken üç nokta bulunmaktadır. Bunlardan birincisi, birden fazla
veri kayna ı ve türünün kullanılabilmesidir. Gözlem, görü me ve doküman
inceleme gibi nitel ara tırma yöntemlerinden birkaçı, ara tırmanın
problemine, ara tırmacının beklentilerine göre tek ba ına ya da bile ik
biçimde kullanılabilmektedir. kincisi, ara tırmacının veri toplama sırasında,
çalı ılan duruma ili kin verilerin iyi düzenlendi i bir “veri tabanı” nın
olu turulması gerekti idir. Yapılmı olan çalı maların ba kaları tarafından
tekrar edilmesine olanak vermek için, iyi düzenlenmi bir veri tabanının
olu turulması oldukça önemlidir. Üçüncüsü ise, ara tırmanın çe itli
a amalarının birbiriyle nasıl ili kilendirildi ini gösteren bir “kanıt zinciri”
olu turulmasının önemli oldu udur. Bu özelliklerden dolayı ara tırmacı,
bulguları sunarken ve yorumlarken veriden alıntı yapabilmektedir (Yıldırım ve

130 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

im ek, 1999). Kısaca, bir örnek olay çalı masının veri toplama a aması
planlanırken “Neyi bilmeye ihtiyaç var? Ortaya çıkarılması olası ili kiler
nelerdir?” gibi temel sorular yanıtlandıktan sonra yapılacak i ler u ekilde
özetlenebilir; ara tırma sorularının listesinin hazırlanması, yardımcıların, veri
kaynaklarının, ayrılacak zaman miktarının, masrafların ve tasarlanan
raporla tırma biçiminin belirlenmesi. Tablo-1’ de gözlem tekni i kullanılarak
tasarlanmı bir örnek olay çalı masının planlanmasında dikkat edilmesi
gereken ö eler ana hatlarıyla sunulmu tur.
Tablo-1. Gözlem Tekni i Kullanılarak Yapılacak Örnek Olay Çalı ması
için
Ana Hatlar
I. Hazırlık
*Bir örnek olay çalı ması yönünde ba langıçta ne beklenildi ini
(umuldu unu) belirleme.
*Soruları, hipotezleri, konuları ayrıntılı biçimde tanımlama.
*Hem yöntemsel hem de örnekli bazı örnek olay çalı maları literatürünü
okuma.
*Örnek olarak kullanılabilecek bir ya da daha fazla çalı ma ara tırma.
*Örnek olayı tanımlama.
*Örnek olayın sınırlarını tanımlama.
*Anahtar problemleri, olayları, nitelikleri, yerleri, ki ileri, can alıcı i aretleri
önceden belirleme.
*Ba langıç ya da sonuç raporu için olası okuyucu kitlesini dü ünme.
*Gözlemcinin rolünü tanımlama.
II. lk Ziyaret
* lk giri i planlama, hareket planını görü me, gözlem yapılacak mekanlara
düzenli giri i planlama.
*Ev sahibi ve gözlemci için yükümlülükleri içeren resmi bir anla ma
hazırlama.
*Ev sahipleri için gerçek ya da olası masrafı tartı ma ve maliyeti belirleme.
*Verinin, kaynakların, raporların gizlili ini korumak için düzenlemeleri
planlama.
*Hareket planını, gözlemcinin rolünü, vakanın sınırlarını, sayılarını, ihtiyaç
duyulanları gözden geçirme.
III. Gözlem çin Hazırlanma
*Planlanan çalı manın ilk gözlemini yapma (pilot çalı ma).
*Kaynakları; yerler, ki iler, yöntemler, konular, a amalar vb. olarak ayırma.
*Elde edilen verinin kaynaklarını ve bilgi veren ki ileri ayrıntılı olarak
tanımlama
*Verilerin nasıl toplanaca ını planlama
*Verilerin nasıl depo edilece i/ saklanaca ını, kodlama sistemini, dosyalama
ve kayıt sistemini belirleme.
*Nitelikler, problemler, olaylar, okuyucular vb. için öncelikler yeniden gözden
geçirme.

Burdur E itim Fakültesi Dergisi 131


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

Tablo-1.’in devamı
IV. Kavramsalla tırmanın Daha Fazla Geli tirilmesi
*Veri toplamaya rehberlik için konuların ya da di er teorik yapının yeniden
incelenmesi.
*Okuyucuların ne bildi ini ve neyi bilmek istediklerini ö renme.
*Bulguların sunulması ve sonuç raporunun planının taslak haline getirilmesi.
*Olası “çoklu gerçeklikler”i insanların birtakım eylerle ilgili farklı bakı
açılarını tanımlama.
*Farklı bakı açılarını, kavramsalla tırmaları dikkatle ayırma.
V. Veri Toplama-Veri Geçerli i
*Gözlem, görü me, anketler yoluyla elde edilen verilerin kayıtlarını saklama.
*Ara tırma anla maları ve aktivitelerinin kayıtlarını koruma.
*Gözlem ya da görü me yapılan bireylerden elde edilen özel ifadeleri ve
kanıtları saklama,
*Ham veriyi sınıflama; yorumlara ba lama.
*Konuları, vaka sınırlılıklarını yeniden belirleme, ev sahipleriyle ilgili
düzenlemeleri yeniden görü me.
*Gözlemlerin geçerli i için bir miktar daha veri toplama, ikinci nüshayı
çıkarma ya da üçgenleme yapma.
VI. Veri Analizi
*Ham veriyi çe itli olası yorumlar altında yeniden gözden geçirme
*Veri ablonunu hazırlama.
*Program düzenlemeleri, aktiviteleri ve sonuçları arasında ba lantılar
arama.
*Kesin olmayan sonuçları belirleme, konulara göre organize etme, sonuç
raporlarını düzenleme.
*Veriyi yeniden gözden geçirme, yeni veri toplama, kasten bulguların
do rulanmamasına çabalama.
VII. Okuyucuların Anlaması çin Uygun Ko ulları Sa lama
*Ortamda hangi aktivitelerin gerçekle ti ini geni bir ekilde tanımlama.
*Ara tırma raporunu bir hikaye olarak dü ünme.
*Raporun tasla ını hazırlama ve okuyucuların kullanması için materyalleri
yeniden biçimlendirme.
*Okuyucu grubunun temsilci üyeleri üzerinde deneme yapma.
*Rapor ve materyalleri gözden geçirip düzeltme ve yayınlama.
(Stake, 1995).
Örnek olay çalı malarında, veri toplama a aması açısından
bakıldı ında ise, hem niteliksel hem de niceliksel yöntemlerin
kullanılabildi ini görmekteyiz. Bu konudaki en yaygın yakla ım ise her iki veri
toplama yönteminin tümle ik biçimde kullanılmasıdır ki bu yakla ım
“üçgenleme” olarak tanımlanmaktadır (Stake, 1994). Örnek olay
çalı malarında en sık kullanılan veri toplama teknikleri, gözlem, görü me,
doküman inceleme ve ya am öyküleri (biyografi) olarak sıralanabilir.
Üçgenleme ara tırma deseninde birden fazla yöntemin
kullanılmasını ifade etmektedir. Üçgenleme zaman üçgenlemesi, alan
üçgenlemesi, birle tirilmi düzeyler üçgenlemesi, kuram üçgenlemesi,

132 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

ara tırmacı üçgenlemesi ve yöntem üçgenlemesi olarak altı türden


olu maktadır. Cohen ve Manion (1994), üçgenlemenin örnek olay
çalı malarının yanı sıra u durumlarda da kullanılabilece ini vurgulamı tır;
1. E itsel sonuçların bütünsel bir yapı göstermesi durumunda.
2. Ölçülmek istenen olgunun karma ık olması durumunda.
3. Farklı ö retme yöntemlerinin geli tirildi i durumlarda.
Kısaca, ara tırmacının her yöntemin güçlü ve güçsüz yönlerini,
avantajlarını ve sınırlılıklarını de erlendirerek, hangi ortamda hangi ara tırma
sorununun, hangi yöntemle en iyi çalı ılabilece ine karar vermekle yükümlü
oldu u dü ünülebilir. Bu nedenle de sa lıklı olan, bir yöntemin sınırlılı ının
di er yöntemin güçlü yönüyle kapatılarak birlikte kullanılmasıdır (Marshall ve
Rossman, 1995).
1.2.7. Verilerin Analiz Edilmesi ve Yorumlanması
Veri analizi, toplanan birçok verinin anlamlandırılması, bir yapıya,
sıraya konulması sürecidir. Bu süreç, karma ık, zaman alıcı, yaratıcı ve
heyecanlı bir süreçtir (Cohen ve Manion, 1994).
Alt problemler, veri analizinde de önemli bir i leve sahiptir. Veriler,
ara tırmanın ba ında olu turulmu olan alt problemler temel alınarak
düzenlenip, yorumlanabilmektedir. Ara tırma sürecinde bir ekilde toplanmı ,
fakat herhangi bir alt problemle ili kisi olmayan gereksiz veriler, verilerin
analizi ve yorumlanması a amasında böylece dı arıda bırakılmı olurlar.
Bunların yanısıra, verinin analiz edilmesi ve yorumlanmasında, ara tırmacı-
nın çalı tı ı problemle ilgili literatürü etkili bir ekilde kullanması
beklenmektedir. lgili literatürden alıntılar yapmak, yorumların ba ka
ara tırma sonuçlarıyla ne derece uyu tu u veya çeli ti i konusunda
tartı malar açmak, veri analizini ve yorumlamayı zenginle tirecektir (Yıldırım
ve im ek, 1999). Bogdan ve Biklen (1982), toplanan verilerin analizi için
ara tırmacılara dokuz öneri sunmaktadırlar;
1-Kendinizi çalı mayı sınırlamaya zorlamanız ve her eyin pe inden
ko mamak için disipline etmeniz gerekmektedir. Ara tırdı ınız konu üzerine
çok miktarda veri toplamak derin analizler yapabilmeniz için oldukça yapıcı
bir yakla ımdır fakat, odaktan uzakla mamanız oldukça önemlidir.
2- Yapmakta oldu unuz çalı ma tüm ayrıntılarıyla birlikte, zihninizde
açık ve net olmalıdır. Örne in, varolan bir durumun tam bir betimlemesini mi
yapmak istiyorsunuz yoksa, bir kuramın yalnızca bir ögesi hakkında
genelleme yapmakla mı ilgilisiniz?
3- Analitik sorular geli tirmelisiniz. Bu, veri toplamada ve verileri
organize etmede oldukça önemlidir. Geli tirdi iniz soruları, çalı manızla
do rudan ilgili olarak odaklı biçimde formüle etmelisiniz.
4- Veri toplama oturumlarını, bir önceki oturumda ne buldu unuzu
dü ünerek planlamalısınız. Periyodik olarak, alan notlarınıza bakarak, bir
sonraki veri toplama oturumunu ara tırma hedefinize göre
spesifikle tirmelisiniz.
5- Yaptı ınız gözlemlerin yorumlarını not almalısınız. Bu size, hem
gördü ünüzden hem de kayıt cihazının kaydetti inden fazla nelerin oldu unu
yakalama fırsatı verebilir.

Burdur E itim Fakültesi Dergisi 133


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

6- Ne ö rendi iniz hakkında kısa notlar tutmalısınız. Bu notlar,


çalı tı ınız ortamda ortaya çıkan bazı durumlar üzerinde dü ünmeniz için
zaman sa lar.
7- Çalı manız üzerine görü ler ve temalar ortaya çıkarmalısınız.
Henüz örneklemin tamamıyla görü emedi inizde ya da topladı ınız veriler
size çok yardımcı olmadı ında, bazı anahtar kimseler (uzman, konu ile ilgili
örneklem dı ından biri vs.), uygun ko ullar altında analizinizi geli tirmeniz
için, özellikle de tanımlamaları yaparken bazı bo lukları doldurmada size
yardımcı olabilir.
8- Ara tırmaya ba ladı ınızda ilgili literatürü çok titiz bir biçimde
tekrar tekrar incelemelisiniz. Unutmamalısınız ki siz ara tırmanızı yaparken
bir taraftan da literatür yeni ara tırmalar ile zenginle mektedir.
9- Mecazlar (metaforlar), benzetmeler (analojiler) ve kavramlarla
oynamalısınız. Bu, yorumlarınızı zenginle tirmenize katkı sa layacaktır. Veri
toplama a aması sonucunda elde edilen nitel ve nicel verileri i lemenin farklı
yolları bulunmaktadır. Bogdan ve Biklen (1982) elde edilen nitel verilerin
organizasyonu ve analizini u sözleriyle özetlemektedirler; Binlerce
oyunca ın saçıldı ı büyük bir spor salonu hayal edin. Belli bir amaçla,
geli tirdi iniz bir emaya göre, bu oyuncakları sınıflamanız gerekiyor. Bütün
salonu dola arak oyuncaklara bakıp, toplayıp analiz edebilirsiniz. Yı ın
halinde bulunan bu oyuncakları sınıflamanın birçok yolu vardır,
büyüklüklerine göre, renklerine göre, yapım yerlerine göre, yapım tarihine
göre, yapımcısına göre, yapı malzemelerinin geli yerine göre vs. Bazı
yakla ımlar, niteliksel ara tırmalarda, verileri organize etmek için kategori
olu turma ve kodlama sisteminin geli tirilmesini öngörmektedir. Kategori
geli tirmek için içerik çok önemlidir.
Holsti, (1969; Akt: Merriam, 1988) içerik analizi için kategori
geli tirme amacıyla rehberlik edebilecek be ana hat sunmaktadır.
1. Kategoriler, ara tırmanın hedeflerini ve amaçlarını yansıtmalıdır.
2. Dökümanlardaki her bir veri ili kili oldu u maddelerle gruplanıp
kategoriler olu turmalıdır. Her bir veri bir kategori içinde yer
almalıdır.
3. Kategoriler kar ılıklı kapalılık ilkesine uymalıdır. Her bir madde
yalnızca bir kategori altında yer almalıdır.
4. Kategoriler birbirinden ba ımsız olmalıdır ki, bir kategori altındaki
verinin de erlendirilmesi, bir ba ka verinin sınıflanmasını ve
de erlendirilmesini etkilemesin
5. Her kategori tek bir sınıflama ilkesiyle ayrılmalıdır.
Marshall ve Rossman (1995)’a göre ise ara tırmacı, veri
organizasyonu sırasında elindeki ham verileri bir çok kez okumalı ve a inalık
kazanmalıdır. Kategori olu turma insanlar ya da ortamla ilgili düzenlili i içerir.
Kategoriler anlamlı olmaya ba layınca dı sal ayırma ve içsel yakınla maya
ula ılır. Özetle, kategoriler içte tutarlı ama birbirinden ba ımsız olmalıdır.
Ara tırmacı ya kendi olu turdu u kategorileri ya da deneklerin kullandı ı
kategorileri temel alır. Bunlar olu turulurken çapraz sınıflandırma yöntemi
kullanılır. Böylece, verilerin daha derin ve yo un bir ekilde incelenmesi ve
kategorile tirme ile ilgili yeni iç görülerin kazanımı sa lanabilir. Kategoriler

134 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

netle tirildikten sonra ikinci a ama kodlamaları olu turmaktır. Metinde,


düzenli olarak tekrar edilen konu, olay ve durumlara bakıldıktan sonra bu
durum, konu ve olayları ifade eden sözcük ve sözcük grupları saptanmalıdır.
Bu sözcük ve sözcük grupları ara tırmacının kodlarını olu turmaktadır
(Bogdan ve Biklen, 1998). Elde edilen verileri i lemenin mekanik yolları da
bulunmaktadır. Görü me transkriptleri, alan notları, gazete makaleleri, resmi
veriler gibi ham verileri i lemek amacıyla hazırlanmı pek çok bilgisayar
programı (Hyper research, etnograph, HyperQual ve Qualpro) da
bulunmaktadır (Merriam, 1988). Bunların dı ında, NUD*IST (Non-numerical
Unstructured Data Indexing, Searching, and Theorising) adlı program da nitel
ara tırma yöntemleri ile elde edilen verilerin i lenmesinde yaygın olarak
kullanılan etkili yazılımlardan biridir (Offredy, 2002). Miles and Huberman
(1984) ise veri analizi için, kodlamalar ve kategoriler olu turmayıdaha
organize biçimde yapabilmek için verileri gösteren akı emalatrı ve kategori
matriksleri olu turmayı, di er taraftan, farklı olayların sıklı ını ifade etmek
için frekans analizi ve aritmetik ortalamaları da kullanmayı önermektedir.
1.2.8. Örnek Olay Çalı masının Raporla tırılması
Ara tırma yönteminin do asından kaynaklanan gerekçelerle, örnek
olay çalı ması raporları, genellikle geni açıklama ve betimlemelerden
olu maktadır. Bu anlamda, ara tırmacının u ra ması gereken konu, “do ru
bir betimleme ve analiz dozu”nu tutturmasıdır. Di er bir deyi le, örnek olay
çalı ması raporu hem ara tırmanın ba langıcında olu turulmu olan problem
ve alt problemlere doyurucu yanıtlar vermeli, hem de bunu yaparken gereksiz
bilgi ve betimlemelerden kaçınmalıdır (Yıldırım ve im ek, 1999). Örnek olay
çalı maları raporu basit bir hikayelemeden ibaret olmamalıdır. Etkili bir
hikayeleme için göz önünde bulundurulması gereken unsurlar unlardır:
a. Örnek olayın kronolojik veya biyografik geli imi.
b. Ara tırmacının vakalara a ina olu süreci.
c. Örnek olayın temel bile enlerinin bir bir tanımlanması
(Stake, 1995).
Di er taraftan, ara tırma sonuçlarının okunabilir olması önemli bir
boyut olarak kar ımıza çıkmaktadır. Ara tırmanın bulguları raporla tırılırken,
“okunabilir olma” ö esi göz önünde bulundurulmalıdır. Bu nedenle, üretilen
raporların ba kalarının yararlanabilece i ölçüde öz ve aynı zamanda,
içerikten ödün vermeyecek tarzda betimsel olması gereklidir (Yıldırım ve
im ek, 1999). Tablo-2’de, örnek olay çalı malarını zenginle tirecek,
sunumu ve ara tırmanın ba kaları tarafından okunmasını cazip hale
getirecek bazı öneriler yer almaktadır.
Tablo-2. Ara tırma Raporu için Yazım Önerileri
* Ara tırma raporunun belirli bir düzende olu masına olanak sa lamak için,
ara tırmanın ba ında verilen problem ve alt problemler, verinin analizi ve
sunumunda birer ba lık olarak kullanılabilir. Bu yolla okuyucu, her alt
probleme ili kin bulgu ve yorumları nerede bulabilece ini rapor içinde kolay
bir biçimde saptayabilir.

Burdur E itim Fakültesi Dergisi 135


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

Tablo-2. ‘nin devamı


* Raporun içinde her bölümün veya alt bölümün ba langıcında, takip eden
bölüm veya alt bölümde nelerin kapsandı ına ili kin bir özet verilebilir. Bu
ekilde okuyucu, aradı ı veya istedi i bilgiyi ilgili bölümün neresinde bu-
labilece ini daha rahat ke fedebilir.
* Raporda kullanılan ba lıklar ba lık altında sözü edilen konuları en iyi
ekilde tanımlamalıdır. Bir ba lı a bakan okuyucu, bu ba lık altında hangi
tür konulardan söz edilebilece ini kestirebilmelidir.
* Raporu yazarken -özellikle verinin ve sonuçların sunumunda- tablo ve
grafiklere yaygın olarak yer verilmelidir.
(Stake, 1995).
Yine Stake (1995) tarafından, bir örnek olay çalı ması sonucunda
ara tırmacı tarafından geli tirilen raporun i e vuruk olup olmadı ını
de erlendirmeyi kolayla tıran ayrıntılı bir form geli tirmi tir. Tablo-3’te yer
alan form ara tırmacılara rehberlik edici nitelik ta ımaktadır.

Tablo-3. Bir Örnek olay çalı ması Raporu çin De erlendirme Formu
1. Rapor kolay okunuyor mu? Evet Biraz Hayır
2.Metin birbirini destekliyor mu, her cümle bütüne Biraz
Evet Hayır
katkıda bulunuyor mu?
3. Rapor kavramsal bir yapıya sahip mi? (örne in Biraz
Evet Hayır
temalar ya da konular)
4. Konu ciddi ve bilimsel bir yol ile geli tirilmi mi? Evet Biraz Hayır
5. Vaka yeterli bir biçimde tanımlanmı mı? Evet Biraz Hayır
6. Okuyucuya ba kasının ya antısına katıldı ını hayal Biraz
Evet Hayır
etme deneyimini kazandırıyor mu?
7. Alıntılar etkili bir biçimde kullanılmı mı? Evet Biraz Hayır
8. Ba lıklar, ekiller, ekler, dizinler etkili bir biçimde
Evet Hayır
kullanılmı mı? Biraz
9. Dil ve anlatım, tekrar gözden geçirilerek düzenlenmi
Evet Biraz Hayır
mi?
10. Yazarın yorumlarının mantıksal dayanakları var mı? Evet Biraz Hayır
11. Ham verinin sunumu yeterli mi? Evet Biraz Hayır
12.Veri kaynakları iyi seçilmi mi, Evet Biraz Hayır
13. Veri kaynakları, yeterli sayıda mı? Evet Biraz Hayır
14. Gözlem ve görü meler üçgenleme olu turacak
ekilde yapılmı mı? Evet Biraz Hayır
15. Ara tırmacının bakı açısı ve rolü açık mı? Evet Biraz Hayır
16. Tüm açılardan empati gösterilmi mi? Evet Biraz Hayır
17. Ki isel niyetler gözden geçirilmi mi? Evet Biraz Hayır
18. Örnek olay çalı masına katılan ki iler (örneklem
grubu) etik açıdan riske atılmı mı? Evet Biraz Hayır
(Stake, 1995).

136 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

Çalı manın bu kısmına kadar, örnek olay deseninin kullanılma


nedenleri incelenmi , bu desen kullanılarak yapılan çalı maların a amaları
ve raporla tırılmasına ili kin bilgiler sunulmu tur. Bu kısımda ise, örnek olay
deseni hakkında somut fikirler sunulmaya çalı ılmı tır. Bu amaçla da biri,
Hupp, Boat ve Alpert (1992; Akt, Kırcaali, Tekin, 1997) tarafından, di eri ise
Boulton tarafından (1992; Akt, Cohen ve Manion, 1994) gerçekle tirilmi iki
örnek olay çalı masına yer verilmi tir.

Örnek I
Ara tırmanın Ba lı ı “Yeti kin etkile iminin, geli imsel gerili i olan
okulöncesi dönem çocuklarının duygusal tepkileri ve oyun davranı ları
üzerindeki etkileri” biçimindedir.
Amaç, Denek, Ortam: Bu çalı manın amacı, oyun sırasında yeti kinlerin
kullandı ı farklı sosyal etkile im biçimlerinin çocukların oyun davranı ları
üzerindeki etkilerini ara tırmaktır. Çalı maya orta derecede geli imsel
gerili i olan ve okulöncesi özel e itim programına devam eden dört çocuk
katılmı tır. Çocukların üçü dört ya ında, biri ise üç ya ındadır.
Ba ımlı De i ken: Ara tırmanın ba ımlı de i keni, okulçncesi dönem
çocuklarının oyun davranı larıdır.
Ba ımsız De i ken: Ara tırmanın ba ımsız de i keni, oyun sırasında
yeti kinlerin gösterdi i sosyal etkile im biçimleridir. Ba ımsız de i kenin iki
düzeyi vardır: yeti kin merkezli etkile im ve çocuk merkezli etkile im.
Uygulama Süreci: Oyun oturumları her çocukla bireysel olarak
düzenlenmi tir. Oyun oturumlarında uygulamacı ve çocuk küçük bi masanın
bir kenarına yanyana oturmu lardır. Çocu a, önce ortama alı abilmesi için
bir oyuncak verilmi ve daha sonra üç tane deneysel amaçlı oyuncak arka
arkaya verilmi tir. Uygulamacı her bir oyunca ın i levini göstermi tir.
Ardından çocuk oyuncakla iki dakika süreyle oynamı tır. Uygulamacı, çocuk
oyuncakla oynarken her bir oyuncakla toplam üç kez 15, 40 ve 75 saniyelik
sürelerle oyuna katılmı tır. Oyuncaklar, 12-18 aylar arasındaki zihinsel
geli im dönemine uygun olarak seçilmi tir. Çocukla oyun oynarken
uygulamacı iki farklı sosyal etkile im biçimi kullanmı tır. Çocuk merkezli
uygulamada, yeti kin çocu un oyun davranı larını belirlenen sürelerle (15,
40 ve 75 sn) tekrarlamı tır. Yeti kin merkezli uygulamada ise, yeti kin
çocu un oyun davranı larından farklı bir davranı sergilemi tir.
Uygulamacının, yeti kin merkezli etkile im sırasında uygun davranı ları
seçip seçmedi i, ba ımsız bir gözlemci tarafından de erlendirilmi tir. Her iki
oturum, iki video kamera ile kaydedilmi tir. Kameralardan biri ile çocu un
oyun davranı ları, di eri ile de çocu un yüz ifadeleri kaydedilmi tir.
Uygun Oyun Davranı larının Kodlanması: Uygun oyun davranı ı sergileme
süresive ba arılı davranı sıklı ı kodlanmı tır. Uygun oyun davranı ı süresi,
çocu un oyunca ı ne kadar süreyle, uygulamacı tarafından kendisine
tanıtılan i lev do rultusunda kullandı ı süredir.

Burdur E itim Fakültesi Dergisi 137


Ruken Akar VURAL& Fulya CENKSEVEN Örnek Olay Çalı maları

Örnek I’in devamı


Ba arılı davranı ise, oyunca ı kullanarak çocu un parçaları yeti tirmeye
çalı ırken
harcadı ı süre, uygun oyun davranı ı süresi olarak
belirlenirken; çocu un bir ekli yerine takması, ba arılı oyun davranı ı olarak
kodlanmı tır.
Bulgular ve Yorum: Deneklerin uygun oyun davranı ı süreleri ve ba arılı
oyun davranı ları yeti kinin oyun sırasında kullandı ı sosyal etkile im
biçimine göre (çocuk merkezli ya da yeti kin merkezli) farklıla mamı tır.
Örnek II
Boulton (1992; Akt, Cohen ve Manion, 1994) tarafından yapılan
ara tırmanın amacı ise, okulların oyun bahçelerinde oynanan oyun türlerini
belirlemektir. Ara tırma, toplam sekiz okulda gerçekle tirilmi tir.
Ara tırmada veri toplama aracı olarak, katılımsız gözlem tekni i
kullanılmı tır. Ara tırmacı oyun bahçesinde, her bir çocu u sıra ile ortalama
35 dakika gözlemlemi ve gözlem verilerini gözlemden hemen sonra, ses
kayıt cihazına anlatarak kaydetmi tir. Bu ekilde her bir çocu un ne tür oyun
davranı ları sergiledi ini, oyun arkada larının sayısını, cinsiyetini ve
ya larını da kaydetmi tir. Gözlem oturumları, her bir çocu un oyun alanına
girmesi ile ba lamı ve oyun alanını terk etmesine kadar devam etmi tir.
Gözlem kayıtları analiz edilirken, oyunlar farklı kategorilere ayrılarak
kodlanmı ve bu kodlardan yola çıkılarak içerik analizi yapılmı tır. çerik
analizinde kullanılan oyun kodları u ekildedir; toplumsal oyunlar, mutlak
kurallara dayalı oyunlar, fantazi oyunları, kavga, atlama ve dü me oyunları,
bireysel oyunlar. çerik analizine ek olarak, çocukların oynadıkları oyun
türlerinin, cinsiyet ve ya de i kenlerine göre farklıla ıp farklıla madı ını
belirlemek için de varyans analizi yapılmı tır.

Sonuç olarak, Cronbach’ ın (1975; Akt, Merriam, 1988) da belirtti i


gibi, ayrıntılı bir olguyu içinde bulundu u ba lamla birlikte foto raflayan, daha
sonra bu olguyu tek ba ına ayrıntılı biçimde inceleyen ve yine ba lamla birlike
yorumlamaya olanak veren örnek olay çalı maları “insan” ı konu alan
ara tırma soruları için en etkili ve anlamlı ara tırma desenlerinden biridir. Bu
nedenle de, örnek olay çalı malarının e itimsel olayları ve kavramları anlamak
ve yorumlamak için oldukça uygun bir ara tırma deseni oldu unu ve sıklıkla
ya ama geçirilmesinin, ilgili literatürün geli mesine önemli oranda katkı
sa layaca ı dü ünülmektedir.

138 Burdur E itim Fakültesi Dergisi


Örnek Olay Çalı maları Ruken Akar VURAL& Fulya CENKSEVEN

KAYNAKLAR
Bennett, A.& George, A.L. (1997) Research Design Tasks in Case Study
Methods, http://www.georgetown.edu/bennett/RESDES.htm.
Bogdan, R.C.& Biklen, S.K. (1998) Qualitative Research in Education an
Introduction to Theory and Methods, Third Edition, Allyn and
Bacon, USA.
Cohen, L.& Manion, L. (1994) Research Methods in Education, London:
Routledge.
Jensen, J. L. & Rodgers, R. (2001) “Cumulating the Intellectual Gold of Case
Study Research”, Public Administration Review 61 (2) : 236-246.
Kırcaali, G. & Tekin. E. (1997). Tek Denekli Ara tırma Yöntemleri, Türk
Psikologlar Derne i Yayınları, Ankara.
Marshall, C.& Rossman, G.B. (1995) Designing Qualitive Research,
Second Edition, Sage Publications, USA.
Merriam, S.B. (1988) Case Study Research in Education A Qualitative
Approach, Jossey-Bass Publishers, USA.
Miles, M., & Huberman, M. (1984). Qualitative data analysis: A source
book for new methods. Thousand Oaks, CA: Sage Publications.
Offredy, M. (2002). Issues and innovations in nursing practice decision
making in primary care: Outcomes from a study using patient scenarios,
Journal of Advanced Nursing, vol 40, issue 5, p 532-541.
Stake, R. E. (1994) “Case Studies”, Handbook of Qualitative Research, Ed.:
N.K. Denzin, Y.S. Lincoln, Sage Publications, USA.
Stake, R. E. (1995) The Art of Case Study Research, Sage Publications,
USA.
Yıldırım, A. ve im ek, H. (1999) Sosyal Bilimlerde Nitel Ara tırma
Yöntemleri, Seçkin Yayınevi, Ankara.

Burdur E itim Fakültesi Dergisi 139

View publication stats

You might also like