Psychometria kolokwium

kryterium decyzyjne: należy zwrócić uwagę na:

autor testu +test zagraniczny powinien mieć podanego

autora polskiej adaptacji

podręcznik testowy -opis teorii i doboru grup empirycznych

-opis grupy, na której przeprowadzono
badania standaryzacyjne
-opis procedury badania i interpretowania
wyniku
-opis badań dotyczących rzetelności i błędu
std pomiaru
-opis badań trafności zalecanej interpretacji
-opis procedury normalizacji i normy dla
wyraźnie zdefiniowanej populacji

pomoce -opis materiałów testowych, pomocy,

arkusza pytań, arkusza odpowiedzi
-oryginalny komplet pomocy testowych

zabezpieczenie testu materiał testowy powinien być właściwie

zabezpieczony

ochrona prawna powinien podlegać wyłącznie legalnej

dystrybucji

Test psychologiczny​= narzędzie pozwalające na uzyskanie reprezentatywnej próbki

zachowań o których można przyjąć (na podstawie założeń teoretycznych lub związków
empirycznych), że są wskaźnikami interesującej nas cechy psychologicznej
uczestnictwo ​dobrowolne, ze świadomością​, że celem jest ocena

Właściwości:
➔ obiektywność​= niezależność wyników
➔ standaryzacja = ​jednolitość warunków testowania
➔ rzetelność = ​dokładność pomiaru(wynik obserwowany vs wynik prawdziwy)
➔ trafność = ​obszar zastosowania (czy test mierzy to, co ma mierzyć)
➔ normalizacja ​= nadawanie znaczenia wynikom testowym
➔ adaptacja ​= dopasowanie do polskich warunków

Rodzaje testów psychologicznych:

● testy zdolności poznawczych (prawidłowe i nieprawidłowe odpowiedzi)
● testy osobowości (samoopis)
● testy preferencji (samoopis)
● testy aparaturowe (np. mierzenie czasu reakcji, koordynacji wzrokowo-ruchowej)

1
Testy psychologiczne:
1. standaryzowane vs niestandaryzowane
2. indywidualne vs grupowe
3. mocy vs szybkości
4. obiektywne vs nieobiektywne
5. słowne vs bezsłowne
6. zorientowanie na normy vs zorientowane na kryterium

Schemat wnioskowania psychometrycznego

pomiar→ wynik otrzymany→wynik prawdziwy→poziom badanej
cechy/konstruktu

Standaryzacja- jednolitość warunków testowania

Zmienne wpływające na wynik testu:

➢ nasilenie mierzonej cechy u OB
➢ poziom umiejętności OB
➢ zmienne zakłócające

2
Przygotowanie do badania:
● przygotowanie materiałów/aparatury
● znajomość instrukcji i procedury
● szkolenie

Warunki badanie
● czynniki sytuacyjne wpływające na wynik
● czynniki związane z OB wpływające na wynik (poza mierzonym konstruktem)
● interakcja diagnosta - OB

! autorzy odpowiadają za pełne i jasne opisanie procedury w podręczniku

! odstępstwa od procedury należy rejestrować i uwzględniać przy interpretacji wyników

Obiektywność- niezależność wyników

Obiektywność​= taki sam wynik tego samego testu niezależnie od tego kto ocenia (jasno
określony klucz oceniania, minimum subiektywnych interpretacji)
! typ testu i przedmiot badania a sposób konstrukcji klucza

Ślepa diagnoza​= sposób na sprawdzenie czy test jest obiektywny

ślepa bo bez kontaktu z OB ( brak kontekstu, chodzi tylko o sprawdzenie obiektywności
uzyskiwania wyniku testu)

!jest szczególnie ważna przy jednorazowej opinii i terapii

3
Rzetelność testu- dokładność pomiaru

rzetelność jako​powtarzalność​wyników
● ta sama osoba
● te same warunki
● kolejne pomiary
● vs błąd pomiaru

przy założeniu, że rzeczywisty poziom cechy nie zmienia się w czasie

Błąd pomiaru
czy wynik testu odzwierciedla rzeczywisty poziom mierzonej cechy?
➔ błąd systematyczny - zawsze tak samo wpływa na wynik testu
➔ błąd losowy - za każdym razem może mieć inny wpływ na wynik

przyczyny błędu pomiaru:

konstrukcja testu (dobór treści)
sytuacja testowania (czynniki sytuacyjne, OB, osoba badająca)
ocena wyników (błędy mechaniczne, subiektywizm)

wynik otrzymany w teście = wynik prawdziwy + błąd

przy założeniach:
● brak korelacji (niezależność wyniku prawdziwego i błędu)
● błąd jest losowy (nieobciążalność narzędzia= brak związku między błędami z
powtarzanych pomiarów)

wynik otrzymany​(stały)​- błąd​(losowy)​= wynik prawdziwy​(poziom mierzonej

cechy)

! błąd powinien być jak najniższy

! przy wielu pomiarach (w grupie ob) wyniki otrzymane i prawdziwe powinny

korelować ze sobą (korelacja= wskaźnik rzetelności)

Współczynnik determinacji (korelacja podniesiona do kwadratu) między wynikiem

prawdziwym a obserwowanym to RZETELNOŚĆ testu

wariancja wyników prawdziwych/wariancja wyników otrzymanych=

=RZETELNOŚĆ

4
! zawsze wyższa bo wynika zarówno z błędów pomiaru jak i z wariancji wyników
prawdziwych

! w praktyce nie mamy wyniku prawdziwego

Testy równoległe:
➢ nie można badać dwa razy tym samym testem- za drugim razem OB zna już
test, co może wpłynąć na wynik
➢ potrzebne dwa testy które są równoważne (średni wynik, odchylenie std,
interkorelacje pozycji, współczynnik korelacji z tą samą zmienną (spoza testu)

Współczynnik rzetelności(rtt) = ​
korelacja między wynikami otrzymanymi w dwóch
testach równoległych

równy współczynnikowi determinacji dla wyniku prawdziwego i otrzymanego

rtt=0,81​(interpretacja):
➔ 81% wariancji otrzymanych można przypisać wariancji bez wyników
prawdziwych
➔ błąd=19%
➔ współczynnik korelacji wyników prawdziwych i otrzymanych=sqrt(o,81)=0,90

Metody badania rzetelności:

->Oparte na porównywaniu ​dwukrotnego badania tym samym testem
● TEST-RETEST = estymacja stabilności bezwzględnej
dwukrotny pomiar tym samym testem, PRZERWA CZASOWA pomiędzy
współczynnik korelacji= współczynnik rzetelności= współczynnik stabilności
bezwzględnej
na wynik wpływają:
1. przypadkowe zmiany dotyczące OB i warunków badania (w ty uczenie się)
2. długość przerwy- OB powinny zapomnieć test, ale same nie zmienić się
znacząco
brak przerwy->współczynnik wiarygodności testu
RETEST-TEST = estymacja wiarygodności testu
drugie badanie następuje zaraz po zakończeniu pierwszego
w jakim stopniu test jest wrażliwy na czynniki losowe?

-> Oparte na porównywaniu​alternatywnych form​(równoległych) testu

testy równoległe= mierzą tę samą właściwość psychologiczną w dokładnie ten sam
sposób
● Estymacja stabilności względnej
między badaniem pierwszą, a drugą wersją testu mija jakiś CZAS
różnica treści pozycji testowych

5
 ● Estymacja równoważności międzytestowej
badanie drugą formą testu następuje zaraz po zakończeniu badania pierwszą formą
testu (wersja A- brak przerwy- wersja B)

-> Oparte na analizie​właściwości statystycznych​pozycji testowych

● Alfa Cronbacha
analiza zgodności wewnętrznej
współczynnik zgodności wewnętrznej-> im wyższy tym bardziej jednorodne są
pozycje testowe
średni współczynnik interkorelacji między pozycjami testowymi
mała korelacja= nie mierzą jednego konstruktu
test homogeniczny​= mierzy jedną właściwość, badanie jednolitości stróktury testu
wyższa wariancja(zróżnicowanie)= wyższa rzetelność
jeśli test ma podskale- osobna alfa dla każdej z nich
omega Mcdonalda- (lepsza) alternatywa dla alfy Cronbacha

-> Oparte na porównywaniu połówek tego samego testu

● współczynnik Spearmana-Browna
analiza równoważności międzypołówkowej​(split-half)
szacowanie rzetelności całego testu na podstawie rzetelności połówki
znalezienie form równoległych wewnątrz testu
podział na:
- pozycje parzyste i nieparzyste
- losowo
- z uwzględnieniem treści/trudności pozycji

6
 metoda szacowania rzetelności wariancja błędu

powtarzanie testu= test-retest zmienność w czasie

(odstęp czasu) ​stabilność
bezwzględna

powtarzanie testu= test-retest czynniki losowe

(od razu) ​wiarygodność testu

wersje alternatywne zmienność w czasie

(odstęp czasu) ​stabilność względna dobór treści

wersje alternatywne dobór treści

(od razu)​równoważność czynniki losowe
międzytestowa

metoda połówkowa dobór treści

Spearmana-Browna

alfa Cronbacha dobór treści

heterogeniczność

wymagana liczba wersji→

1 2
wymagana liczba badań↓

1 - połówkowa wersje alternatywne

- alfa Cronbacha (od razu)

2 test-retest wersje alternatywne

(odstęp czasu)

badanie zgodności wewnętrznej:

● wzory Kudera-Richardsona
KR20-> średnia wariancja pozycji
KR21-> średnia trudność pozycji (zakładamy, że są jednakowo trudne)
średni współczynnik rzetelności dla wszystkich możliwych podziałów (test musi mieć
poprawne i niepoprawne odpowiedzi)
miara stopnia heterogeniczności testu​= różnica między współczynnikiem
równoważności połówkowej, a współczynnikami Kudera-Richardsona
(nie wszystkie połówki są równoważne)

7
Rzetelność jako zgodność ocen = korelacja między ocenami tego samego testu
przez różnych sędziów (dla testów gdzie nie ma prostego klucza odpowiedzi)

Czynniki wpływające na wielkość współczynnika rzetelności:

➢ długość testu​- im dłuższy test tym mniejszy błąd pomiaru i większa
wariancja wyników prawdziwych (proroczy wzór S-B: ile razy wydłóżyć test, by
uzyskać zadowalającą rzetelność; nowe pozycje testowe muszą być
równoważne względem starych)
➢ bardziej ​homogeniczna​pod względem mierzonej cechy ​próba osób
badanych​-> mniejsza rzetelność (przy tym samym poziomie błędu pomiaru;
konieczność sprawdzania współczynników rzetelnośći w nowych warunkach -
przy zastosowaniu testu w nowej grupie osób badanych)

porównanie współczynników rzetelności (rygorystyczność):

największa=>​współczynnik stabilności względnej
najniższa=> ​współczynnik równoważności międzypołówkowej

Rzetelność wyniku

WYNIK PRAWDZIWY= WYNIK OTRZYMANY- BŁĄD

wariancja wyników otrzymanych - wariancja błędu = wariancja wyników prawdziwych

RZETELNOŚĆ TESTU= WARIANCJA WYNIKÓW PRAWDZIWYCH/ WARIANCJA

WYNIKÓW OTRZYMANYCH

WARIANCJA BŁĘDU= W.W. OTRZYMANYCH - PRAWDZIWYCH

wariancja błędu​= wariancja różnic między wynikiem otrzymanym, a prawdziwym (różny błąd
różnych osób w testowanej grupie)

(odchylenie standardowe)​²​= wariancja

standardowy błąd pomiaru​(SEM) = odchylenie standardowe różnic między wynikiem

otrymanym i prawdziwym (błąd pomiaru ma rozkład normalny)

PRZEDZIAŁ UFNOŚCI ​= ocena rzetelności pojedynczego wyniku otrzymanego dla danej

osoby badanej; im większy, tym większy przedział ufności wybierzemy, tym większe będzie
prawdopodobieństwo, że obliczony przedział zawiera prawdziwy wynik

8
9
szeroki przedział ufności​= wysokie prawdopodobieństwo, że zawiera prawdziwy wynik OB
(mały błąd) => ​problemy z interpretacją​szerokich przedziałów ufności
diagnoza indywidualna 85%-90%
badania naukowe 95%

STANDARDOWY BŁĄD ESTYMACJI WYNIKU PRAWDZIWEGO​(SEE)

odchylenie standardowe rozkładu różnic między estymowaną wartością wyniku
prawdziwego (zamiast wyniku otrzymanego) i jego wartością rzeczywistą; na podstawie
SEE można obliczyć przezdział ufności dla estymowanego wyniku prawdziwego

STANDARDOWY BŁĄD RÓŻNICY​między dwoma wynikami

● porównanie wyników dwóch osób
● porównanie wyników tej samej osoby

● przy pomiarach tym samym testem

● przy pomiarach różnymi testami

SEMx-y= minimalna różnica pozwalająca uznać różnicę otrzymaną za rzetelną (istotną

statystycznie)
obliczana na podstawie SEM dla każdego z dwóch pomiarów/testów- pierwiastek z sumy
kwadratów obu SEM

Trafność- obszar zastosowania

czy test mierzy to, co powinien?

WALIDACJA
czy dany sposób interpretacji wyników testu jest słuszny? => nowe sposoby interpretacji=
nowe obszary zastosowania testu

Rodzaje trafności:
❖ TREŚCIOWA​= czy pozycje testowe dobrze reprezentują badane zachowanie?
❖ KRYTERIALNA ​= na ile test pozwala na ocenę innej zmiennej niż ta, którą
bezpośrednio bada? (skuteczność diagnozy/prognozy)
❖ TEORETYCZNA​= czy test dobrze mierzy daną cechę? (konstrukt teoretyczny)
❖ FASADOWA​= co test wydaje się mierzyć z punktu widzenia OB?

10
11
Sposoby badania trafności (TRAFNOŚĆ TEORETYCZNA):

● analiza różnic międzygrupowych​= hipoteza na podstawie teorii o różnicach

między dwiema grupami - czy wyniki testu ją potwierdzą?

● analiza macierzy korelacji =

​ korelacja wyników testu z wynikami testów podobnych
cech (wysoka, aspekt zbieżny) i testów innych cech (niska, aspekt różnicowy)

● analiza czynnikowa​= czy analiza czynnikowa potwierdzi zakładaną strukturę

teoretyczną?

● analiza struktury wewnętrznej testu​= dla testów mierzących cechy homogeniczne

- czy test ma wysoki współczynnik zgodności wewnętrznej?

● analiza zmian nieprzypadkowych wyników testu​= pre-test -> manipulacja

eksperymentalna (przygotowana na podstawie teorii)-> post-test
czy poziom cechy zmieni się zgodnie z założeniami?

● analiza procesu rozwiązywania​= czy sposób w jaki OB rozwiązuje test

odzwierciedla teoretyczne założenia o mierzonej cesze?

Stronniczość testu ​= poszczególne pozycje testowe są mniej/bardziej trudne dla danych

podgrup w obrębie tej samej populacji (stały wpływ na wyniki badania testem)

12
Normalizacja- nadawanie znaczenia wynikom testowym

Norma​= standard ilościowy (jedna z miar tendencji centralnej) dla przedstawicieli grupy
np. liczba osób o danym wyniku
średnia
mediana

Kryterium​
:
❏ teoretyczne
❏ kulturowe
❏ statystyczne

Grupa odniesienia ​= ​grupa normalizacyjna

reprezentatywna dla populacji- odzwierciedla jej strukturę (z której będą pochodzić osoby
badane danym narzędziem)
dobór​osób do grupy odniesienia:
➢ losowy (losowanie niezależne z każdej warstwy; może być proporcjonalny)
➢ warstwowy
➢ kwotowy (odtworzenie procentowego składu populacji)
! małe grupy odniesienia = mniej pewna interpretacja
! aktualność norm (populacja się zmienia)
! informacje o grupie odniesienia muszą się znaleźć w podręczniku testowym

Normy:
● ogólnokrajowe​(chronią przed zbyt wąską interpretacją wyników
● lokalne​(odpowiadają specyficznemu wykorzystaniu testu => wąska interpretacja
odpowiadająca konkretnemu celowi i warunkom badania)

Konstrukcja norm:
> normy typu standardowego
> normy typu rangowego
> normy typu równoważnikowego

Normy standardowe

! wyniki w skali testu muszą mieć rozkład normalny

Z​mówi o ile odchyleń std dany wynik odbiega od średniego wyniku grupowego

13
Wyniki Z:
● wyniki na skali o wartościach wyłącznie dodatnich
○ skala T​(0-100 pkt) np.​MMPI
○ skala stenowa​(1-10 pkt) np. kwestionariusz temperamentu ​PTS​Strelaua i
Zawadzkiego)
○ skala staninowa​(1-9 pkt) np. ​FCZ-KT​Strelau, Zawadzki
○ skala IQ​np. testy inteligencji ​Wechslera
○ skala tetronowa​(0-20 pkt) np. testy wykorzystywane w poradniach
psychologiczno-pedagogicznych
● niewygodne do interpretacji
=> wynik na nowej skali=(odchylenie std nowej skali*wynik z) + średnia nowej skali
○ *nowe dane wybieramy zależnie od tego jaką nową skalę chcemy uzyskać
transformacja liniowa​- wyniki zachowują kształt rozkładu normalnego

Z* odchylenie std + średnia = wynik nowej skali​(steny, tetrony itd..)

Wybór skali​przy konstrukcji narzędzia zależy od:

celu testowania​:
➔ różnicowanie w zakresie patologii
➔ skala powinna obejmować bardzo wysokie i bardzo niskie wyniki- krańce
rozkładu normalnego np. skala T
➔ różnicowanie w granicach tzw. normy
➔ wystarczy jeśli skala obejmuje środek rozkładu normalnego np steny, staniny i
tetrony
długości testu:
➔ długi (wiele pozycji) > długa skala (duża rozpiętość punktów) > dzięki temu
zachowujemy “rozdzielczość” wyników
➔ krótki (niewiele pozycji) > krótka skala (mała rozpiętość punktów) > dzięki
temu każdy możliwy wynik na skali ma odpowiednik w wynikach surowych

! wyniki surowe muszą mieć rozkład normalny, inaczej nie wiadomo jak interpretować wyniki
przeliczone
rozkład normalny ma określone właściwości, które pozwalają na wyciąganie wniosków - np.
jaki procent osób osiąga wynik w danym przedziale

NORMALIZACJA ROZKŁADU:
jeśli wyniki surowe nie mają rozkładu normalnego, należy je przekształcić - transformacją
liniową - zmienia to kształt rozkłądu, zachowując pola powierzchni pod krzywą

14
Normy rangowe:

CENTYLE​<101 jednostek (0-100)>

centyl​= punkt na skali poniżej którego leży określony odsetek rozkładu (określona ilość
osób, które uzyskały niższe wyniki)
50 centyl = mediana

❏ skala centylowa nie odzwierciedla kształtu rozkładu wyników surowych, otrzymany

rozkład jest prostokątny
❏ wszystkie wartości pojawiają się z tym samym prawdopodobieństwem tu: 1% (oprócz
skrajnych części po 0,05%)
❏ dla normalnego rozkładu wyników surowych skala centylowa pokazuje zawyżone
różnice między środkowymi wartościami, a zaniżone na krańcach rozkładu
❏ normy rangowe (porządkowe) odzwierciedlają uporządkowanie osób w grupie, ale
nie względne różnice między tymi osobami

Normy typu równoważnikowego:

“normy rozwojowe”, opisowe, wyniki nadal mają charakter surowy, łatwa nadinterpretacja
● równoważniki wieku
np. tzw. wiek umysłowy
● równoważniki klasy
np. rok i miesiąc nauczania w roku szkolnym
OB rozwiązuje dany test tak, jak rozwiązałaby go typowa osoba w wieku na jaki wskazuje
równoważnik

Adaptacja- dopasowanie do polskich warunków

opracowanie testu tak, by mógł być stosowany w kraju adaptacji ->trafność, rzetelność

➢ podejście nomotyczne (etic)

○ wspólny układ odniesienia aby porównać wpływy kulturowe
○ przenoszenie narzędzi, które mają być “ponadkulturowe”
➢ podejście idiograficzne (emic)
○ analiza bazująca na pojęciach wypracowanych w danej kulturze
○ specyficzne dla kultury czynniki, rodzaje osobowości, uzdolnień, zaburzeń itp.
wymagają specyficznych narzędzi

równoważność konstruktu ​(czy to chce badać jest..?)

etikalne => czy przejawia się tak samo lub podobnie w drugiej kulturze?
tak > można adaptować narzędzie
nie > potrzebne nowe narzędzie
emikalne => potrzebne nowe narzędzie

15
równoważność funkcjonalna zadań
➔ członkowie różnych kultur zachowują sie podobnie w podobnych sytuacjach, by
zrealizować równoważne cele
➔ badane zachowania powinny być odpowiedzią na podobne problemy w
analizowanych kulturach

równoważność wskaźników konstruktu teoretycznego

➔ definicje operacyjne- jak przejawiają się interesujące nas konstrukty-czy są różnice
międzykulturowe?
➔ wpływ kultury na pozycje testowe - czy mierzą te konstrukty, które nas interesują?

Strategie adaptacji:
➢ transkrypcja
○ zachowuje konstrukty i wskaźniki
○ maksymalnie wierne tłumaczenie
➢ translacja
○ wprowadza pojęcia specyficzne kulturowo
➢ trawestacja
○ wymiana części pozycji z uwagi na inne kulturowe znaczenie niektórych
zachowań lub względy językowe czy psychometryczne
➢ parafraza
○ nowe narzędzie inspirowane oryginałem - zostaje tylko konstrukt, ew. część
zachowań, które są etikalne
➢ rekonstrukcja
○ również konstrukt musi zostać dostosowany do nowej kultury

Etikalność

bezpośrednie ilościowe porównania​m

​ iędzy​kulturowe: ​transkrypcja translacja,
trawestacja

bezpośrednie ilościowe porównania​wewnątrz​kulturowe: ​parafraza i rekonstrukcja

Emikalność

16