ETAPY OPRACOWYWANIA TESTU

Po co psychologowi psychometria? Test psychologiczny,

psychologiczny, czyli co?

 Kompetencje w zakresie doboru i krytycznej oceny dostępnych
narzędzi diagnostycznych – co zastosować, gdy potrzebuję dokonać
diagnozy?
 Rozumienie ograniczeń i problemów związanych ze stosowaniem
narzędzi diagnostycznych – jakie wnioski mogę postawić w oparciu
o wynik diagnozy z wykorzystaniem narzędzia, które nie jest
doskonałe (a żadne nie jest)?
 Kompetencje wystarczające do skonstruowania nowego narzędzia
diagnostycznego, które będzie mogło być wykorzystane w
działalności praktycznej lub badawczej psychologa.
Test psychologiczny jest narzędziem, które:
 pozwala na uzyskanie takiej próbki zachowań, o których można
przyjąć (np. na podstawie założeń teoretycznych), że są wskaźnikami
interesującej nas cechy psychologicznej
 dostarcza reguł obliczania wartości mierzonej cechy
 spełnia określone właściwości formalne, takie jak: obiektywność,
standaryzacja, rzetelność, trafność i normalizacja
 jasno określa zakres i rodzaj dopuszczalnych zachowań ze strony
diagnosty
 zakłada kooperacyjną postawę osoby badanej

za: Hornowska, 2001, s. 22

Rodzaje testów psychologicznych Etapy konstruowania kwestionariusza

Co mierzą testy psychologiczne? Etapy tworzenia testu:

 Inteligencja i zdolności 1) Zdefiniowanie konstruktu i jego operacjonalizacja
 Osobowość 2) Określenie formatu bodźca i odpowiedzi
 Uczciwość (integrity) 3) Generowanie pozycji testowych
 Zainteresowania 4) Wstępna analiza pozycji
 Motywacja 5) Opracowanie klucza odpowiedzi
 Wartości 6) Przeprowadzenie badania pilotażowego
 Temperament 7) Obliczenie wybranych wskaźników dla poszczególnych pozycji
 Postawy testowych
 Przekonania 8) Opracowanie ostatecznej wersji testu

za: Rust, Kosinski & Stillwell, 2022 9) …niekiedy trzeba wrócić do etapu 3.

za: Lach, wykład z podstaw psychometrii

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Etapy tworzenia testu:

1) Zdefiniowanie celu pomiaru 10) Przygotowanie badania pilotażowego
2) Zdefiniowanie mierzonej cechy 11) Przeprowadzenie badania pilotażowego
3) Przygotowanie projektu testu 12) Obliczanie parametrów pozycji testowych
4) Określenie formatu pozycji testowych 13) Stworzenie ostatecznej wersji testu
5) Wygenerowanie puli pozycji testowych 14) Obliczenie rzetelności testu
6) Analizowanie pozycji pod względem językowym 15) Badanie trafności teoretycznej testu
7) Przeanalizowanie pozycji pod względem trafności treściowej 16) Porównanie wewnątrzgrupowe
8) Opracowanie klucza oceny odpowiedzi
za: Hornowska, 2001
9) Przygotowanie formularza testu

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

1
 ETAPY OPRACOWYWANIA TESTU

Etapy konstruowania kwestionariusza

Etapy konstruowania kwestionariusza Cel kwestionariusza (the purpose of the questionnaire)

Etapy tworzenia testu: Określenie celu kwestionariusza obejmuje:

1) Cel kwestionariusza (the purpose of the questionnaire)  Definicja konstruktu, który będzie podlegał pomiarowi
2) Specyfikacja (making a blueprint)  Do czego i w jakich kontekstach będzie wykorzystywany
3) Tworzenie pozycji testu (writing items) kwestionariusz – np. w psychoterapii (do oceny efektywności terapii,
do diagnozy zaburzenia lub nasilenia trudności), selekcji
4) Projektowanie kwestionariusza (disigning the questionnaire)
pracowników, porównań międzygrupowych (badania naukowe)
5) Badanie pilotażowe (piloting the questionnaire)
6) Analiza pozycji (item analysis)
7) Uzyskiwanie rzetelności (obtaining reliability)
8) Ocena trafności (assesing validity)
9) Standaryzacja (standardization)

za: Rust, Kosinski & Stillwell, 2022

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Specyfikacja (making a blueprint) Specyfikacja (making a blueprint)
 2. krok to określenie dla każdego z obszarów lub składowych
mierzonego konstruktu (content areas) po kilka przejawów
(manifestation) konstruktu. Na przykład:
o Aspekt afektywny, poznawczy, behawioralny
o Pozytywny poziom, negatywny poziom

 3. krok to opis i nadanie nazw każdemu z obszarów i każdemu z

za: Rust, Kosinski & Stillwell, 2022, s. 21 przejawów

 Pierwszy krok to określenie kilku obszarów (kontekstów sytuacyjnych,

sfer życia) w których mogą być obserwowane różne wskaźniki
konstruktu będącego przedmiotem pomiaru, lub kilku składowych
tego konstruktu.

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Specyfikacja (making a blueprint) Specyfikacja (making a blueprint)
 4. krok to decyzja o tym jaki procent ogólnej puli pozycji  5. krok to decyzja o liczbie itemów
kwestionariusza będzie przeznaczony na każdy z obszarów i każdy z
przejawów konstruktu

za: Rust, Kosinski & Stillwell, 2022, s. 23

za: Rust, Kosinski & Stillwell, 2022, s. 22

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

2
 ETAPY OPRACOWYWANIA TESTU

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Specyfikacja (making a blueprint) Specyfikacja (making a blueprint)
Przykład: skala pomiaru samooceny jako stan (Heatherton & Polivy, 1991) Przykłady pytań do pomiaru samooceny jako dyspozycji
OBSZARY TREŚCI OBSZARY TREŚCI
zadaniowa społeczna wygląd zadaniowa społeczna wygląd
poznanie W tej chwili czuję się Zastanawiam się czy nie Czuję, że jestem praca Jako pracownik Koledzy z pracy i moi Dobrze wyglądam
pewien swoich wyglądam trochę głupio niezbyt atrakcyjna mam bardzo przełożeni wysoko mnie w ubraniu, które
OBSZARY PRZEJAWIANIA SIĘ

OBSZARY PRZEJAWIANIA SIĘ

zdolności (R) osobą (R) wysokie cenią zakładam do pracy
W tej chwili czuję się W tej chwili czuję się Podobam się sobie kompetencje W porównaniu z innymi
mniej zdolny od innych gorszy od innych (R) źle sobie radzę z moimi
(R) obowiązkami w pracy (R)

afekt Czuje się zgnębiony, Niepokoi mnie to, jak Podobam się sobie dom i bliscy Potrafię organizo- Często słyszę od moich Moja dziewczyna (mój
gdy pomyślę o tym jak ludzie mnie odbierają (R) Jestem zadowolony wać imprezy na bliskich, że jestem dla chłopak) lubi robić
mi idzie (R) Trochę się martwię, czy z tego, jak w tej których wszyscy moi nich oparciem sobie ze mną zdjęcia
jestem uważany za chwili wyglądam znajomi świetnie się i chwalić się znajomym
osobę udaną (R) bawią moim wyglądem

Gdybym miał teraz Nie chciałbym, gdyby Gdybym mógł się czas wolny Jestem dumny z Mam czym się chwalić Gdy nie muszę
zachowanie podjąć się jakiegoś ktoś teraz widział, jak mi teraz inaczej ubrać, tego, co robię w opowiadając moim wychodzić z domu
trudnego zadania, idzie (R) chętnie bym to wolnym czasie znajomym o tym, jak mogę nie martwić się
zrobiłbym to bez zrobił (R) spędzam urlop tym, jak wyglądam (R)
wahania

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Tworzenie pozycji testu (writing items) Tworzenie pozycji testu (writing items)
Pozycje mogą być zaopatrzone w różne formaty odpowiedzi, np.: Decyzje do podjęcia na tym etapie konstruowania kwestionariusza:
tak – nie  Wybór formy pytań i skali odpowiedzi (test jednokrotnego wyboru,
test wielokrotnego wyboru, skala Likerta, dyferencjał semantyczny
prawda – ? – fałsz itd.)
skala zgodności: zdecydowanie nie zgadzam się – raczej nie  Długość skali odpowiedzi (liczba opcji wyboru)
zgadzam się – trudno powiedzieć – raczej się zgadzam –  Czy w pytaniach ze skalą odpowiedzi Likerta umieszczać wartość
zdecydowanie się nie zgadzam „środkową” (neutralną”)
skala częstości: nigdy – rzadko – czasami – często – zawsze  Kolejność pytań – najlepiej losowo, dodatkowo sprawdzając, czy nie
skala intensywności: bardzo słabo – słabo – raczej słabo – ma obok siebie podobnie wyglądających pytań
umiarkowanie – raczej silnie – silnie – bardzo silnie
suwak:

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

3
 ETAPY OPRACOWYWANIA TESTU

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Tworzenie pozycji testu (writing items) Tworzenie pozycji testu (writing items)
Tendencje (skośność) w odpowiadaniu na pytania kwestionariuszy Trudności z dopasowaniem poszczególnych pozycji do konkretnego
samoopisowych: miejsca w tabeli w układzie: obszary x przejawy
 Tendencja do zgadzania się (niezależnie od treści pytania)  pozycja może pasować do kilku miejsc w tabeli – a wtedy lepiej z niej
zrezygnować
 Potrzeba aprobaty społecznej
 na etapie tworzenia puli pozycji może okazać się, że któryś z obszarów czy
 Brak zdecydowania – preferencja odpowiedzi typu „nie wiem”, albo
przejawów nie pasuje, tzn. trudno jest ułożyć treść pozycji – nie należy
„ani tak, ani nie” jednak zbyt pochopnie podejmować decyzji o rezygnacji z jakiegoś obszaru
 Skrajne odpowiedzi lub przejawu
 Błąd tendencji centralnej

Nie ma idealnych rozwiązań. Można rozważyć następujące:

 Umieszczenie w kwestionariuszu pytań wymagających rekodowania
 Umieszczenie w kwestionariuszu pytań buforowych
 Umieszczenie w kwestionariuszu pytań kontrolnych

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

4
 ETAPY OPRACOWYWANIA TESTU

Etapy konstruowania kwestionariusza W-Kendalla

Tworzenie pozycji testu (writing items)
Współczynnik zgodności W-Kendalla (Kendall's Coefficient of
Concordance) stosuje się w sytuacji, gdy dysponujemy rankingami
Analiza językowa:
pochodzącymi z różnych źródeł (od różnych sędziów) i dotyczącymi kilku
 Treść pozycji powinna być sformułowana w sposób prosty, jasny i obiektów, a zależy nam na ocenie zgodności tych rankingów.
jednoznaczny. Unikaj podwójnych przeczeń, zdań złożonych, trudnych
Przykład:
bądź wieloznacznych słów.
Poster 1 Poster 2 Poster 3 Poster 4 Poster 5 Poster 6
 Konieczna jest weryfikacja językowa treści pozycji, dokonana przez
Sędzia 1 5 2 6 1 3 4
inne osoby, niż ich autorzy. Najlepiej, gdyby byli to z jednej strony
Sędzia 2 5 4 6 1 2 3
eksperci (np. poloniści), a z drugiej strony „zwykli ludzie”
reprezentujący grupę docelową Sędzia 3 3 2 5 1 4 6
Sędzia 4 6 2 4 1 3 5
Analiza trafności treściowej: Sędzia 5 5 1 6 2 3 4
 Technika sędziów kompetentnych i obliczenie wskaźników trafności Sędzia 6 5 2 6 1 3 4
treściowej Lawshego (CVR) lub współczynnika zgodności ocen Sędzia 7 6 2 5 1 4 3
sędziów W-Kendalla Sędzia 8 5 2 6 1 3 4

Analiza pokrycia obszarów treściowych i przejawów (czy mamy w każdej

kategorii potrzebną liczbę pozycji)

W-Kendalla CVR Lawshego

CVR Lawshego CVR Lawshego

 8/2
0.75 
8/2

7 8/2
0.75 
8/2

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

5
 ETAPY OPRACOWYWANIA TESTU

CVR Lawshego CVR Lawshego

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Projektowanie kwestionariusza (disigning)
disigning) Badanie pilotażowe (piloting the questionnaire)
questionnaire)

Elementy projektu kwestionariusza: Celem badania pilotażowego jest sprawdzenie kwestionariusza

 Miejsce na metryczkę – wiek, płeć, data wypełnienia testu itd.
 Instrukcja
 Układ graficzny – czcionka, odstępy, numeracja pytań itp.
Papier i ołówek czy ekran komputera lub smartfona?
 Wersja papierowa kwestionariusza daje możliwość pełnej
standaryzacji
 Wersja elektroniczna powinna być skalowalna, tzn. przygotowana na
platformie, która stosuje rozwiązania techniczne dzięki którym
kwestionariusz jest dopasowany do urządzenia, na którym jest
odtwarzany (duży ekran komputera, tablet, smartfon)
w praktyce, czyli wykorzystanie go w badaniu. Należy pamiętać, że:
 Osoby, które wypełniają kwestionariusz, powinny pochodzić z tej
samej, albo podobnej grupy, co grupa docelowa – specyficzna
(np. ludzie, którzy doświadczyli traumy w czasie ostatniego roku) lub
z populacji ogólnej
 Grupa powinna być odpowiednio zróżnicowana – ze względu na płeć,
wiek, wykształcenie itd.
 Warunki wypełniania kwestionariusza w badaniu pilotażowym
powinny być podobne do tych, w jakich będzie docelowo stosowany
(standaryzacja)
 Grupa powinna być odpowiednio liczna

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Analiza pozycji (item analysis)
analysis) Analiza pozycji (item analysis)
Ale…

za: Rust, Kosinski & Stillwell, 2022, s. 23

Ocena rozkładu odpowiedzi według kryteriów:
za: Rust, Kosinski & Stillwell, 2022, s. 23
 Trudność (w testach wiedzy)
 Zróżnicowanie odpowiedzi (w testach samoopisowych)
 Spójność odpowiedzi na pytanie z odpowiedziami na inne pytania mierzące
to samo (analiza korelacji)

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

6
 ETAPY OPRACOWYWANIA TESTU

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Uzyskiwanie rzetelności (obtaining reliability)
reliability) Uzyskiwanie rzetelności (obtaining reliability)
reliability)

Najczęściej stosowane metody analizy rzetelności testu:

 Technika test-
test-retest – dwukrotny pomiar tej samej grupy w pewnym
odstępie czasu
 Technika testów równoległych – gdy tworzymy dwie równoległe
wersje kwestionariusza
 Technika połówkowania – podział pozycji kwestionariusza na dwie
części i ich porównanie
 Analiza zgodności wewnętrznej testu
wysoka trafność niska trafność poprawna trafność
 Alfa Cronbacha
wysoka rzetelność wysoka rzetelność niska rzetelność
 Omega McDonalda – która przyjmuje mniej restrykcyjne
założenia i może być stosowana do testów heterogenicznych

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Uzyskiwanie rzetelności (obtaining reliability)
reliability) Uzyskiwanie rzetelności (obtaining reliability)
reliability)

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Uzyskiwanie rzetelności (obtaining reliability)
reliability) Ocena trafności (assesing validity)
validity)

Najważniejsze (moim zdaniem – MZ) rodzaje trafności, które trzeba

poddać weryfikacji konstruując kwestionariusz, to:
 Trafność czynnikowa
 Trafność zbieżna i trafność różnicowa
 Trafność kryterialna – o ile da się ją ocenić

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23

7
 ETAPY OPRACOWYWANIA TESTU

PRZYKŁAD 3. ADULT STATE HOPE SCALE PRZYKŁAD 3. ADULT STATE HOPE SCALE
ANALIZA KONFIRMACYJNA ANALIZA KONFIRMACYJNA
Model 1: jednoczynnikowy Model 2: dwuczynnikowy
e1 e2 e3 e4 e5 e6
e1 e1 e3 e5 e2 e4 e6

Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie
1 2 3 4 5 6 1 3 5 2 4 6

0,69 0,75 0,82 0,72 0,80 0,80 0,77 0,83 0,85 0,78 0,86 0,86

Nadziej 0,87

a jako pathways agency

stan
chi2 = 47,39 df = 9 p = 0,001 CMIN/DF = 5,27 CFI = 0,854 RMSEA = 0,095 chi2 = 27,36 df = 8 p = 0,001 CMIN/DF = 3,42 CFI = 0,926 RMSEA = 0,071

PRZYKŁAD 3. ADULT STATE HOPE SCALE PRZYKŁAD 3. ADULT STATE HOPE SCALE
ANALIZA KONFIRMACYJNA ANALIZA KONFIRMACYJNA

Model 3: dwuczynnikowy z kowariancją dwu błędów Model 4: dwuczynnikowy z pytaniem 5 w czynniku 1

0,30 e3 e5 e2 e4
e1 e6
e1 e3 e5 e2 e4 e6

Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie

Pytanie Pytanie Pytanie Pytanie Pytanie Pytanie 3 2
1 5 4 6
1 3 5 2 4 6
0,77 0,83 0,85 0,78 0,86 0,86
0,71 0,78 0,88 0,77 0,85 0,86

0,87
0,89
Czynnik 2 Czynnik 1
pathways agency

chi2 = 15,54 df = 7 p = 0,03 CMIN/DF = 2,22 CFI = 0,967 RMSEA = 0,051 chi2 = 28,81 df = 8 p < 0,001 CMIN/DF = 3,60 CFI = 0,921 RMSEA = 0,074

Etapy konstruowania kwestionariusza Etapy konstruowania kwestionariusza

Standaryzacja (standardization)
standardization) Standaryzacja (standardization)
standardization)
Standaryzacja kwestionariusza polega przede wszystkim na stworzeniu
dokładnej instrukcji jego stosowania:
 opis procedury prowadzenia pomiaru
 zawartość instrukcji przekazywanej osobie badanej i ew. odpowiedzi
na pytania, jakie może mieć osoba badana
 klucz – sposób obliczania wyniku (wyników)

Niekiedy do tego etapu zalicza się kolejny krok: normalizację

kwestionariusza, czyli stworzenie norm populacyjnych:
 sprawdzenie rozkładu empirycznego (czy jest zgodny z rozkładem
normalnym)
 decyzja o wyborze norm, np. staninowe, stenowe, centylowe
 decyzja o tym, dla jakich grup (np. ze względu na wiek i płeć)
wyznaczyć normy za: Rust, Kosinski & Stillwell, 2022, s. 37
 obliczenie norm

Dr Mariusz Zięba. Zaawansowana psychometria. Uniwersytet SWPS Poznań, 2022/23