Standard Setting

OSCE

HPEQ Project
Komite Bersama
Uji Kompetensi Dokter Indonesia
 Tim Penguji OSCE
1. Wijoyo Halim - AL khaerat
2. C. Singgih Wahono - UB
3. Azwar - Unsyiah
4. Aditiawati - Unsri
5. Ernawati - Untar
6. Bernadetta Nadaek - UKI
7. Agung Dinasti Permana - Unpad
8. Dwi Savitri Rivami - UPH
9. Suyatmi - UNS
10. Erlina Marfianti - UII
11. I Wayan Suwitra - warmadewa
12. Nurhayana Unhas

2
 Tim Penguji OSCE
13. M. Bambang Edi Susyanto - FK Universitas Muhammadiyah Yogjakarta
14. Dianawaty Amiruddin - FK Universitas Hasanuddin
15. Virn Nilasari - FK Universitas Islam Bandung
16. Reni Zuraida - FK Universitas Lampung
17. Danial - FK Universitas Mulawarman
18. Sekplin Sekeon - FK Universitas Sam Ratulangi
19. Hasanul Arifin - FK Universitas SumateranUtara
20. Nawanto - FK AtmajaYa
21. Kusmardi - FK Universitas Yarsi
22. Surya Darma - FK Universitas Sriwijaya
23. Satrio Wibowo - FK Universitas Brawijayal
24. Mohamm adZainChilmi - FK Universitas Airlangga

3
 Narasumber

1. Gandes Retno Rahayu - FK UGM/ Jogjakarta

2. Yulherina-KBUKDI
3. Susi Susanah-FK UNPAD/Bandung
4. Nancy Margarita-FK UNAIR/Surabaya
5. E. Suryadi - FK UGM/ Jogjakarta
6. Trijoko Hadianto - FK UGM/ Jogjakarta
7. Yoyo Suhoyo - FK UGM/ Jogiakarta
 Tujuan :

mendapatkan metoda penentuan batas

lulus OSCE pada setiap station .

5
 Standard Setting

Compromise
Absolute Methods
Methods

Anggoff (modified) The Hofstee Method

Ebel Borderline Group
Method
Borderline
Regression Method

6
 Borderline Regression Method
Increasingly popular in OSCE and performance based
examination
In each station each examinee is assessed using two
methods
Check list based method (Rating Scale, Actual marck)
Global performance ( fail, borderline, pass, outstanding)
Data from each station is aggregated
A regression equation is developed using global
performance is independent variable and check list
marks as dependent variable
Cut-mark (standard) is the boundary between borderline
and pass
7
 Bordeline Regression Method
Metode standar setting yang akan digunakan adalah
Borderline Regression Method
Penilaian :
Actual Mark
Global Rating
Actual Mark
Penjelasan arti nilai (0,1,2,3) pada check list actual mark harus
jelas (batasannya jelas) agar penguji tidak salah mentafsirkan
nilai yang ada pada check list dan tidak tumpang tindih.
Global Rating
diupayakan meminimalisasi aspek subyektivitas dari penilaian
( batasan operasional Global rating)

8
 Actual mark,
Checklist
Sesuai dengan instruksi terhadap kandidat dan
kasus atau soal yang diajukan
Checklist aspek yang dinilai atau prosedur yang
harus dilakukan.
Checklist dengan lembar penilaian (0,1,2,3)
Penguji hanya mengisi lembar penilaian tanpa
intervensi kecuali diinstruksikan atau
disyaratkan dalam soal (instruksi penguji).

9
DAFTAR TILIK (CHECK LIST) PEMASANGAN INFUS

NILAI
NO ASPEK YANG 0 1 2 3
DINILAI
1 Mengucap salam Kandidat Kandidat Kandidat Kandidat
dan tidak hanya menggucapka mengucapk
memperkenalkan melakukan mengucapkan n salam dan an salam,
diri salam memperkenal memperken
kan diri alkan diri
menanyaka
n identitas
pasien
2 Cuci tangan dan Kandidat Kandidat Kandidat Kandidat
gunakan sarung tidak hanya tidak mencuci mencuci
tangan non-steril mencuci mencuci tangan, tangan dan
tangan dan tangan, tidak langsung menggunak
menggunak menggunakan menggunakan an sarung
an sarung sarung tangan sarung tangan tangan
tangan

10
DAFTAR TILIK (CHECK LIST) PEMASANGAN INFUS
( contreng pada kolom nilai yang sesuai)

NILAI
NO ASPEK YANG DINILAI
0 1 2 3

1 Mengucap salam dan

Memperkenalkan diri
2 Cuci tangan dan gunakan sarung tangan non-
steril (non-sterile gloves, CDC 2002)

11
 Borderline Regression Method
(BRM)
BRM
2 penilaian :
Checklist ( actual mark)
Global rating

Checklist (actual mark)

penguji hanya memberi penilaian tanpa intervensi
Dengan cara mencontreng pada lembar checklist
Kemudian jumlahkan sebagai nilai total.

12
 Global Rating
Persepsi (kesan) umum dari penguji terhadap
performance keseluruhan kandidat ( sesuai
aspek yang diuji, mulai anamnesis s/d perilaku
profesional)
Global Rating
1
tidak lulus
2
borderline (minimally competence)
3
lulus
4
outstanding

13
 Penilaian yang akan dimasukkan
Total nilai :
Actual Marck : ..............

Global Rating :
1. tidak lulus 2. borderline
3. lulus 4. outstanding

14
 Penentuan MPL
Minimum Passing Level
Cari titik singgung dari global rating dan
actual mark
sebagai MPL , cut off point
Cara mencari titik singgung
dengan
menggunakan soft ware Excell
grafik
hubungan antara nilai GR dan AM
Lulus
MPL

15
MPL, 10 kandidat,
15 item, nilai (actual mark) 0,1,2
global rating
1, 2, 3, 4
NO GR AM
1 1 10
2 3 20
30
3 2 14
25 4 2 18
20 5 3 22
6 4 28
15
7 4 30
10 8 3 26
5 9 2 16
10 3 24
1 2 3 4

16
 Latihan BRM
Nilai Actual Marck (0,1,2,3) dan Global Rating (1,2,3,4)
dari 20 Mahasiswa peserta OSCE Station Kanulasi Vena Perifir,
dengan 9-items penilaian
1. Keluarkan EXCELL-2007 11. Klick pada axis title yg tegak ,
ketik
2. Ketik di B-1, Global Rating (GR) Actual Marck
3. Ketik di C-1, Actual Marck (AM) 12. Klick pada axis title yg datar ,
ketik
4. Ketik mulai B2 s/d B21, nilai GR Global Rating
5. Ketik mulai C2 s/d C21, nilai AM 13. Cari titik potong nilai 2 dari Gobal
6. Block B1-B21 dan C1-C21 Rating dengan nilai Actual Marck
7. Klick Insert 14.
merupakan batas nilai lulus
8. Klick Scatter (MPL)
9. Klick Scatter kiri atas 15. Nilai lulus adalah nilai Actual Marck
MPL
10. Klick pada Chart Layouts paling
kanan

17
 Global Actual 30

Rating Marck
1 4 24
2 1 12 25
3 1 9
4 2 15
5 2 20
20
6 3 22
7 2 16 14
8 3 17 Actual Marck
9 1 10 15
Actual Marck
10 2 12
A

Linear (Actual Marck)

11 3 14
12 4 22
13 4 21
10
14
14 3 16
15 1 8
5
16 4 26
17 3 20
18 2 11
19 3 16 0

20 1 8 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5

Global Rating

18
 Global Rating Actual Marck
1 3 12 16
LULUS
2 3 14 10
3 4 15 14
4 3 11
5 2 10 12

6 1 8
7 2 11 10

Actual Marck
8 2 9
9 3 12 8
Actual Marck
10 2 11
Linear (Actual Marck)
11 4 14 6

12 4 14
4
13 3 13
14 2 10
2
15 1 8
16 1 7
0
17 1 9
0 1 2 3 4 5
18 2 9
Global Rating
19 3 13
20 3 12

20 mahasiswa, 5-items penilaian, Act.Marck (0,1,2,3)

dan Global Rating (1,2,3,4)
19