Professional Documents
Culture Documents
Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu Tentang Kepuasan Layanan Pelatihan Di PPSDM Geominerba
Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu Tentang Kepuasan Layanan Pelatihan Di PPSDM Geominerba
Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu Tentang Kepuasan Layanan Pelatihan Di PPSDM Geominerba
1, Juni 2019
Abstract. The application of program evaluation by experts is facilitated by the program evaluation model. As
a training center and to control the quality of training carried out, training institutions carry out evaluation of
training programs by referring to program evaluation models that have been developed by experts. This
encourages the action to gain knowledge and see the implementation of evaluation theory, especially
Kirkpatrick's evaluation model, then carried out research at PPSDM Geominerba by developing Kirkpatrick
level one evaluation instrument model. Level one or reaction is a level that addresses user satisfaction, so how
is the value of training needs met by the institution. The study was conducted using the 6-step Design
Development Research (DDR) method. The DDR step starts from identifying problems, describing objectives,
product design and development, product testing, trial evaluation, and communicating results is a series of
programs that must be passed in developing instruments. The instrument developed was originally a
hypothetical (temporary) instrument, which was the development of an analysis of institutions and users, then
became a construct with a Likert rating scale as stated by Kirkpatrick. The instrument changes after testing.
Instruments with 15 items developed, then re-developed into 20 items with 1 invalid item. The instruments
developed are instruments that have been judged by experts and tested on users, the validity of the instruments
using expert reviews and user reviews, item validity with CVR theory, construct validity of instruments with
factor analysis, and reliability with Cronbach alpha. As a result, the instrument can be used but not yet perfect,
the instrument can be used as enhanced research material, and tested until the value is near perfect.
Abstrak. Penerapan evaluasi program oleh para ahli dimudahkan dengan adanya model evaluasi program.
Sebagai pusat penyelenggara pelatihan dan untuk mengontrol kualitas pelatihan yang dilaksanakan, lembaga
pelatihan melaksanakan evaluasi program pelatihan dengan mengacu kepada model evaluasi program yang
telah dikembangkan ahli. Hal tersebut mendorong kepada tindakan untuk memeroleh pengetahuan dan melihat
implementasi akan teori evaluasi khususnya model evaluasi Kirkpatrick, maka dilaksanakan penelitian di
PPSDM Geominerba dengan mengembangkan instrumen evaluasi model Kirkpatrick level satu. Level satu
atau reaksi adalah level yang membahas mengenai kepuasan pengguna, jadi bagaiman nilai akan kebutuhan-
kebutuhan pelatihan yang dipenuhi oleh lembaga. Penelitian dilaksanakan mengunakan metode Design
Development Research (DDR) 6 langkah. Langkah DDR dimulai dari identifikasi masalah, menggambarkan
tujuan, perancangan dan pengembangan produk, ujicoba produk, evaluasi ujicoba, dan mengkomunikasikan
hasil merupakan serangkaian program yang harus dilalui dalam mengembangkan instrumen. Instrumen yang
dikembangkan mulanya merupakan instrumen hipotesis (sementara), yang merupakan pengembangan dari
analisis terhadap lembaga dan pengguna, kemudian menjadi kisi-kisi dengan skala penilaian likert sebagaimana
yang dikemukakan Kirkpatrick. Instrumen mengalami perubahan setelah dilakukan ujicoba. Instrumen dengan
15 item yang dikembangkan, kemudian kembali dikembangkan menjadi 20 item dengan 1 item tidak valid.
Instrumen yang dikembangkan adalah instrumen yang telah di judgement oleh ahli dan diujicobakan kepada
pengguna, validitas instrumen menggunakan expert review dan user review, validitas item dengan teori CVR,
validitas konstruk instrumen dengan analisis faktor, dan reliabilitas dengan Cronbach alpha. Hasilnya,
instrumen dapat digunakan namun belum sempurna, instrumen dapat dijadikan bahan penelitian yang
disempurnakan, dan diujicobakan sampai nilainya mendekati sempurna.
Kata kunci: Evaluasi Program Pelatihan, Model Evaluasi Kirkpatrick, Design Development Research
61 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
62 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
63 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
evaluasi yang dilakukan representatif dan pelatihan dikatakan puas dan tidak puas
relevan. dari isis lembaga dan pengguna; (2)
Observasi dan wawancara yang menggambarkan tujuan merupakan
dilakukan terhadap penyusunan instrumen langkah representasi hasil sejak awal; (3)
SKM, SKM dikembangkan PPSDM perancangan dan pengembangan produk
Geominerba secara langsung diturunkan dilaksanakan menggunakan tahapan
dari aspek yang ditentuakan regulasi Kirkpatrick dalam bukunya implementasi
kepada pertanyaan, tidak ada penyusunan model empat level; (4) ujicoba lapangan
kisi-kisi sebagaimana dikemukakan kepada pengguna untuk melihat nilai
seharusnya. Evaluasi yang dihasilkan juga validitas dan reliabilitas instrumen hasil
belum mampu menunjukan perbedaan pengembangan; (5) evaluasi hasil ujicoba
dimana diambil satu contoh terkait untuk melihat kekurangan-kekurangan
penyelenggaraan, menilai bagaimana instrumen; dan (6) mengkomunikasikan
penyelenggaraan pelatihan belum spesifik hasil melihat perubahan sebelum dan
penyelenggaraan yang mana secara teknis sesuadah pengembangan. Langkah-
(layanan) atau secara kebutuhan barang langkah tersebut dikatakan sebagai sebuah
yang terpenuhi. Hal ini akan siklus yang tidak dapat terputus dan
menyebabkan hasil evaluasi yang bias merupakan satu kesatuan utuh dalam
dalam penafsirannya, atau dengan kata pelaksanaan metode DDR.
lain aspek mana dalam penyelenggaraan Penelitian dilakukan di PPSDM
yang sekiranya kurang masih dianggap Geominerba, dengan partisipan penelitian
bias. Berdasarkan permasalahan tersebut sebagai berikut.
penulis tertarik untuk melakukan Tabel 1. Partisipan Penelitian
penelitian mengenai pengembangan Partisipan Langkah Jumlah
instrumen evaluasi, beberapa pertanyaan DDR
penelitian yang beririsan dengan langkah Kepala Sub Identify The 1
dalam metode yang digunakan.
Bidang Problem
B. METODE PENELITIAN Evaluasi Motivating
Metode dan desain yang digunakan PPSDM The
dalam penelitian ini bertujuan untuk Geominerba Research
pengembangan instrumen evaluasi Model Ahli Evaluasi Design and 2
Kirkpatrick Level Satu (Reaction) tentang Develop The
kepuasan layanan pelatihan. Metode
Artifact
penelitian yang digunakan adalah metode
penelitian desain dan pengembangan atau Peserta Design and 17
disebut juga Design and Development Pelatihan Develop The
Research (DDR). Penelitian Artifact
menggunakan desain DDR yang Subject the 60
dikembangkan oleh Nunamaker dkk. pada Artifact To
tahun 1991 dan dilengkapi oleh Hevner
Testing
dkk. pada tahun 2004 untuk menghasilkan
produk. Penelitian DDR menurut Jumlah 80
Nunamaker dkk. (1991); dan Hevner dkk.
(2004); (dalam Ellis & Levy, 2010, hlm. Teknik pengumpulan data yang
111) memiliki enam langkah, yang terdiri digunakan dalam penelitian ini adalah
atas; (1) identifikasi masalah merupakan menggunakan beberapa jenis teknik,
langkah analisis awal yang berkaitan diantaranya wawancara, studi
dengan pelayanan pelatihan bagimana dokumentasi dan kuesioner dengan
64 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
65 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
66 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
67 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
68 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
69 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
70 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
71 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
72 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
menjadi 20. Hasil CVR dari 20 item satu dikembangkan dan fisible untuk
item memeroleh hasil tidak layak dan digunakan. Rinciannya, sangat layak
diambil keputusan untuk dihapus. untuk tata letak konten. Ketepatan bahasa
Hasil lain dari penerapan instrumen yang digunakan pada setiap item nilainya
adalah validitas permukaan oleh expert. layak. Kesesuaian penggunaan skala
Item-item penilaian adalah validitas dengan nilai layak. Kemudaham mengisi
permukaan yang terdiri dari keterbacaan dengan nilai sangat layak. Representatis
huruf, kondisi ruang dalam instrumen, isi instrumen dengan nilai layak. Sangat
konstruk penurunan indikator menjadi cukup waktu untuk untuk mengisi dengan
item pertanyaan, fisibilitas dalam nilai sangat layak.
pengisian kuesioner dan komponen- Hasil lain dari instrumen adalah
komponen isntrumen. Expert review ini tentang kepuasan layanan dari peserta
menjadi hasil validitas permukaan untuk adalah dominan peserta mengatakan
produk yang dikembangkan, hasilnya setuju bahwa pelayanan yang diberikan
sangat layak. Rinciannya, sangat layak baik. Hasil tersebut sejalan dengan
untuk tata letak konten. Kisi-kisi pendapat Widoyoko (2017) selain untuk
instrumen dan indikator yang mengevaluasi proses pelatihan juga untuk
dikembangkan memiliki nilai sangat melihat dampak langsung motivasi dan
layak. Kelayakan komponen instrumen semangat peserta pleatihan. Sejumlah
dengan nilai sangat layak. Ketepatan pertanyaan yang diajukan dalam reaction-
bahasa yang digunakan pada setiap item sheet bahwa peserta setuju pelatihan
nilai sangat layak. Kesesuaian memberikan perubahan kepada
penggunaan skala dengan nilai sangat kompetensi peserta, dan tanggapan positif
layak. Kemudaham mengisi dengan nilai bahwa pelatihan bermanfaat untuk
sangat layak. Representatis isi instrumen peserta.
dengan nilai sangat layak. Sangat cukup Silberman (2006, hlm. 318-319)
waktu untuk untuk mengisi dengan menyebutkan bahwa kualitas pelatihan
representasi kelayakan waktu sangat dapat diukur melalui tingkat kepuasan
layak. pesertanya. Hasil dari pengembangan
Validitas konstruk dilakukan dengan instrumen evaluasi Kirkpatrick level satu
analisis faktor. Analisis faktor tentang kepuasan layanan pelatihan di
mengkorelasikan antara faktor-faktor PPSDM Geominerba selain menghasilkan
yang diturunkan dari dimensi dengan skor instrumen yang valid dan reliabel juga
total. Menurut Arifin (2014) faktor yang memberikan hasil pengukuran mengenai
digunakan merupakan dimensi atau kepuasan layanan yang diberikan. Hasil
indikator dari variabel yang diukur. menunjukan kepuasan yang baik dari
Hasilnya keseluruhan faktor yang ada peserta pelatihan terhadap layanan. Secara
dikatakan “valid”. Selain validitas, hasil umum, hasil dari pengembangan
dari reaction-sheet adalah mengukur instrumen adalah instrumen yang
reliabilitas atau keajegan instrumen dikembangkan telah memiliki dasar yakni;
menggunakan croncbach-alpha, hasilnya (1) relevan dan representatif, (2) valid dan
instrumen “reliabel”. Hasil keseluruhan reliabel, serta (3) pengukuran kepuasan
menilai instrumen yang dikembangkan layanan pelatihan yang fisible.
telah valid dan reliabel. Selain itu, dari hasil penelitian
Instrumen juga dinilai secara memeroleh juga kekurangan dari
permukaan oleh user atau pengguna. instrumen yang dikembangkan adalah uji
Penilaian user berdasarkan beberapa expert yang minimum, hasil CVR yang
aspek yang dinilai memiliki hasil akhir, kurang variatif dan dapat memunculkan
sangat layak terhadap produk yang keragu-raguan. Waktu ujicoba dilakukan
73 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
satu kali kepada user, sehingga hasilnya (Reaction) menghasilkan kristalisasi dari
hanya merepresentasikan satu kali uji. hasil dan pembahasan sebagai berikut.
Kekurangan lainnya masih ada item yang 1. Hasil analisis terhadap instrumen yang
bisa dijadikan lebih spesifik untuk digunakan di PPSDM Geominerba
penilaiannya. Hasil dari kekurangan yang adalah instrumen belum representatif
didapatkan bisa menjadi rekomendasi dalam mengukur kepuasan layanan
terhadap penelitian selanjutnya dan pelatihan, sedangkan pada prinsipnya
instrumen yang dikembangkan bisa instrumen evaluasi harus representatif
digunakan untuk mengukur kepuasan dan relevan untuk bisa mengukur hal-
layanan pelatihan di PPSDM Geominerba. hal yang dievaluasi. Instrumen yang
Hasil penelitian ini sejalan dengan digunakan memiliki skala pengukuran
penelitian dari Shahrooz Farjad (2012) yang berbeda-beda sehingga untuk
menyebutkan bahwa sebagai model diambil representasi hasil terhadap
evaluasi yang mudah Kirkpatrick juga dimensi yang diukur tidak akan
dikenal dengan model yang menghasilkan nilai yang representatif
mengklasifikasikan hasil evaluasi. sama untuk semua item. Jadi, terdapat
Hasilnya pengaruh pada setiap level kesenjangan antara desain instrumen
terlihat signifikan dan akan memberi dengan desain yang seharusnya
dampak yang baik pada program. digunakan secara teoritis.
Selanjutnya, penelitian oleh John M. 2. Merancang dan mengembangkan
LaVelle dan Stewart I. Donaldson (2010), merupakan kegiatan inti penelitian,
mengevaluasi program pelatihan yang ada yang dilaksanakan berdasarkan
di Amerika Serikat. Hasilnya sangat prosedur Hevner desain DDR 6
penting untuk memahami sifat program langkah, pada kegiatan merancang dan
pelatihan agar mengetahui alternatif mengembangkan beririsan dengan
evaluasi yang sesuai dan akan diterapkan, langkah design and development of
dan penggunaan model evaluasi product dan testing of product.
Kirkpatrick mengarahkan kepada Pengembangan instrumen
terlihatnya konsistensi pelatihan pada menggunakan langkah yang
hasil evaluasinya. dikembangkan oleh Kirkpatrick, yang
Kedua penelitian tersebut memeperkuat terdiri dari penyusunan item,
bahwa hasil dari penlitian evaluasi penyusunan kerangka konseptual,
Kirkpatrick dapat memeroleh hasil yang pembuatan prototype sampai
signifikan bilamana dilakukan dua kali uji. mendapatkan keseluruhan respon
Untuk memeroleh hasil yang signifikan peserta. Pengembangan instrumen
selain dilakukan dua kali uji lapangan, diawali dengan instrumen sementara
dilakukan juga uji lapangan kepada (hipotesis) yang dikembangkan oleh
beberapa pelatihan terdapat hasil yang peneliti, untuk kemudian diujicobakan
signifikan serupa dan memandang kepada expert dan user. Hasil dari
pelatihan sebagai hal yang baik. Hasil pengembangan produk menjadi
tersebut dilihat dari reaksi terhadap setiap semakin kuat dengan adanya penilaian
aspek yang dinilai dalan instrumen expert dan user secara komprehensif.
reaction-sheet. Pengembangan produk melalui
tahapan yang cukup panjang, dari
D. KESIMPULAN pengembangan menghasilkan produk
Analisis dari pelaksanaan lapangan hipotesis oleh peneliti, tryout oleh
mengenai Pengembangan Instrumen expert yang hasilnya menambah
Evaluasi Model Kirkpatrick Level Satu jumlah item dan mempertimbangkan
redaksi dalam item soal, dan ujicoba
74 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
75 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019
76 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba