Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu Tentang Kepuasan Layanan Pelatihan Di PPSDM Geominerba

You might also like

Download as pdf or txt
Download as pdf or txt
You are on page 1of 16

EDUTCEHNOLOGIA, Tahun 3, Vol 3 No.

1, Juni 2019

PENGEMBANGAN INSTRUMEN EVALUASI MODEL


KIRKPATRICK LEVEL SATU (REACTION) TENTANG KEPUASAN
LAYANAN PELATIHAN DI PPSDM GEOMINERBA
Harmoni Sofa, Zainal Arifin, dan Riche Cynthia Johan
Departemen Kurikulum dan Teknologi Pendidikan
Fakultas Ilmu Pendidikan
harmonisofa@student.upi.edu, zainalarifin.tp@gmail.com, riche@upi.edu

Abstract. The application of program evaluation by experts is facilitated by the program evaluation model. As
a training center and to control the quality of training carried out, training institutions carry out evaluation of
training programs by referring to program evaluation models that have been developed by experts. This
encourages the action to gain knowledge and see the implementation of evaluation theory, especially
Kirkpatrick's evaluation model, then carried out research at PPSDM Geominerba by developing Kirkpatrick
level one evaluation instrument model. Level one or reaction is a level that addresses user satisfaction, so how
is the value of training needs met by the institution. The study was conducted using the 6-step Design
Development Research (DDR) method. The DDR step starts from identifying problems, describing objectives,
product design and development, product testing, trial evaluation, and communicating results is a series of
programs that must be passed in developing instruments. The instrument developed was originally a
hypothetical (temporary) instrument, which was the development of an analysis of institutions and users, then
became a construct with a Likert rating scale as stated by Kirkpatrick. The instrument changes after testing.
Instruments with 15 items developed, then re-developed into 20 items with 1 invalid item. The instruments
developed are instruments that have been judged by experts and tested on users, the validity of the instruments
using expert reviews and user reviews, item validity with CVR theory, construct validity of instruments with
factor analysis, and reliability with Cronbach alpha. As a result, the instrument can be used but not yet perfect,
the instrument can be used as enhanced research material, and tested until the value is near perfect.

Keywords: Program Evaluation, Kirkpatrick Evaluation Model, Design Development Research

Abstrak. Penerapan evaluasi program oleh para ahli dimudahkan dengan adanya model evaluasi program.
Sebagai pusat penyelenggara pelatihan dan untuk mengontrol kualitas pelatihan yang dilaksanakan, lembaga
pelatihan melaksanakan evaluasi program pelatihan dengan mengacu kepada model evaluasi program yang
telah dikembangkan ahli. Hal tersebut mendorong kepada tindakan untuk memeroleh pengetahuan dan melihat
implementasi akan teori evaluasi khususnya model evaluasi Kirkpatrick, maka dilaksanakan penelitian di
PPSDM Geominerba dengan mengembangkan instrumen evaluasi model Kirkpatrick level satu. Level satu
atau reaksi adalah level yang membahas mengenai kepuasan pengguna, jadi bagaiman nilai akan kebutuhan-
kebutuhan pelatihan yang dipenuhi oleh lembaga. Penelitian dilaksanakan mengunakan metode Design
Development Research (DDR) 6 langkah. Langkah DDR dimulai dari identifikasi masalah, menggambarkan
tujuan, perancangan dan pengembangan produk, ujicoba produk, evaluasi ujicoba, dan mengkomunikasikan
hasil merupakan serangkaian program yang harus dilalui dalam mengembangkan instrumen. Instrumen yang
dikembangkan mulanya merupakan instrumen hipotesis (sementara), yang merupakan pengembangan dari
analisis terhadap lembaga dan pengguna, kemudian menjadi kisi-kisi dengan skala penilaian likert sebagaimana
yang dikemukakan Kirkpatrick. Instrumen mengalami perubahan setelah dilakukan ujicoba. Instrumen dengan
15 item yang dikembangkan, kemudian kembali dikembangkan menjadi 20 item dengan 1 item tidak valid.
Instrumen yang dikembangkan adalah instrumen yang telah di judgement oleh ahli dan diujicobakan kepada
pengguna, validitas instrumen menggunakan expert review dan user review, validitas item dengan teori CVR,
validitas konstruk instrumen dengan analisis faktor, dan reliabilitas dengan Cronbach alpha. Hasilnya,
instrumen dapat digunakan namun belum sempurna, instrumen dapat dijadikan bahan penelitian yang
disempurnakan, dan diujicobakan sampai nilainya mendekati sempurna.

Kata kunci: Evaluasi Program Pelatihan, Model Evaluasi Kirkpatrick, Design Development Research

A. PENDAHULUAN development 67,2 (peringkat 53)


Indonesia memiliki kondisi berdasarkan penilaian World Economic
pendidikan dengan nilai indikator Forum (WEF) dimana partisipasi

61 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

pendidikan dasar mencapai 92,9; indikator untuk meningkatkan kompetensi di bidang


capacity didasarkan tingkat buta huruf dan geologi, mineral dan batubara.
kemampuan berhitung adalah 69,7 SDM yang berkualitas terwujud
(peringktat 64); indikator deployment berbanding lurus dengan program
didasari nilai penyerapan SDM memiliki pelatihan yang juga berkualitas, SDM
nilai 61,6 (peringkat 82); dalam yang berkualitas sebagai bentuk kontrol
ketersediaan SDM atau indikator know- lembaga terhadap kemajuan lembaganya.
how Indonesia memiliki peringkat 99, Penyelenggaraan program menurut
dengan golongan umur produktif 25-54 Sudjana (2007) akan memulai juga adanya
tahun. Peringkat Indonesia secara umum evaluasi program, evaluasi program ini
dalam hasil penilaian WEF mengenai yang akan menghantarkan kepada
pembangunan SDM dari 130 negara di manajemen kualitas program termasuk
dunia Indonesia berada pada peringkat 65, program pelatihan. Program pelatihan
dengan tingkat penyerapan SDM dan merupakan sebuah sistem yang
tingkat kemampuan juga pengetahuan membentuk siklus, mulai dari perecanaan,
pekerja yang masih rendah. Peringkat pengembangan, pelaksanaan hingga
umum tersebut juga belum mencerminkan evaluasi. Joint Committee on Standar for
keberhasilan, dimana Indonesia masih Educational Evaluation pada tahun 1981
dibawah negara Asia Tenggara lainnya menyebutkan bahwa evaluasi program
seperti Singapura, Malaysia, Thailand dan menilai aktivitas di bidang pendidikan
Filipina. dengan menyediakan data yang
Pengembangan SDM yang baik bukan berkelanjutan. Evaluasi program dalam
hanya pada level pendidikan dasar, penerapannya oleh para ahli dimudahkan
melainkan level dewasa juga perlu dengan adanya model evaluasi program.
diperhatikan. Pengembangan SDM level Sebagai pusat penyelenggara
dewasa agar berkualitas di Indonesia pelatihan dan untuk mengontrol kualitas
dilakukan dengan mengadakan pelatihan yang dilaksanakan PPSDM
pendidikan dan latihan (diklat) atau melaksanakan evaluasi program pelatihan
pelatihan pada sektor pengembangan dengan mengacu kepada model evaluasi
SDM. Lembaga penyedia layanan program yang telah dikembangkan ahli,
pelatihan tersebut kemudian dikenal juga beragam model evaluasi program mulai
dengan sebutan Pusat Pengembangan dari CIPP, yang biasa diterapkan adalah
Sumber Daya Manusia (PPSDM). model evaluasi Kirkpatrick, Brinkerhoff,
Banyaknya jumlah lembaga model wheel dan model evaluasi program
pengembangan SDM baik pemerintah lainnya. Berdasarkan obervasi dan
atau swasta menjadikan lembaga penyedia wawancara yang dilakukan pada bulan
layanan tersebut memiliki lembaga September-Oktober 2018 di PPSDM
pelatihan tersendiri, salah satunya dalam Geominerba model evaluasi program yang
pemerintahan masing-masing kementrian diterapkan adalah model evaluasi
yang bekerja di bawah pemerintah Kirkpatrick atau disebut juga model
memiliki pusat pengembangan SDM evaluasi empat level. Model Evaluasi
sendiri untuk mengontrol atau menjaga Kirkpatrick banyak digunakan untuk
kualitas SDM yang dimiliki. Pusat evaluasi program dan dikatakan
Pengembangan Sumber Daya Manusia sederhana, sistematis juga efektif menurut
Geologi Mineral dan Batubara (PPSDM penelitian yang telah dilakukan.
Geominerba) salah satu pusat Penelitian yang dilakukan Fildzah
pengembangan SDM dibawah Ikramina dan Aurik Gustomo pada tahun
Kementerian Energi dan Sumber Daya 2014 yang melakukan evaluasi Model
Mineral merupakan lembaga pelatihan Kirkpatrick pada PT. Bank Tabungan

62 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

Negara (Persero) Tbk. yang menyebutkan program pelatihan, pelaksanaan


bahwa panduan yang dibuat Kirkpatrick pembelajaran dan hasil dari pelatihan.
merupakan cara terbaik yang dapat Evaluasi dalam mengukur dan
dilakukan untuk mengevaluasi, yang telah menghasilkan nilai memerlukan alat yang
terbukti sewaktu-waktu menjadi metode disebut instrumen evaluasi. Evaluasi
evaluasi yang paling berguna yang Model Kirkpatrick yang terdiri atas empat
digunakan oleh banyak perusahaan. Salah level memiliki instrumen yang berbeda-
satu alasannya adalah karena ada beda untuk mengukur setiap levelnya.
kesenjangan antara desain teori dan desain Berdasarkan obervasi dan wawancara
yang ada di Bank Tabungan Negara pada yang dilakukan salah satu instrumen yang
Kirkpatrick level 3. Penelitian yang digunakan untuk mengukur level pertama
dilakukan Shahrooz Farjad pada tahun model Kirkpatrick atau reaction adalah
2012 dengan judul The Evaluation dengan instrumen Survei Kepuasan
Effectiveness of training courses in Masyarakat (SKM). Penggunaan SKM di
University by Kirkpatrick Model (case PPSDM Geominerba untuk mengukur
study: Islamshahr university) level pertama model evaluasi Kirkpatrick
menyebutkan bahwa sebagai model ini didasari oleh Peraturan Pemerintah No.
evaluasi yang mudah Kirkpatrick juga 39 Tahun 2006 tentang Tata Cara
dikenal dengan model yang Pengendalian dan Evaluasi Pelaksanaan
mengklasifikasikan hasil evaluasi. Dalam Rencana Pembangunan. Adapun acuan
penelitian ini digunakan untuk melihat yang digunakan oleh PPSDM
efektifitas pada keempat levelnya Geominerba, sebagai unit penyelenggara
pelatihan di Islamshahr University dan pelayanan publik dalam melakukan Survei
hasilnya pengaruh pada setiap level Kepuasan Masyarakat adalah Peraturan
terlihat signifikan dan akan memberi Menteri Pendayagunaan Aparatur Negara
dampak yang baik pada program. dan Reformasi Birokrasi Republik
Penelitian oleh Megan Paull, Craig Indonesia Nomor 14 Tahun 2017 tentang
Whitsed dan Antonia Girardi pada tahun Pedoman Penyusunan Survei Kepuasan
2016 mengenai penerapan Model Masyarakat Unit Penyelenggara
Kirkpatrick untuk mengevaluasi kegiatan Pelayanan Publik. Dalam Peraturan
belajar pada penerapan kurikulum. Menteri tersebut diatur mulai dari unsur
Hasilnya Model Kirkpatrick adalah cara SKM, penentuan responden, metode
mengevaluasi penerapan interaksi untuk survei, pelaksanaan dan teknik survei,
kerangka pembelajaran telah memberi pengolahan data, penyusunan laporan,
hasil positif dalam waktu yang efisien bagi hingga rencana tindak lanjut.
pendidik dan siswa, dengan kata lain Karakteristik instrumen evaluasi yang
model evaluasi ini dinilai perlu dicerminkan dikemukakan Arifin
efisien. Penelitian yang dilakukan oleh (2017) harus valid, reliabel, relevan,
Mochammad Handal Widiansyah pada representatif, praktis, deskriminatif,
tahun 2016 yang membahas studi spesifik dan proporsional. Artinya
deskriptif pelatihan teknis kepala desa instrumen harus menghasilkan informasi
yang dilaksanakan oleh Pelatihan Provinsi yang terukur, sesuai dengan apa yang akan
Jawa Timur Tahun 2014 menggunakan diukur, mudah digunakan, mampu
model evaluasi program Kirkpatrick. menunjukan perbedaan sekecil apapun
Evaluasi dilakukan pada masing-masing (deskriminatif), spesifik dan memiliki
tahapan dan menghasilkan hal-hal apa saja tingkatan yang benar. Untuk mendukung
yang kurang dan perlu diperbaiki, kepada pemencapaian karakteristik
berdasarkan penilaian setiap level tersebut tersebut agar tercermin dalam instrumen
menghasilkan masukan untuk perbaikan perlu adanya penyusunan kisi-kisi agar

63 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

evaluasi yang dilakukan representatif dan pelatihan dikatakan puas dan tidak puas
relevan. dari isis lembaga dan pengguna; (2)
Observasi dan wawancara yang menggambarkan tujuan merupakan
dilakukan terhadap penyusunan instrumen langkah representasi hasil sejak awal; (3)
SKM, SKM dikembangkan PPSDM perancangan dan pengembangan produk
Geominerba secara langsung diturunkan dilaksanakan menggunakan tahapan
dari aspek yang ditentuakan regulasi Kirkpatrick dalam bukunya implementasi
kepada pertanyaan, tidak ada penyusunan model empat level; (4) ujicoba lapangan
kisi-kisi sebagaimana dikemukakan kepada pengguna untuk melihat nilai
seharusnya. Evaluasi yang dihasilkan juga validitas dan reliabilitas instrumen hasil
belum mampu menunjukan perbedaan pengembangan; (5) evaluasi hasil ujicoba
dimana diambil satu contoh terkait untuk melihat kekurangan-kekurangan
penyelenggaraan, menilai bagaimana instrumen; dan (6) mengkomunikasikan
penyelenggaraan pelatihan belum spesifik hasil melihat perubahan sebelum dan
penyelenggaraan yang mana secara teknis sesuadah pengembangan. Langkah-
(layanan) atau secara kebutuhan barang langkah tersebut dikatakan sebagai sebuah
yang terpenuhi. Hal ini akan siklus yang tidak dapat terputus dan
menyebabkan hasil evaluasi yang bias merupakan satu kesatuan utuh dalam
dalam penafsirannya, atau dengan kata pelaksanaan metode DDR.
lain aspek mana dalam penyelenggaraan Penelitian dilakukan di PPSDM
yang sekiranya kurang masih dianggap Geominerba, dengan partisipan penelitian
bias. Berdasarkan permasalahan tersebut sebagai berikut.
penulis tertarik untuk melakukan Tabel 1. Partisipan Penelitian
penelitian mengenai pengembangan Partisipan Langkah Jumlah
instrumen evaluasi, beberapa pertanyaan DDR
penelitian yang beririsan dengan langkah Kepala Sub Identify The 1
dalam metode yang digunakan.
Bidang Problem
B. METODE PENELITIAN Evaluasi Motivating
Metode dan desain yang digunakan PPSDM The
dalam penelitian ini bertujuan untuk Geominerba Research
pengembangan instrumen evaluasi Model Ahli Evaluasi Design and 2
Kirkpatrick Level Satu (Reaction) tentang Develop The
kepuasan layanan pelatihan. Metode
Artifact
penelitian yang digunakan adalah metode
penelitian desain dan pengembangan atau Peserta Design and 17
disebut juga Design and Development Pelatihan Develop The
Research (DDR). Penelitian Artifact
menggunakan desain DDR yang Subject the 60
dikembangkan oleh Nunamaker dkk. pada Artifact To
tahun 1991 dan dilengkapi oleh Hevner
Testing
dkk. pada tahun 2004 untuk menghasilkan
produk. Penelitian DDR menurut Jumlah 80
Nunamaker dkk. (1991); dan Hevner dkk.
(2004); (dalam Ellis & Levy, 2010, hlm. Teknik pengumpulan data yang
111) memiliki enam langkah, yang terdiri digunakan dalam penelitian ini adalah
atas; (1) identifikasi masalah merupakan menggunakan beberapa jenis teknik,
langkah analisis awal yang berkaitan diantaranya wawancara, studi
dengan pelayanan pelatihan bagimana dokumentasi dan kuesioner dengan

64 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

instrument sebagai alat. Instrumen yang 2 15


dikembangkan akan mengumpulkan data- 3 14
data yang diperlukan untuk kemudian 4 11
diolah menjadi informasi. Analisis data 5 2
penelitian dilakukan dengan Kuesioner terbuka yang dibagikan
menggunakan software SPSS dan kepada peserta pelatihan adalah mengenai
Microsoft Excel. Data yang didapatkan layanan yang perlu dipertimbangkan
dari berbagai teknik pengumpulan data dalam pelatihan, diklasifikasikan ke dalam
kemudian dianalisis. Analisis data yang kode yang merangkum seluruh masukan,
didapatkan dilakukan dengan langkah yang terdiri atas:
yang dikemukakan Ali (2010, hlm. 329) P1 : Konten Pelatihan atau Materi
meliputi: (1) penyusunan, (2) klasifikasi, P2 : Kompetensi Pengajar atau
(3) pemrosesan/pengolahan, dan (4) Widyaiswara
penafsiran dan penyimpulan. P3 : Fasilitas atau Sarana
Prasarana
C. HASIL DAN PEMBAHASAN P4 : Pengelolaan Kegiatan
1. Identifikasi Masalah Pelatihan
Langkah pertama dalam penelitian P5 : Biaya Pelatihan
DDR diawali dengan identifikasi masalah. 2. Menggambarkan Tujuan
Pelaksanaan langkah ini dilakukan dengan Tujuan dari Design Development
mengadakan studi pendahuluan untuk Research (DDR) diambil dari hasil
kepentingan pengembangan instrumen. identifikasi terhadap masalah, yakni
Wawancara kepada kepala sub bidang pengembangan instrumen evaluasi model
evaluasi PPSDM Geominerba dan kirkpatrick level satu mengenai reaksi.
penyebaran kuesioner terbuka kepada Penelitian ini bertujuan untuk
peserta. Hasilnya, standar dalam kepuasan mengembangkan kompetensi keilmuan
layanan pelatihan di PPSDM Geominerba dan juga pengetahuan mengenai evaluasi
adalah mengacu kepada Standar secara khusus sebagaimana telah
Pelayanan Publik PPSDM Geominerba, dipelajari dibangku perkuliahan. Evaluasi
sedangkan untuk pengajar mengacu diambil sebagai satu subjek kajian
kepada Standar Pengajar dan Asessor teknologi pendidikan yang berfungsi
PPSDM Geominerba. Standar-standar ini untuk mengembangan program, program
memiliki tujuan mewujudkan pelayanan yang berkaitan dengan penelitian ini
prima di lingkungan PPSDM adalah program pelatihan. Penelitian juga
Geominerba. Hal-hal yang membuat bermaksud untuk menguji teori dari
peserta puas dengan pelatihan di PPSDM pengembangan instrumen mengikuti rules
Geominerba adalah jenis diklat yang yang dibuat oleh pengembang teori yakni
beragam, widyaiswara yang kompeten, Kirkpatrick. Rangkaian penelitian terdiri
sarana prasarana pelatihanyang lengkap, atas; analisis keadaan instrumen yang
biaya terjangkau, dan masih banyak hal digunakan, membuat rancangan
lain yang termasuk pelayanan pelatihan. pengembangan instrumen, dan
Hal-hal yang membuat peserta tidak puas menganalisis hasil pengembangan
dengan pelatihan di PPSDM Geominerba, instrumen.
materi diklat yang kurang up date dan 3. Perancangan dan Pengembangan
sarana prasarana yang kurang memadai di Produk
hotel. Pengembangan instrumen dilakukan
Tabel 2. Hasil Kuesioner Terbuka dengan kaidah pengembangan produk
Premis Frekuensi berdasarkan penjelasan langkah DDR dan
1 11 Kirkpatrick. Membuat kerangka

65 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

konseptual, desain dan prototype dari melalui ujicoba lapangan. Desain


produk yang hendak dikembangkan. Kisi- instrumen setelah ujicoba tahap 2
kisi kemudian dikembangkan menjadi mengalami perubahan dari kisi-kisi
instrumen evaluasi utuh yang terdiri dari sampai desain berdasarkan pertimbangan
judul sampai bagian penutup atau ruang dan rekomendasi beberapa ahli.
rekomendasi dari peserta bagi lembaga Perubahan desain ini didasari dari hasil
untuk pengembangan program pelatihan. penilaian expert terhadap produk yang
Instrumen yang dihasilkan bersifat dikembangkan, hal-hal yang berubah dari
sementara atau hipotesis karena belum desain awal diantaranya: (1) bagian
melalui tryout atau ujicoba tahap 2 oleh identitas pengisi kuesioner, (2) perubahan
expert. Penilaian expert tentang produk redaksi, dan (3) jumlah item soal
yang dikembangkan adalah awal dari bertambah untuk menambah spesifikasi
pengembangan produk setelah peneliti penilaian. Pasca memeroleh penilaian
dan sebelum dilakukan ujicoba lapangan terhadap butir item soal, penilaian yang
kepada peserta. Penilaian dilakukan juga diperoleh dari expert adalah penilaian
kepada tiga expert, yang terdiri atas; (1) validitas permukaan. Validitas permukaan
Kepala Sub Bidang Evaluasi PPSDM yakni hasil tanggapan expert atas beberapa
Geominerba, dan (2) Dosen Psikologi FIP aspek yang dinilai dari instrumen reaction-
UPI yang memiliki konsentrasi dalam sheet menggunakan skala likert.
pengembangan instrumen serta penilaian Selain uji item soal juga ada expert
layanan sebanyak dua orang. Hasil dari review, atau penilaian ahli berdasarkan
ujicoba terbatas instrumen kepada tiga beberapa aspek menggunakan skala likert.
expert adalah sebagai berikut. Hasil lembar penilaian oleh para ahli,
Ujicoba Expert Tahap 1 ini keterbacaan untuk jenis huruf dan ukuran
menghasilkan beberapa poin penting yang dalam yang digunakan instrumen dengan
menjadi acuan untuk memperbaiki representasi kelayakan 100%. Sangat
instrumen selanjutnya, diantaranya; (1) layak untuk tata letak konten dengan
beberapa item dinilai kurang sesuai dalam respresentasi kelayakan 87%. Kisi-kisi
pemilihan kata atau redaksi, (2) ada juga instrumen dan indikator yang
item yang masih belum menunjukan dikembangkan memiliki persentase
kepada sesuatu yang spesifik untuk kelayakan 87%, artinya sangat layak.
diukur, (3) identitas dalam instrumen Kelayakan komponen instrumen dengan
masih belum ada. Hasil tersebut jika persentase 93%, artinya sangat layak.
direpresentasikan ke dalam pengambilan Ketepatan bahasa yang digunakan pada
keputusan nilai CVR harus lebih besar setiap item dengan persentase nilai 93%,
sama dengan 0,5 (CVR ≥ 0,05) maka artinya sangat layak. Kesesuaian
kebanyakan item belum valid dan belum penggunaan skala dengan persentase nilai
bisa untuk di ujicobakan di lapangan. 93%, artinya sangat layak. Kemudaham
Pertimbangan selain itu pendapat Laswhe mengisi dengan persentase 100%, artinya
(1975) ketika setengah dari expert setuju sangat layak. Representatis isi instrumen
dengan item tersebut, atau dalam kondisi dengan persentase nilai 93%, artinya
ini dua orang setuju dan satu tidak maka sangat layak. Sangat cukup waktu untuk
bisa dipertimbangkan untuk diujicobakan untuk mengisi dengan representasi
di lapangan. Perbaikan dilaksanakan kelayakan waktu 93%, artinya sangat
dengan ujicoba kedua. layak.
Ujicoba Expert Tahap 2 memberikan 4. Ujicoba Lapangan Produk yang
95 % hasil cocok terhadap 20 soal yang Dikembangkan
dikembangkan. Hasil ujicoba tahap 2 Produk diujicobakan kepada peserta
adalah instrumen yang kemudian akan latihan non-sertifikasi di PPSDM

66 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

Geominerba. Rincian respondennya terhadap peserta. Hasil korelasi setiap


sebagai berikut. faktor digambarkan sebagai berikut.
Tabel 3. Persebaran Responden Tabel 4. Validitas Konstruk
Jumlah (Y) Jumla Hasil
Jumlah h Total Korelas
No Nama Pelatihan Peserta Faktor (X) (Y1) i
(orang) Penyelenggaraa X1Y1 0,75
Resolusi Konflik n pelatihan (X1)
1 12 Konten X2Y1 0,74
Pertambangan
pelatihan (X2)
Sistem Manajemen
Instruktur yang X3Y1 0,77
2 Keselamatan 14 kompeten (X3)
Pertambangan Fasilitas yang X4Y1 0,78
Evaluasi Studi membantu
3 Kelayakan 13 pelatihan (X4)
Pertambangan Perubahan X5Y1 0,72
4 Juru Ledak Kelas I 17 kompetensi
terhadap peserta
Jumlah Responden 60
(X5)
Ujicoba dilakukan pada 60 orang Hasil dari validitas menggunakan analisis
peserta pelatihan non-sertifikasi, dengan faktor adalah setiap faktor atau aspek
pelaksanaan lapangan terdiri dari dua dinyatakan valid, karena lebih dari 0,3
kegiatan; (1) penyebaran reaction-sheet atau nilaianya 0,3 keatas. Karena koefisien
untuk diisi peserta, dan (2) penyebaran korelasi kelima faktor tersebut diatas 0,3
kuesioner user review untuk menilai maka penyelenggaraan pelatihan, konten
instrumen yang dikembangkan. Ujicoba pelatihan, instruktur yang kompeten,
lapangan diawali dengan pembukaan dan fasilitas yang membantu pelatihan,
pengenalan peneliti kepada peserta perubahan kompetensi terhadap peserta
pelatihan, kemudian penjelasan mengenai merupakan konstruksi (construct) yang
instrumen yang sudah dibagikan di meja valid untuk layanan pelatihan.
peserta, selanjutnya pemaparan maksud Reliabilitas dari produk yang
dan tujuan pengumpulan data ini, dan dikembangkan diukur dengan rumus
terakhir meminta respon dari peserta Cronbach Alpha.
untuk mengisi instrumen. Rangkaian Tabel 5. Nilai Realibilitas Koef. Alpha
penelitian tersebut dilakukan pada empat Cronbach's N of
kelas pelatihan yang menjadi sampel. Alpha Items
Validitas konstruk dilakukan melalui .918 20
pengujian analisis faktor terhadap
instrumen yang dikembangkan. Validitas Hasilnya nilai reliabilitas produk yang
diuji dengan menggunakan rumus korelasi dikembangkan adalah 0.918 berarti berada
terhadap faktor-faktor dengan total dari pada rentang 0.80 s.d. 1.000, produk
setiap item, menggunakan Pearson dikatakan memiliki reliabilitas sangat
Product Moment. Faktor dari instrumen kuat.
yang dikembangkan terdiri atas lima Validitas Permukaan User Review
faktor yang diturunkan dari dimensi, Hasil lembar penilaian oleh para
yakni; (1) penyelenggaraan pelatihan, (2) peserta pelatihan, sebanyak 60 sampel.
konten pelatihan, (3) instruktur yang Pengolahan data instrumen menggunakan
kompeten, (4) fasilitas yang membantu teknis analisis data dari rumus guttman di
pelatihan, dan (5) perubahan kompetensi dapatkan hasil 97%. Lebih besar 3% dari

67 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

penilaian expert. Hasil 97% ketika di Kirkpatrick level satu (reaction)


konversikan ke dalam kriteria berada pada memberikan hasil akhir instrumen yang
rentang persentase 80 – 100, yang artinya dikelompokan berdasarkan aspek
Sangat Layak. Penilaian user berdasarkan instrumen antara instrumen yang
beberapa aspek yang dinilai memiliki hasil diterapkan oleh PPSDM Geominerba dan
akhir, sangat layak terhadap produk yang instrumen yang dikembangkan sebagai
dikembangkan. produk penelitian, hasil dari ujicoba
Tahap pengembangan instrumen tersebut diperinci sebagai berikut.
yang sudah dilaksanakan yakni menyusun Tabel 6. Hasil Akhir
item pertanyaan, membuat item memiliki Kondisi Instrumen Instrumen
bentuk feedback menggunakan skala yang yang
likert, penambahan ruang untuk Diterapkan Dikemban
rekomendasi dari peserta terkait gkan
pelayanan pelatihan yang didapatkan,
tidak ada kolom nama, dan pengisian yang Skala Penggunaan Penggunaa
dianjurkan memeroleh 100%respon yang skala dalam n skala
peserta pelatihan talah dilakukan dalam Digunak instrumen memiliki
ujicoba. Ujicoba lapangan reaction-sheet an sebelumnya, satu makna
memeroleh 100% respon. Respon dari atau yang yang sama
keseluruhan jumlah responden yakni 60 digunakan dalam satu
orang, maka seluruh tahapan yang dilapangan instrumen
dikemukakan Kikrpatrick dalam bukunya dikatakan seperti teori
telah terlaksanakan. kurang dari
5. Evaluasi Hasil Ujicoba representatif. Kirkpatrick
Kepuasan layanan diukur melalui Alasannya, . Skala
reaction-sheet memeroleh hasil per-item skala yang yang
dari nilai mean (rata-rata) dan modus digunakan digunakan
(nilai yang sering muncul) yakni sebagai dalam satu adalah
berikut. Hasil dari reaction-sheet 100% instrumen skala likert
jawaban peserta pelatihan memberikan variatif dengan
tanggapan setuju terhadap pernyataan sesuai keterangan;
yang diajukan dan tingkat kepuasan dari dengan fokus sangat
pelatihan yang diadakan secara dominan item tidak
adalah baik.Evaluasi terhadap hasil pertanyaan. setuju,
ujicoba produk dari dua pelaksanaan Sehingga, tidak
ujicoba melalui expert dan user. Hasilnya satu setuju,
didapatkan dari catatan yang ditulisakan instrumen netral,
oleh ahli dan user, terdiri atas: (1) perlu memiliki setuju, dan
adanya spesifikasi terhadap item fasilitas makna yang sangat
diklat, fasilitas diklat bias ditambah berbeda setuju.
dengan menanyakan kondisi ruangan, dalam tiap
kondisi seminar kit, konsumsi, dan hal interval
pribadi lain yang didapatkan, dan (2) perlu respon yang
adanya garis bantu pembatas setiap item diisi.
soal.
Tata Ada dua Sebelumny
6. Mengkomunikasikan Hasil
bahasa aspek yang a, memiliki
Hasil dari keseluruhan tahapan
berbeda hal yang
penelitian desain dan pengembangan
terhadap pengembangan instrumen makna dalam sama
satu item, dengan

68 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

sehingga kondisi Kirkpatrick


akan instrumen (2007)
berakibat di pada
pada lapangan. bukunya
representasi Setelah menyebutk
hasil. dinilai dan an untuk
diujicobaka mendapatk
n beberapa an
hal yang penilaian
masih reaksi yang
kurang maksimal
pada diakhir
instrumen form isian
muli ditambahka
diperbaiki. n ruang
Sehingga untuk
intrumen komentas
lebih terhadap
relevan dan pelatihan
representati untuk
f. Yang pengemban
dibuktikan gan
dengan program
hasil selanjutnya
validitas .
konstruk
oleh expert. Desain Desain Desain
instrume instrumen instrumen
Kelengka Kelengkapan Kelengkap n simple dan pasca
pan dinilai an dinilai membutuhka ujicoba
instrume lengkap lengkap n waktu yang juga
n sebagaimana sebagaima sebentar mengalami
teori na teori untuk perubahan
sistematika sistematika mengisi, dari desain
instrumen instrumen namun hasil sebelum
yang terdiri yang terdiri analisisnya ujicoba,
atas; atas; tidak dapat yakni
identitas, identitas, merepresenta penambaha
perintah perintah sikan secara n garis
pengisian, pengisian, menyeluruh bantu
item soal, item soal, karena hasil pembatas
dan catatan dan catatan per-item untuk
untuk untuk akan setiap item
menambah menambah berbeda. soal.
komentar komentar Desain
terhadap terhadap instrumen
pelatihan. pelatihan. akhir
didapatkan
Sebagaima setelah
na

69 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

dilakukan yang menjadi pertimbangan dan perbaikan


ujicoba dalam pengembangan produk penelitian,
kepada 3 sehingga tujuan penelitian berdasarkan
ahli dan 60 analisis yang dilakukan adalah
sampel pengembangan instrumen evaluasi
peserta Kirkpatrick level satu tentang reaksi.
pelatihan. Tujuan sebagai langkah DDR
selanjutnya, dilakukan dengan menyusun
strategi tentang pengembangan produk.
Tujuan berdasarkan pendapat Ellis dan
Representasi pembasahan
Levy (dalam Ellis dan Levy, 2010, hlm.
berdasarkan hasil yang diperoleh di
112) penelitian adalah pengembangan
lapangan adalah sebagai berikut.
instrumen evaluasi model Kirkpatrick
A. Instrumen Evaluasi yang
level satu (reaction) tentang kepuasan
Digunakan oleh Pusat
layanan. Produk dikembangkan untuk
Pengembangan Sumber Daya
menguji teori dan melihat nilai dari
Manusia Geologi Mineral dan
produk yang dikembangkan yakni
Batubara (PPSDM Geominerba)
instrumen evaluasi model kirkpatrick
untuk Mengukur Kepuasan
level satu tentang kepuasan layanan di
Layanan Pendidikan dan Latihan
PPSDM Geominerba. Sasaran pengguna
Instrumen yang digunakan disebut
instrumen adalah peserta pelatihan yang
instrumen Survei Kepuasan Masyarakat
merasakan langsung layanan dari PPSDM
(SKM). Instrumen yang ini memiliki
Geominerba.
struktur dengan kondisi skala instrumen
B. Rancangan Pengembangan
yang berbeda-beda disesuaikan dengan
Instrumen Evaluasi Model
fokus pertanyaan item. Jika kondisi skala
Kirkpatrick Level Satu (Reaction)
seperti ini maka akan menghasilkan nilai
di Pusat Pengembangan Sumber
yang tidak representatif untuk keseluruhan
Daya Manusia Geologi Mineral dan
reaksi, dan keseluruhan kepuasan layanan.
Batubara (PPSDM Geominerba)
Hasilnya satu instrumen memiliki makna
Instrumen yang dihasilkan harus
yang berbeda dalam tiap interval respon
merepresentasikan layanan pelatihan
yang diisi. Ada dua aspek yang berbeda
sebagaimana Kirkrpatrick (2007) bahwa
makna dalam satu item pertanyaan,
dalam level satu hal yang diukur adalah
sehingga akan berakibat pada representasi
reaksi atau customer satisfaction yakni
hasil. Desain instrumen sederhana dan
kepuasan layanan terhadap pelatihan.
membutuhkan waktu yang sebentar untuk
Pengukuran kepuasan layanan pelatihan
mengisi, namun hasil analisisnya tidak
dirancang dengan menggunakan kisi-kisi
dapat merepresentasikan secara
dan desain awal sebagai hipotesis. Hasan
menyeluruh karena hasil per-item akan
(2003) Nunamaker et. Al (1992) (dalam
berbeda.
Ellis dan Levy, 2010) menyebutkan
Intrumen ini dapat dikatakan belum
bahwa dalam proses pengembangan
representatif sebagaimana ciri instrumen
produk DDR perlu untuk membuat
harus relevan dan representatif menurut
kerangka konseptual, desain dan prototype
Ihsan (2016). Instrumen ini juga ketika
dari produk yang hendak dikembangkan.
ditelaah ke langkah sebelum menjadi
Kerangka konseptual, desain dan
instrumen yakni pada kisi-kisi instrumen,
prototype dikerjakan dengan membuat
instrumen belum memiliki kisi-kisi,
kisi-kisi untuk instrumen yang akan
padahal sebagaimana instrumen harus
dikembangkan sampai menjadi instrumen
memiliki kisi-kisi sebagai blue print
awal yang akan melalui tahapan tryout dan
sebagai kontruk instrumen. Hal-hal ini

70 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

ujicoba lapangan kepada peserta C. Hasil Penerapan Instrumen


pelatihan. Proses pengembangan produk Evaluasi Model Kirkpatrick Level
mengacu kepada teori pengembangan Satu (Reaction) yang
instrumen menurut. Kirkpatrick (2007, Dikembangkan Di Pusat
hlm. 25) memaparkan tahapan dalam Pengembangan Sumber Daya
pengembangan instrumen reaksi, yakni Manusia Geologi Mineral Dan
terdiri atas; (1) membuat daftar item atau Batubara (PPSDM Geominerba)
soal yang membutuhkan feedback atau Penerapan atau ujicoba lapangan
jawaban, (2) desain instrumen reaksi instrumen kepada peserta pelatihan
memiliki hasil yang bisa dihitung, dilaksanakan setelah pelatihan akan
menggunakan 5 poin skala (skala likert), berakhir, tepatnya satu hari sebelum
(3) akhiri instrumen dengan bagian penutupan pelatihan. Sebagaimana
rekomendasi yang diisi oleh peserta untuk Widoyoko (2017) menyebutkan bahwa
pengembangan program, (4) jangan waktu yang paling tepat dalam
membiarkan peserta mencantumkan melaksanakan evaluasi Kirkpartick level
nama, dan (5) berusahalah untuk satu adalah sesaat setelah pelatihan
mendapatkan seluruh respon dari peserta berakhir atau sesaat sebelum berakhir.
pelatihan. Instrumen dibagikan kepada peserta di
Instrumen yang dihasilkan dinamakan kelas pelatihan masing-masing, dengan
Reaction-Sheet sebagaimana Kirkpatrick memaparkan maksud dan tujuan dari
menyebutnya. Proses pengembangan yang penyebaran instrumen. Waktu yang
pertama adalah membuat daftar item diberikan untuk mengisi tidak bertepatan
reaksi, yang didapatkan dari identifikasi dengan berakhirnya pemaparan hal-hal
masalah melalui kuesioner terbuka dan terkait instrumen, dikarenakan peserta
wawancara secara langsung kepada masih memiliki kegiatan yang terbilang
Kepala Sub Bidang Evaluasi PPSDM padat dari pagi sampai sore di satu hari
Geominerba. Item yang dihasilkan terdiri sebelum penutupan sehingga waktu
atas hal-hal yang perlu dipertimbangkan pengisian yang diberikan adalah dari pagi
ntuk mengetahui reaksi peserta, yakni; (1) sejak dibagikan sampai sore harinya. Hal-
konten pelatihan atau materi, (2) hal yang dipaparkan adalah mengenai
kompetensi pengajar atau widyaiswara, instrumen yang akan diisi, dari mulai
(3) fasilitas atau sarana prasarana, (4) identitas sampai kolom komentar,
pengelolaan kegiatan pelatihan, dan (5) termasuk penggunaan skala dan
biaya pelatihan. Item-item ini yang pertanyaan soal.
kemudian menjadi aspek dalam dimensi Hasilnya, dari sejumlah instrumen
penilaian kepuasan pelayanan pelatihan yang dibagikan, masih terdapat beberapa
yang diuraian dalam bentuk kisi-kisi awal. peserta yang tidak mengisi. Hal tersebut
Tahap pengembangan instrumen yang menunjukan bahwa respon peserta berada
sudah dilaksanakan yakni menyusun item diluar kendali peneliti dan tidak dapat
pertanyaan, membuat item memiliki dipaksakan. Sebagaimana analisis
bentuk feedback menggunakan skala terhadap sistem evaluasi yang
likert, penambahan ruang untuk dilaksanakan menggunakan SWOT
rekomendasi dari peserta terkait selanjutnya. Untuk memeroleh gambaran
pelayanan pelatihan yang didapatkan, yang komprehensif penulis akan
tidak ada kolom nama, dan selanjutnya menjelaskan dengan analisis SWOT yang
pengisian yang dianjurkan memeroleh dilaksanakan terhadap perancangan
100%respon peserta pelatihan akan pengembangan instrumen evaluasi
dilakukan dalam ujicoba. Kirkpatrick level satu mengenai kepuasan
layanan pelatihan.

71 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

instrumen. Penelitian dapat terhambat


oleh waktu pelatihan dan respon peserta,
dari sejumlah respon yang dihasilkan
menghasilkan banyak respon yang tidak
dapat digunakan karena responden hanya
mengisi sebagian instrumen atau bahkan
tidak mengisi. Hasilnya hanya diperoleh
instrumen yang telah lengkap diisi.
Instrumen yang dihasilkan dari
penelitian ini harus memenuhi prinsip
instrumen yang baik. Instrumen harus
valid dan reliabel, maka perlu diketahui
nilai dari validitas
Gambar dan reliabilitas
1. Analisis SWOT dari
reaction-sheet sebagai Produk
Pengembangan produk yang
dihasilkan. Hasil didapatkan berdasarkan
Strategi tentang pengembangan ujicoba lapangan kepada responden
produk dari analisis SWOT yang berasal dari empat pelatihan non-
dilakukan, tujuan berdasarkan pendapat sertifikasi di PPSDM Geominerba. Hasil
Ellis dan Levy (dalam Ellis dan Levy, yang didapatkan dari pengisian reaction-
2010, hlm. 112) penelitian adalah sheet oleh peserta terdiri atas; validitas
pengembangan instrumen evaluasi model konstruk dan reliabilitas produk, dan hasil
Kirkpatrick level satu (reaction) tentang lain yang digunakan sebagai nilai dari
kepuasan layanan. Produk dikembangkan instrumen yang dikembangkan adalah
untuk menguji teori dan melihat nilai dari validitas butir item dengan CVR dan
produk yang dikembangkan yakni validitas permukaan dari expert dan user.
instrumen evaluasi model kirkpatrick Selanjutnya, akan dibahas mengenai hasil
level satu tentang kepuasan layanan di instrumen dari penerapan kepada expert
PPSDM Geominerba. Sasaran pengguna dan user di lapangan.
instrumen adalah peserta pelatihan yang Tryout dari penilaian expert secara
merasakan langsung layanan dari PPSDM umum memeroleh hasil penilaian
Geominerba. direpresentasikan per-item sebagian besar
Analisis memberikan gambaran menilai sangat layak. Item dikatakan layak
kelemahan dan ancaman dari penelitian, berdasarkan pendapat Laswhe (dalam
yakni; (1) waktu penelitian dan (2) respon Hendryadi, 2017) ketika nilainya lebih
peserta pelatihan. Waktu penelitian dari, 0,5 dan atau setengah dari expert
dikatakan sebagai kelemahan dan setuju dengan item tersebut, atau dalam
ancaman karena tidak dapat di setting oleh kondisi ini dua orang setuju dan satu tidak
peneliti, termasuk didalamnya jumlah maka bisa dipertimbangkan untuk
peserta dengan insidental sampel namun diujicobakan di lapangan dan nilai CVR
purposive. Respon peserta pelatihan yang dihasilkan lebih dari yang
menjadi kelemahan dan ancaman karena ditentukan. Rancangan pengembangan
tidak dapat dikontrol dan mengikuti yang dihasilkan adalah isntrumen dengan
kehendak peneliti, jadi bisa saja item pertanyaan yang valid. Hasil dari uji
pengembangan instrumen ini memiliki expert menggunakan CVR dari Laswhe
nilai yang sangat kecil. adalah dari 15 item yang diajukan diawal
Penelitian yang telah dilaksanakan masing dominan item yang kurang valid.
diakhir kegiatan pelatihan memberikan Selanjutya, dilakukan kembali penilaian
hasil yang sesuai dengan analisis SWOT expert mengenai item, hasilnya dari 15
tentang perancangan pengembangan item yang dikembangkan kemudian

72 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

menjadi 20. Hasil CVR dari 20 item satu dikembangkan dan fisible untuk
item memeroleh hasil tidak layak dan digunakan. Rinciannya, sangat layak
diambil keputusan untuk dihapus. untuk tata letak konten. Ketepatan bahasa
Hasil lain dari penerapan instrumen yang digunakan pada setiap item nilainya
adalah validitas permukaan oleh expert. layak. Kesesuaian penggunaan skala
Item-item penilaian adalah validitas dengan nilai layak. Kemudaham mengisi
permukaan yang terdiri dari keterbacaan dengan nilai sangat layak. Representatis
huruf, kondisi ruang dalam instrumen, isi instrumen dengan nilai layak. Sangat
konstruk penurunan indikator menjadi cukup waktu untuk untuk mengisi dengan
item pertanyaan, fisibilitas dalam nilai sangat layak.
pengisian kuesioner dan komponen- Hasil lain dari instrumen adalah
komponen isntrumen. Expert review ini tentang kepuasan layanan dari peserta
menjadi hasil validitas permukaan untuk adalah dominan peserta mengatakan
produk yang dikembangkan, hasilnya setuju bahwa pelayanan yang diberikan
sangat layak. Rinciannya, sangat layak baik. Hasil tersebut sejalan dengan
untuk tata letak konten. Kisi-kisi pendapat Widoyoko (2017) selain untuk
instrumen dan indikator yang mengevaluasi proses pelatihan juga untuk
dikembangkan memiliki nilai sangat melihat dampak langsung motivasi dan
layak. Kelayakan komponen instrumen semangat peserta pleatihan. Sejumlah
dengan nilai sangat layak. Ketepatan pertanyaan yang diajukan dalam reaction-
bahasa yang digunakan pada setiap item sheet bahwa peserta setuju pelatihan
nilai sangat layak. Kesesuaian memberikan perubahan kepada
penggunaan skala dengan nilai sangat kompetensi peserta, dan tanggapan positif
layak. Kemudaham mengisi dengan nilai bahwa pelatihan bermanfaat untuk
sangat layak. Representatis isi instrumen peserta.
dengan nilai sangat layak. Sangat cukup Silberman (2006, hlm. 318-319)
waktu untuk untuk mengisi dengan menyebutkan bahwa kualitas pelatihan
representasi kelayakan waktu sangat dapat diukur melalui tingkat kepuasan
layak. pesertanya. Hasil dari pengembangan
Validitas konstruk dilakukan dengan instrumen evaluasi Kirkpatrick level satu
analisis faktor. Analisis faktor tentang kepuasan layanan pelatihan di
mengkorelasikan antara faktor-faktor PPSDM Geominerba selain menghasilkan
yang diturunkan dari dimensi dengan skor instrumen yang valid dan reliabel juga
total. Menurut Arifin (2014) faktor yang memberikan hasil pengukuran mengenai
digunakan merupakan dimensi atau kepuasan layanan yang diberikan. Hasil
indikator dari variabel yang diukur. menunjukan kepuasan yang baik dari
Hasilnya keseluruhan faktor yang ada peserta pelatihan terhadap layanan. Secara
dikatakan “valid”. Selain validitas, hasil umum, hasil dari pengembangan
dari reaction-sheet adalah mengukur instrumen adalah instrumen yang
reliabilitas atau keajegan instrumen dikembangkan telah memiliki dasar yakni;
menggunakan croncbach-alpha, hasilnya (1) relevan dan representatif, (2) valid dan
instrumen “reliabel”. Hasil keseluruhan reliabel, serta (3) pengukuran kepuasan
menilai instrumen yang dikembangkan layanan pelatihan yang fisible.
telah valid dan reliabel. Selain itu, dari hasil penelitian
Instrumen juga dinilai secara memeroleh juga kekurangan dari
permukaan oleh user atau pengguna. instrumen yang dikembangkan adalah uji
Penilaian user berdasarkan beberapa expert yang minimum, hasil CVR yang
aspek yang dinilai memiliki hasil akhir, kurang variatif dan dapat memunculkan
sangat layak terhadap produk yang keragu-raguan. Waktu ujicoba dilakukan

73 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

satu kali kepada user, sehingga hasilnya (Reaction) menghasilkan kristalisasi dari
hanya merepresentasikan satu kali uji. hasil dan pembahasan sebagai berikut.
Kekurangan lainnya masih ada item yang 1. Hasil analisis terhadap instrumen yang
bisa dijadikan lebih spesifik untuk digunakan di PPSDM Geominerba
penilaiannya. Hasil dari kekurangan yang adalah instrumen belum representatif
didapatkan bisa menjadi rekomendasi dalam mengukur kepuasan layanan
terhadap penelitian selanjutnya dan pelatihan, sedangkan pada prinsipnya
instrumen yang dikembangkan bisa instrumen evaluasi harus representatif
digunakan untuk mengukur kepuasan dan relevan untuk bisa mengukur hal-
layanan pelatihan di PPSDM Geominerba. hal yang dievaluasi. Instrumen yang
Hasil penelitian ini sejalan dengan digunakan memiliki skala pengukuran
penelitian dari Shahrooz Farjad (2012) yang berbeda-beda sehingga untuk
menyebutkan bahwa sebagai model diambil representasi hasil terhadap
evaluasi yang mudah Kirkpatrick juga dimensi yang diukur tidak akan
dikenal dengan model yang menghasilkan nilai yang representatif
mengklasifikasikan hasil evaluasi. sama untuk semua item. Jadi, terdapat
Hasilnya pengaruh pada setiap level kesenjangan antara desain instrumen
terlihat signifikan dan akan memberi dengan desain yang seharusnya
dampak yang baik pada program. digunakan secara teoritis.
Selanjutnya, penelitian oleh John M. 2. Merancang dan mengembangkan
LaVelle dan Stewart I. Donaldson (2010), merupakan kegiatan inti penelitian,
mengevaluasi program pelatihan yang ada yang dilaksanakan berdasarkan
di Amerika Serikat. Hasilnya sangat prosedur Hevner desain DDR 6
penting untuk memahami sifat program langkah, pada kegiatan merancang dan
pelatihan agar mengetahui alternatif mengembangkan beririsan dengan
evaluasi yang sesuai dan akan diterapkan, langkah design and development of
dan penggunaan model evaluasi product dan testing of product.
Kirkpatrick mengarahkan kepada Pengembangan instrumen
terlihatnya konsistensi pelatihan pada menggunakan langkah yang
hasil evaluasinya. dikembangkan oleh Kirkpatrick, yang
Kedua penelitian tersebut memeperkuat terdiri dari penyusunan item,
bahwa hasil dari penlitian evaluasi penyusunan kerangka konseptual,
Kirkpatrick dapat memeroleh hasil yang pembuatan prototype sampai
signifikan bilamana dilakukan dua kali uji. mendapatkan keseluruhan respon
Untuk memeroleh hasil yang signifikan peserta. Pengembangan instrumen
selain dilakukan dua kali uji lapangan, diawali dengan instrumen sementara
dilakukan juga uji lapangan kepada (hipotesis) yang dikembangkan oleh
beberapa pelatihan terdapat hasil yang peneliti, untuk kemudian diujicobakan
signifikan serupa dan memandang kepada expert dan user. Hasil dari
pelatihan sebagai hal yang baik. Hasil pengembangan produk menjadi
tersebut dilihat dari reaksi terhadap setiap semakin kuat dengan adanya penilaian
aspek yang dinilai dalan instrumen expert dan user secara komprehensif.
reaction-sheet. Pengembangan produk melalui
tahapan yang cukup panjang, dari
D. KESIMPULAN pengembangan menghasilkan produk
Analisis dari pelaksanaan lapangan hipotesis oleh peneliti, tryout oleh
mengenai Pengembangan Instrumen expert yang hasilnya menambah
Evaluasi Model Kirkpatrick Level Satu jumlah item dan mempertimbangkan
redaksi dalam item soal, dan ujicoba

74 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

lapangan oleh user untuk melihat Development Reseacrh Methods.


validitas konstruk dan reliabilitas Dalam Proceedings Informing Science
terhadap instrumen yang & IT Education Conference (InSITE).
dikembangkan. Florida: Nova Southeastern University.
3. Hasil dari penerapan produk yang Farjad, S. (2012). The Evaluation
telah dikembangkan berdasarkan Effectiveness of training courses in
karakteristiknya dari mulanya University by Kirkpatrick Model (case
memiliki 15 item soal setelah melalui study: Islamshahr university). Social
tryout oleh expert item soal bertambah and Behavioral Science, 46, hlm. 2837-
menjadi 19 soal dengan pertimbangan 2841.
instrumen harus observable dan Ihsan, H. (2016). Validitas Isi Alat Ukur
measurable. Kualitas instrumen diuji Penelitian Konsep dan Panduan
dengan berbagai uji validitas, yang Penilainnya. Pedagogia, hlm. 266-273.
terdiri atas; validitas permukaan user Ikramina, F. dan Gustomo, A. (2014).
dan expert review, validitas item soal Analysis Of Training Evaluation
dengan menggunggakan teori CVR Process Using Kirkpatrick’s Training
dari Laswhe, dan validitas konstruk Evaluation Model At PT. Bank
dengan analisis faktor. Kualitas Tabungan Negara (Persero) Tbk.
instrumen juga dinilai reliablitas Journal of Business and Management,
hasilnya dengan cornbach alpha. 3 (1), hl. 102-111.
Instrumen memiliki validitas yang Joint Committee on Standar for
dominan valid dan reliabilitas yang Educational Evaluation. (1981).
reliabel dengan kriteria sangat kuat. Standars for Evaluations of
Hasilnya, instrumen yang Educational Program, Project, and
dikembangkan layak digunakan untuk Mterials. New York: McGraw-Hill.
kepuasan layanan pelatihan di PPSDM Kirkpatrick, D. L. dan Kirkpatrick, J. D.
Geominerba, ditambah instrumen (2007). Implementing the Four Levels:
sudah relevan dan representatif, valid A Practical Guide for Effective
dan reliabel, serta pengukuran Evaluation of Training Programs. San
kepuasan layanan pelatihan yang Fransisco: Barrett-Koehler Pubilsher,
fisible untuk mengukur reaksi. Inc.
Penerapan evaluasi model Kirkpatrick LaVelle, M. dan Donaldson, S. I. (2010).
pada program pelatihan memberikan hasil University-Based Evaluation Training
representatif dan mudah untuk Programs in the United States 1980–
dilaksanakan sebagaimana banyak 2008: An Empirical Examination.
penelitian yang telah dilaksanakan. American Journal of Evaluation, 31 (1)
hlm. 9-23.
E. DAFTAR PUSTAKA Paull, M., Whitsed, Cr. dan Girardi, A.
Ali, M. (2010). Metodologi dan aplikasi (2016). Applying The Kirkpatrick
riset pendidikan. Bandung: Pustaka Model: Evaluating An Interaction For
Cendekia Utama. Learning Framework Curriculum
Arifin, Z. (2014). Penelitian Pendidikan: Intervention. Issues in Educational
metode dan paradigma baru. Bandung: Research, 26 (3), hlm. 490-507.
PT Remaja Rosdakarya. Peraturan Menteri Pendayagunaan
Arifin, Z. (2017). Evaluasi Pembelajaran: Aparatur Negara dan Reformasi
Prinsip-Teknik-Prosedur, Cetakan ke- Birokrasi Republik Indonesia Nomor
10. Bandung: PT. Remaja Rosdakarya. 14 Tahun 2017
Ellis, E.T dan Levy, Y. (2010). A Guide Peraturan Pemerintah No. 39 Tahun 2006
for Novice Research Design and

75 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba
EDUTCEHNOLOGIA, Tahun 3, Vol 3 No. 1, Juni 2019

Richey, R. C. & Klein, J. D. (2009).


Design and Development Methods,
SStrategies, and Issues. New York:
Routledge.
Silberman, M. L. (2006). Active Training:
AHandbook of Technique, Designs,
Case Examples, and Tips. San
Fransisco: Pfeiffer an Inprint of Wiley.
Sudjana, D. (2007). Sistem & Manajemen
Pelatihan: Teori & Aplikasi. Bandung:
Falah Production.
Sukmadinata, N. S. (2016). Metode
Penelitian Pendidikan. Cetakan ke-11.
Bandung: PT. Remaja Rosdakarya.
Universitas Pendidikan Indonesia. (2018).
Pedoman Penulisan Karya Ilmiah.
Bandung: UPI.
Widiansyah, M. H. (2016). Studi
Deskriptif tentang Evaluasi Tahapan
Hasil Pendidikan dan Pelatihan Teknis
Kepala Desa oleh Badan Diklat
Provinsi Jawa Timur Tahun 2014.
Kebijakan dan Manajemen Publik, 4
(2), hlm. 126-134.
Widoyoko, S. E. P. (2017). Evaluasi
Program Pelatihan. Yogyakarta:
Pustaka Pelajar.
World Economic Forum. (2017). The
Human Global Capital Report 2017.
[Online]. Diakses dari:
https://www.weforum.org

76 Pengembangan Instrumen Evaluasi Model Kirkpatrick Level Satu (Reaction) Tentang Kepuasan Layanan
Pelatihan Di PPSDM Geominerba

You might also like