Secara umum evaluasi adalah suatu proses sistematik untuk mengetahui tingkat keberhasilan dan efisiensi suatu program. Dalam konteks evaluasi di lingkungan diklat, terdapat tiga istilah yang memiliki arti berbeda karena tingkat penggunaan yang berbeda, yaitu istilah pengukuran (measurement), penilaian (evaluation) dan pengambilan keputusan (decision making). Ketiga istilah ini berkaitan erat dan merupakan suatu rangkaian aktivitas dalam evaluasi dalam dunia kediklatan.
Pengukuran adalah suatu prosedur untuk mendapatkan informasi atau data secara kuantitatif, dengan pemberian angka kepada suatu sifat atau karakteristik tertentu kepada seseorang berdasarkan aturan tertentu. Hasil pengukuran berupa data kuantitatif dalam bentuk angka- angka (skor). Oleh karena itu, dalam pengukuran dibutuhkan adanya alat ukur (instrumen) yang digunakan untuk mengumpulkan data. Sifat dari pengukuran adalah obyektif. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk penilaian atau evaluasi.
Penilaian adalah kegiatan untuk mengetahui apakah suatu program telah berhasil dan efisien. Penilaian bersifat kualitatif untuk menentukan apakah sesuatu (seseorang) tergolong kategori baik atau kurang, tepat atau tidak tepat, dan kualitas lainnya. Penilaian pada dasarnya adalah pemberian pertimbangan (judgement) terhadap skor atau angka-angka yang diperoleh melalui pengukuran. Dengan demikian dalam pertimbangan memuat faktor-faktor yang bersifat subyektif dalam kadar tertentu (relatif).
Pengambilan keputusan (kebijakan) adalah tindakan yang diambil oleh seseorang atau lembaga berdasarkan data (informasi) yang telah diperoleh dengan memasukkan berbagai pertimbangan.
Dari pengertian tersebut, jelas terlihat adanya tingkatan yang berbeda. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk membuat penilaian. Penilaian memerlukan data yang baik mutunya dan salah satu sumbernya adalah hasil pengukuran. Namun demikian, tidak menutup kemungkinan bahwa penilaian tetap dilakukan meskipun tanpa didahului oleh pengkuran. Demikian pula halnya dengan pengambilan keputusan. Keputusan yang baik memerlukan hasil penilaian yang baik.
Dalam perspektif critical event models, evaluasi merupakan bagian yang tak terpisahkan dari seluruh tahapan siklus diklat. Pada konteks ini evaluasi dilakukan terhadap setiap tahapan mulai dari analisis kebutuhan diklat, pelaksanaan diklat sampai dengan setelah selesai pelaksanaan atau pasca diklat.
Model Evaluasi
- 1. Model CIPP
Model CIPP dikembangkan oleh Daniel Stufflebeam’s, merupakan model untuk menyediakan informasi bagi pembuat keputusan, jadi tujuan evaluasi ini adalah untuk membuat keputusan. Komponen model evaluasi ini adalah context, input, process dan product. Context (konteks) berfokus pada pendekatan sistem dan tujuan, kondisi aktual, masalah-masalah dan peluang yang melayani pembuatan keputusan berjalan, berupa diagnostik yakni menemukan kesenjangan antara tujuan dengan dampak ingin dicapai.
Input (masukan) berfokus pada kemampuan sistem, strategi pencapaian tujuan, implementasi disain dan cost-benefit dari rancangan yang melayani pembuatan keputusan tentang perumusan tujuan-tujuan operasional.
Process (proses) memiliki fokus lain, yaitu menyediakan informasi untuk day-to-day decision making untuk melaksanakan program, mambuat catatan atau “record”, atau merekam pelaksanaan program dan mendeteksi atau pun meramalkan pelaksanaan program.
Product (produk) berfokus pada mengukur pencapain tujuan selama proses dan pada akhir program.
- 2. Model Empat Level
Merupakan model evaluasi pelatihan yang dikembangkan pertama kali oleh Donald L. Kirkpatrick dengan menggunakan empat level dalam membuat kategori hasil pelatihan. Empat level tersebut adalah level reaksi (reactions), pembelajaran (learning), perilaku (behavior) dan hasil (results). Keempat level dapat dirinci sebagai berikut :
Level 1: Reactions
Tahap evaluasi pertama yang dilakukan segera setelah pelatihan selesai diberikan. Umumnya ditujukan untuk mengukur tingkat kepuasan peserta terhadap pelaksanaan pelatihan. Paling sederhana
dan mudah dilakukan dengan menggunakan check list. Beberapa hal yang penting untuk dievaluasi adalah:
Isi pelatihan : seberapa jauh isi pelatihan sesuai dengan tujuan yang ditetapkan, baik dari segi keragaman maupun kedalaman topik yang dibahas. Kualitas materi : seberapa baik kualitas materi yang dibagikan, presentasi audio dan visual yang disajikan, dan peralatan lain yang digunakan selama pelatihan. Kualitas materi yang baik menimbulkan kesan bahwa peserta mengikuti pelatihan yang bergengsi dan bukan pelatihan “asal-asalan” saja.
Metode pelatihan : seberapa sesuai metode pelatihan yang digunakan dengan topik yang dibahas. Contoh, Diklat TOEFL Preparation harusnya lebih banyak dilakukan dalam metode simulasi, latihan praktek dengan komputer dibanding ceramah saja.
Logistik : seberapa layak akomodasi dan konsumsi yang diberikan serta fasilitas pelatihan lainnya. Walaupun kelihatan sepele, akomodasi dan konsumsi dapat mempengaruhi konsentrasi. Instruktur/fasilitator : seberapa fasih mereka memberikan pelatihan. Hal ini bergantung dari kedalaman pemahamannya terhadap materi pelatihan, kemampuan melakukan presentasi materi dan kemampuan mengelola situasi selama pelatihan.
Level 2: Learning
Tahap evaluasi ini pun relatif mudah dilakukan, yang biasanya pada jam terakhir pelatihan. Tujuannya mengukur tingkat pemahaman peserta atas materi pelatihan. Jika seorang peserta pelatihan tidak dapat memahami materi pelatihan, bagaimana mungkin ia dapat mengaplikasikan perubahan dalam kinerjanya? Beberapa metode di
antaranya memberikan tes tertulis atau studi kasus pada peserta pelatihan. Simulasi pun dapat dilakukan, misalnya denganrole play. Paling sederhana adalah meminta peserta melakukan refleksi atau presentasi berupa rangkuman atas apa yang telah dipelajarinya.
Level 3: Behavior / Application
Tahap evaluasi ini ditujukan untuk mengukur implementasi peserta pelatihan di pekerjaan sehari-hari. Informasi yang dibutuhkan adalah: Tugas yang dikerjakan : proyek atau kegiatan rutin yang dilakukan sebagai bukti konkrit dari implementasi peningkatan kemampuan peserta setelah mengikuti pelatihan. Contohnya, peserta yang telah mengikuti pelatihan negosiasi dapat menyebutkan proyek
tender yang berhasil dimenangkannya.
Tim yang terlibat : pihak-pihak yang mendukung kesuksesan dari tugas tersebut. Informasi ini perlu diketahui untuk menilai seberapa besar peran peserta dalam kesuksesan tersebut.
Waktu penerapan : kapan dan berapa lama implementasi tersebut dilakukan. Jika peserta terlibat dalam proyek, maka ada batasan waktu tertentu. Berbeda dengan pengerjaan tugas rutin.
Jika implementasi tidak sesuai dengan harapan, analisis lebih lanjut perlu dilakukan. Misalnya, adakah kesempatan bagi peserta untuk melakukan implementasi? Faktor apa saja yang mendukung implementasi terjadi? Lalu faktor apa yang menghambat dan perlu diatasi? Faktor yang mendukung di antaranya adalah infrastruktur yang memadai, atasan yang terbuka, tim kerja yang solid, dll. Sementara faktor yang menghambat adalah waktu yang sempit, dana yang terbatas, resistensi terhadap perubahan, dll. Jangan sampai ditemukan kemalasan peserta sendiri sebagai faktor penghambat.
Level 4: Results / Impact
Tahap ini ditujukan untuk mengukur dampak pelatihan terhadap kelompok kerja atau organisasi secara keseluruhan. Data historis (awal) harus tersedia untuk melakukan evaluasi tahap ini. Beberapa aspek yang diukur antara lain:
o Tangible, mencakup: (1) hasil kerja, seperti produktivitas, frekuensi, kecepatan, keuntungan, % penyelesaian, (2) kualitas seperti deviasi, kecelakaan, komplain, produk gagal, (3) biaya, seperti biaya operasional, pengeluaran mendadak, (4) waktu, seperti efisiensi, lembur.
o Intangible, mencakup: (1) kebiasaan kerja, seperti absensi, kelalaian, tepat waktu, (2) iklim kerja, seperti komitmen, pengunduran diri, kerja sama, (3) keterampilan, seperti pengetahuan, pemahaman, aplikasi, (4) kepuasan, seperti kepuasan kerja, kepuasan pelanggan, (5) inisiatif, seperti saran, penetapan tujuan, rencana strategis.
- 3. Model ROI (Return On Investment)
Model ROI yang dikembangkan oleh Jack Phillips merupakan level evaluasi terakhir untuk melihat cost-benefit setelah pelatihan dilaksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi, sehingga dapat dilihat dengan menggunakan hitungan yang akurat keuntungan yang dapat diperoleh setelah melaksanakan pelatihan. Hal ini tentunya dapat memberikan gambaran lebih luas, apabila ternyata dari hasil yang diperoleh ditemukan bahwa pelatihan tersebut tidak memberikan keuntungan baik bagi peserta maupun bagi lembaga. Model evaluasi ini merupakan tambahan dari model evaluasi Kirkpatrick yaitu adanya level ROI (level 5), pada level ini ingin melihat keberhasilan dari suatu program pelatihan dengan melihat dari Cost–Benefit-nya, sehingga memerlukan data yang tidak sedikit dan harus akurat untuk menunjang hasil dari evaluasi pelatihan yang valid.
Tahap ROI paling sulit dilakukan. Tujuannya adalah untuk mengevaluasi nilai balik modal dari pelaksanaan pelatihan. Dibutuhkan waktu, biaya dan analisis data yang akurat untuk keberhasilan evaluasi ini. Salah satu cara adalah mengisolasi pengaruh pelatihan, ada tiga strategi yang dengan mudah diperhitungkan yaitu :
a. Perbandingan antara kelompok peserta dan kelompok bukan peserta. Kinerja antara kelompok peserta pelatihan dapat diperbandingkan dengan kelompok lain yang setara dan belum mendapatkan pelatihan. Contohnya, cara menjawab telepon yang masuk dari kelompok resepsionis peserta pelatihan Sopan Santun Bertelepon dibandingkan dengan kelompok yang belum mendapatkan pelatihan. Secara kualitatif, cara menjawab yang lebih baik dapat disimpulkan disebabkan oleh pelatihan tersebut.
b. Perbandingan antara sebelum dan sesudah pelatihan. Kinerja antara sebelum dan sesudah pelatihan dari kelompok yang sama diperbandingkan. Contohnya, penjualan retail sebelum pelatihan direct selling dibandingkan dengan penjualan setelah pelatihan.
Tentu saja analisis yang dilakukan juga perlu memperhatikan tren kenaikan atau penurunan tanpa adanya pelatihan. c. Estimasi peserta terhadap presentase pengaruh pelatihan. Inilah perhitungan yang paling mudah dilakukan. Peserta pelatihan diminta untuk mengungkapkan berapa persentase pengaruh pelatihan terhadap perbaikan kinerjanya. Contohnya, peserta pelatihan Interconnecting Network Device melaporkan bahwa 70% keberhasilan mengerjakan proyek Wireless Connection disebabkan oleh aplikasi pelatihan. Sisanya, 30% lainnya oleh faktor-faktor lain, seperti proses belajar sendiri, umpan balik atasan, dll.
C. TahapanEvaluasi
Tahap1 : Persiapan Evaluasi
Pada langkah ini terdapat tiga kegiatan pokok yang berkaitan dengan pelaksanaan evaluasi yaitu : menentukan tujuan atau maksud evaluasi, merumuskan informasi yang akan dicari atau memfokuskan evaluasi dan menentukan cara pengumpulan data.
Beberapa kriteria yang digunakan dalam merumuskan tujuan evaluasi adalah: (1) kejelasan, (2) keterukuran, (3) kegunaan dan kemanfaatan, (4) relevansi dan kesesuaian atau compatibility. Jadi tujuan evaluasi harus jelas, terukur, berguna, relevan dan sesuai dengan kebutuhan pengembangan program diklat.
Dalam merumuskan informasi atau memfokuskan evaluasi harus berdasarkan kepada tujuan evaluasi. Terdapat beberapa metode dalam merumuskan pertanyaan evaluasi yaitu: (1) menganalisis objek, (2) menggunakan kerangka teoritis, (3) memanfaatkan keahlian dan pengalaman dari luar, (4) berinteraksi dengan audiens kunci.
Menentukan cara pengumpulan data, misalnya survei atau yang lain, ditentukan pula pendekatan dalam pengumpulan data. Terdapat beberapa prosedur pengumpulan data dengan pendekatan kuantitatif, misalnya observasi, tes, survei atau lainnya.
Tahap 2 : Mengembangkan Instrumen
Setelah metode pengumpulan data ditentukan, selanjutnya ditentukan pula bentuk instrumen yang akan digunakan serta kepada siapa instrumen tersebut ditujukan (respondennya). Terdapat syarat-syarat yang harus dipenuhi oleh instrumen evaluasi sebagai berikut: (1) validitas adalah keabsahan instrumen dalam mengukur apa yang seharusnya diukur, (2) reliabilitas adalah ketetapan hasil yang diperoleh, misalnya bila melakukan pengukuran dengan orang yang sama dalam waktu yang berlainan atau orang yang lain dalam waktu yang sama, (3) objektivitas adalah upaya penerjemahan hasil pengukuran dalam bilangan atau pemberian skor tidak terpengaruh oleh siapa yang melakukan, (4) standarisasi untuk memastikan evaluator mempunyai persepsi yang sama dalam mengukur karena adanya petunjuk khusus pengisian data, (5) relevansi adalah kepatuhan untuk mengembangkan berbagai pertanyaan agar sesuai dengan maksud instrumen, (6) mudah digunakan.
Tahap 3 : Mengumpulkan Data
Dalam melakukan pengumpulan data ini dilakukan dengan berbeda-beda pada masing-masing level. Pada level reaksi data yangg dikumpulkan berupa data kuantitatif dengan menggunakan metode survei. Kemudian pada level pembelajaran data yang dikumpulkan berupa data kuantitatif dengan menggunakan tes. Selanjutnya pada level perilaku, data yang dikumpulkan melalui observasi atau dapat juga dengan rencana aksi (action plan), yaitu rencana tahapan tindakan yang akan dilakukan oleh
peserta pelatihan dalam mengimplementasikan hasil pelatihan yang telah diikuti. Dalam hal ini para peserta harus mempunyai suatu sasaran peningkatan kinerja/kompetensi yang bersangkutan dalam unit kerja masing-masing yang kemudian diukur dengan mengunakan patokan kinerja/kompetensi yang bersangkutan. Kemudian yang terakhir, yaitu pada level hasil atau dampak, pada data yang dikumpulkan dapat melalui atasan, peserta pelatihan, bawahan atau rekan kerja (client).
Tahap 4 : Mengolah dan Menganalisis Data
Setelah data yang diperlukan sudah terkumpul, maka langkah berikutnya adalah mengolah dan menganalisis data. Dalam menganalisis data dan menafsirkannya (menginterpretasikan) harus berdasarkan hasil data yang telah berhasil didapatkan. Kemudian menyajikannya dalam bentuk yang mudah dipahami dan komunikatif.
Tahap 5 : Menyusun Laporan
Melaporkan merupakan langkah terakhir kegiatan evaluasi pelatihan. Laporan disusun dengan format yang telah disepakati oleh tim. Langkah terakhir evaluasi ini erat kaitannya dengan tujuan diadakannya evaluasi. Langkah-langkah tersebut dapat dengan digunakan untuk menjawab sejauh mana evaluasi pelatihan yang akan dilakukan dan bagaimana pelaksanaan proses pelatihan dari awal hingga akhir sehingga memberikan hasil untuk improvisasi pada pelatihan-pelatihan selanjutnya.
DAFTAR PUSTAKA
Badan Diklat Propinsi Jawa Timur. Monitoring dan Evaluasi Pendidikan dan Pelatihan (Modul Management of Training). Badan Pendidikan dan Pelatihan Propinsi Jawa Timur, Surabaya, 2002.
Kirkpatrick, DL. Seven Keys to Unlock the Four Levels of Evaluations (http://www.scribd.com), diakses 12 Desember 2008.
Lembaga Administrasi Negara RI. Metode Pengukuran dan Instrumen Penelitian (Bahan Ajar Diklat Kewidyaiswaraan Berjenjang Tingkat Madya). Lembaga Administrasi Negara RI, Jakarta, 2003.
