Professional Documents
Culture Documents
3380-Article Text-13859-1-10-20230315
3380-Article Text-13859-1-10-20230315
Vol. 10, No. 1, Maret 2023, Hal. 696-6705 E- ISSN 2503-2933 696
Abstrak
Presensi merupakan kegiatan rutin yang harus dilakukan oleh karyawan. Presensi
kemudian berkembang dengan menggunakan foto selfie. Presensi dengan menggunakan foto
selfie dapat diakali yaitu dengan menempelkan foto selfie di tempat kerja sehingga seolah-olah
masuk kerja. Sebagai salah satu cara untuk memberikan klarifikasi bahwa karyawan benar-
benar hadir di tempat kerja adalah dengan menggunakan gerakan tangan. Karyawan akan
dianggap benar-benar hadir di tempat kerja apabila wajah terdeteksi, kemudian karyawan
tersebut menggerakkan tangan sesuai dengan kode yang sebelumnya didaftarkan. Adanya
gerakan tangan menunjukkan benar-benar ada manusia di tempat tersebut. Sistem yang
dibangun menggunakan metode prototype, dengan menggunakan Haar Cascade dan Local
Binary Pattern Histogram dalam mendeteksi wajah dan gerakan tangan. Berdasarkan hasil
pengujian diketahui untuk pengenalan wajah sistem dapat mengenali wajah sesuai dengan user
ID nya dan dapat mengetahui kode jari berdasarkan gerakan
Kata kunci— Presensi, Haar Cascade, Local Binary Pattern Histogram, Raspberry
Abstract
Keeping attendance is an activity that must done by employees. Attendance is usually
collected by using selfie photos, yet this method still can be manipulated by the employees by
sticking their selfie photos at work to make it look like they come to work. An alternative to
overcome the issue is by involving the employee’s hand gestures. The employee’s attendance is
recorded once his/her face is detected, and he/she makes hand gestures following the previously
registered codes. The hand gestures indicate that there are humans onsite. The system was built
using the prototype method, using Haar Cascade and Local Binary Pattern Histogram to detect
faces and hand gestures. The results showed that the system can recognize faces according to its
user ID and can detect finger codes based on the hand gestures. The recapitulation of arrival and
departure hours from work is stored in the .xls. extension file
1. PENDAHULUAN
Presensi merupakan kegiatan rutin yang harus dilakukan sebagai bukti masuk kerja.
Kegiatan ini dilakukan bagi yang bekerja di perusahaan swasta ataupun bagi para pegawai sipil
negara. Seiring berkembangnya zaman, presensi yang awalnya dilakukan secara manual yaitu
dengan menandatangani form absesnsi beralih dengan menggunakan fingerprint [1]. Hanya saja
pada saat terjadinya pandemi covid 19, absensi dengan menggunakan fingerprint mulai
ditinggalkan, hal ini dikarenakan ketakutan bahwa menggunakan tools yang sama akan
menyebabkan penularan covid 19. Selain itu, seiring dengan berkembangnya teknologi,
presensipun mengalami perubahan dengan menggunakan sistem selfie foto. Selfie foto ini
menggunakan face recognition utnuk dapat mengenali setiap karyawan. Platform seluler dan
teknologi pengenalan wajah pada sistem absensi otomatis dapat meningkatkan efisiensi kerja
[2]. Akan tetapi, hal tersebut dapat diakali oleh karyawan yaitu dengan menyimpan handphone
kemudian menempelkan foto selfie karyawan di tempat kerja. Oleh karena itu, diperlukan fitur
tambahan untuk mengenali bahwa karyawan tersebut benar-benar berada di tempat kerja, salah
satunya dengan menggunakan deteksi gerakan tangan.
Deteksi wajah dan gerakan tangan diolah melalui komputer, akan tetapi penggunaan
komputer tentunya memerlukan space tersendiri. Oleh karena itu penggunaan raspberrry
menjadi solusi untuk menggantikan komputer tersebut. Raspberry pi merupakan single board
computer yamg menggunakan keyboard dan mouse standard untuk dihubungkan ke komputer
[3]. Raspberry Pi dapat juga diartikan sebagai komputer papan tunggal [4]. Raspberry pi banyak
digunakan para peneliti untuk pemrosesan gambar [5].
Penggunaan deteksi wajah saat ini sudah banyak dilakukan dalam berbagai penelitian
untuk berbagai kebutuhan. Salah satu cara untuk memverifikasi identitas diri adalah dengan
pengenalan wajah yang mana memiliki manfaat menjadi sistem pasif dan non-intrusif [6].
Beberapa penelitian sebelumnya yang menggunakan deteksi wajah adalah penggunaan face
recognition pada Smart Inventory Access Monitoring System dengan menggunakan metode
MTCNN [7], dimana dibuat sebuah sistem yang digunakan untuk investasi kejahatan, dan
sistem tersebut dapat berfungsi sesuai dengan fungsionalitas kebutuhan. Penelitian lainnya
adalah penelitian menggunakan deteksi wajah dengan menggunakan dua kamera, dimana tujuan
dari dibuatnya sistem ini adalah untuk menghindari kecurangan saat dilakukan absensi dengan
menggunakan metode Viola-Jones face detection [8]. Penelitian lainnya adalah dalam
pembuatan sebuah aplikasi untuk ujian, memastikan saat ujian dilakukan tidak menggunakan
joki dengan metode yang digunakan adalah metode Eigenface dimana hasil dari penelitiannya
adalah dapat mengenali wajah untuk dapat melakukan ujian dengan catatan tidak merubah dari
segi pencahayaan [9]. Penelitian lainnya adalah menggunakan wajah untuk membuka pintu
secara otomatis dengan menggunakan metode Viola-Jones dan LBPH, dimana hasil penelitian
menunjukkan sistem dapat mengenali wajah dengan menggunakan penerangan yang berbeda
berdasarkan database yang sebelumnya telah dibuat [10].
Penelitian ini menggunakan algoritma Haar Cascade dan LBPH karena penggunaan
LBPH merupakan metode yang baik digunakan untuk face detection [11]. Haar Cascade
digunakan dikarenakan Haar Cascade merupakan metode yang cocok untuk mendeteksi adanya
objek didepan kamera. Berdasarkan penelitian yang dilakukan sebelumnya belum ada yang
menggunakan deteksi wajah dan gerakan tangan untuk melakukan presensi. Rekap presensi
masuk dan presensi pulang akan secara otomatis terekap dan data tersebut dapat disimpan dalam
file dengan format excel.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
t is short and clear, implies research results (First Author)
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E- ISSN 2503-2933 698
2. METODE PENELITIAN
Metode yang digunakan dalam penelitian ini adalah menggunakan metode prototype.
Penelitian ini secara garis besar terbagi atas dua sub tahapan, yang pertama adalah tahapan
mengenai pengolahan citra wajah untuk mengenali identitasa dari orang tersebut, yang kedua
adalah tahapan perancangan alat yang telah dihubungkan dengan raspberry.
Haar Cascade
Haar cascade merupakan machine learning dimana memiliki fungsi kaskade yang
diperoleh dari berbagai citra positif dan negatif [13]. Metode Haar memerlukan pelatihan
terlebih dahulu untuk mendapatkan keputusan [14]. Haar Cascade Classifier (HCC) adalah
detektor kaskade yang berbasis pengklasifikasi yang dihasilkan dari proses pelatihan tentang
ansambel yang diekstraksi dari fitur persegi panjang yang disebut Fitur Haar-Like [15]. Pada
penelitian yang dilakukan, Haar Cascade Classifier digunakan untuk mendeteksi objek ketika
kamera sedang mengambil citra secara realtime.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
IJCCS Vol. x,–end_page
699 Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E-ISSN 2503-2933
Berdasarkan gambar 1 diketahui bahwa pada bagian input adalah deteksi wajah. Pertama
kali sistem akan mendeteksi wajah dengan menggunakan raspberry pi kamera. Setelah wajah
didapatkan, maka gambar wajah tersebut akan dianalisa oleh raspberry apakah cocok dengan
data training sebelumnya atau tidak. Jika wajahnya cocok dengan data training, maka akan
dilanjutkan pada proses mendeteksi gerakan tangan. Gerakan tangan ini disesuaikan dengan
gerakan tangan yang telah didaftarkan sebelumnya. Jika gerakan tangan yang ditunjukkan tidak
sesuai dengan kode yang didaftarkan, maka sistem tidak akan memasukkan daftar orang
tersebut dalam presensi. Akan tetapi, jika wajah dan gerakan tangan cocok, maka orang tersebut
akan dimasukan dalam presensi.
Langkah awal sistem adalah kamera raspberry pi akan mendeteksi wajah seseorang,
kemudian akan dianalisa apakah cocok dengan dataset yang sudah ada atau tidak, jika cocok
maka orang tersebut harus memasukkan gerkan tangan yang sebelumnya telah ditentukan, data
tersebut akan masuk kedalam file excel dengan format .csv. Pada presensi masuk, dibatasi
bahwa yang dapat melakukan presensi adalah seseorang yang telat maksimal 15 menit,
sedangkan yang sudah lebih dari 15 menit tetap akan bisa didteksi wajah dan gerakan tangan,
akan tetapi data orang tersebut tidak akan masuk ke file .csv. Sedangkan untuk presensi pulang,
data yang akan masuk ke file .csv adalah data yang sudah tepat waktu pulang atau melewati
waktu pulang
Pengujian pada penelitian ini terdiri dari dua pengujian, yaitu pengujian deteksi wajah
dan deteksi gerakan tangan dengan menggunakan komputer dan pengujian deteksi wajah dan
gerakan tangan menggunakan raspberry sehingga akan didapat data presensi masuk dan presensi
pulang.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
t is short and clear, implies research results (First Author)
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E- ISSN 2503-2933 700
Tabel 2 menunjukkan tabel waktu yang diperlukan untuk melakukan pengujian deteksi
wajah dan gerakan tangan. Dapat dilihat bahwa waktu yang diperlukan saat registrasi baik dari
orang-orang yang sebelumnya telah dibuat data latih dengan orang-orang yang baru ditemui
memerlukan waktu yang relatif sama. Sedangkan dalam proses pengenalan wajah atau face
recognition dan pada saat sistem dapat membaca dan dimasukan dalam absensi orang-orang
yang baru memerlukan waktu yang lebih lama daripada orang-orang yang sebelumnya telah
diberikan data latih terlebih dahulu.
Pada tabel diatas merupakan data hasil pengujian dengan menggunakan parameter
tambahan untuk pengujian akurasi dari pembacaan deteksi wajah. Dari tabel tersebut dapat
dilihat bahwa hasil penelitian menunjukkan pembacaan deteksi wajah adalah akurat, hal ini
dikarenakan dengan adanya perubahan ekspresi wajah, eye contact, pencahayaan, dan sudut
wajah terbaca, hal ini terjadi karena data latih yang sebelumnya telah dipersiapkan sebelumnya.
Selain itu, sistem ini juga dapat mendeteksi jika yang dihadapannya adalah foto dari user,
sehingga dari ke 5 percobaan, 4 percobaan menghasilkan tidak terbaca sedangkan 1 percobaan
menghasilkan terbaca tapi dengan catatan jarak harus kurang dari 10 cm.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
IJCCS Vol. x,–end_page
701 Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E-ISSN 2503-2933
1 7
2 8
3 9
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
t is short and clear, implies research results (First Author)
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E- ISSN 2503-2933 702
4 10
Berdasarkan hasil pengujian, waktu yang diperlukan untuk mengenali kode gerakan
tangan yang telah ditentukan dapat dilihat pada tabel dibawah.
Berdasarkan tabel diatas diketahui pada saat sistem diawal mulai dilakukan gerakan
tangan memerlukan waktu yang lebih lama daripada saat sistem sudah mulai terus digunakan.
Perbedaan pengenalan gerakan wajah dari orang lama dan orang baru tidak memiliki waktu
perbedaan yang cukup besar. Apabila pengenalan wajah dapat dilakukan, kemudian orang
tersebut menunjukkan kode yang benar yang sebelumnya telah ditetapkan, maka sistem akan
memberikan tanda dengan tulisan selamat datang untuk orang tersebut.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
IJCCS Vol. x,–end_page
703 Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E-ISSN 2503-2933
Gambar 5 dan gambar menunjukkan bahwa pengenalan wajah dan kode yang
ditunjukkan sesuai dengan kode yang telah ditetapkan sebelumnya. Bagi pengenalan wajah dan
kode yang sesuai, maka data tersebut akan masuk kedalam file .csv.
Tabel 6 menunjukkan data user yang telah berhasil dikenali wajah dan menunjukkan
kode dengan benar. Pada saat pengujian rentang waktu toleransi untuk terlambat adalah 15
menit, sehingga pada saat sudah melebihi pukul 12.15 data user tidak akan masuk dalam
file .csv.
Tabel 7 menunjukan data user pada saat melakukan presensi pulang. User yang
melakukan presensi pulang sebelum pukul 18.00 tidak akan tercatat dalam file .csv.
4. KESIMPULAN
Berdasarkan penelitian diketahui bahwa dalam proses deteksi wajah dapat dilakukan
dengan baik, hal ini dapat dilihat dari waktu yang diperlukan untuk pengenalan wajah relatif
kurang dari 30 detik, kemudian data wajah yang sebelumnya sudah di registrasi dapat dikenali
saat dilakukan pengujian. Pada deteksi gerakan tangan dapat digunakan kombinasi angka jika
menggunakan kode angka dari 2 tangan.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
t is short and clear, implies research results (First Author)
Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E- ISSN 2503-2933 704
5. SARAN
Terima kasih kepada pimpinan dan jajaran fakultas teknik UNIGA yang telah
memfasilitasi penelitian yang dilakukan, kepada LPPM UNIGA yang telah memberikan arahan
dalam proses melaksanakan penelitian, dan kepada LPDP yang telah memberikan dana untuk
penelitian yang dilakukan
DAFTAR PUSTAKA
[1] Z. Turan, “Parmak ø zi Tabanl Õ Ö ÷ renci Yoklama Sistemi,” pp. 5–9, 5093.
[3] R. Akshaya, N. Niroshma Raj, and S. Gowri, “Smart Mirror-Digital Magazine For
University Implemented Using Raspberry Pi,” 2018 Int. Conf. Emerg. Trends Innov.
Eng. Technol. Res. ICETIETR 2018, pp. 1–4, 2018, doi:
10.1109/ICETIETR.2018.8529005.
[6] V. Bhandiwad and B. Tekwani, “Face Recognition and Detection Using Neural
Networks,” Proc. - Int. Conf. Trends Electron. Informatics, ICEI 2017, Vol. 2018-Janua,
pp. 879–882, 2018, doi: 10.1109/ICOEI.2017.8300832.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
IJCCS Vol. x,–end_page
705 Jatisi ISSN 2407-4322
Vol. 10, No. 1, Maret 2023, Hal. 696-705 E-ISSN 2503-2933
10.11591/eecsi.4.1038.
[9] A. A. Sukmandhani and I. Sutedja, “Face Recognition Method for Online Exams,” Proc.
2019 Int. Conf. Inf. Manag. Technol. ICIMTech 2019, Vol. 1, No. August, pp. 175–179,
2019, doi: 10.1109/ICIMTech.2019.8843831.
[12] S. M. Bah and F. Ming, “An Improved Face Recognition Algorithm and Its Application
In Attendance Management System,” Array, Vol. 5, No. December 2019, p. 100014,
2020, doi: 10.1016/j.array.2019.100014.
[16] A. Thakral and A. Vohra, “Comparison Between Local Binary Pattern Histograms and
Principal Component Analysis Algorithm In Face Recognition System,” Proc. 2017 Int.
Conf. Smart Technol. Smart Nation, SmartTechCon 2017, pp. 973–978, 2018, doi:
10.1109/SmartTechCon.2017.8358516.
Helfy, et., al [Absensi Karyawan Menggunakan Deteksi Wajah Dan Gerakan Tangan Berbasis Raspberry Pi]]
t is short and clear, implies research results (First Author)