Rancang Bangun Penerjemah Bahasa Isyarat Menggunakan Pengolahan Citra Dengan Metode You Only Look Once (YOLO)

  • Syahrul Hidayatullah
  • Joko Endrasmono
  • M. Khoirul Hasin
Keywords: Bahasa Isyarat, Pengolahan Citra, You Only Look Once, real-time

Abstract

Komunikasi merupakan salah satu hal penting bagi setiap individu agar dapat menyampaikan pesan kapada orang lain dan bersosialisasi terhadap lingkungan masyarakat. Bahasa isyarat merupakan alat komunikasi bagi penyandang tuna rungu dan tuna wicara untuk menjalin hubungan, bersosialisasi, memahami satu sama lain, dan sebagainya. Namun tidak semua lawan bicara memahami tentang bahasa isyarat. Oleh karena itu, perantara atau alat bantu penerjemah bahasa isyarat sangatlah diperlukan yaitu dengan menggunakan pengolahan citra untuk mengklasifikasi gerakan Bahasa Isyarat yang dideteksi menggunakan webcam yang telah diprogram untuk mendeteksi gerakan Bahasa Isyarat secara real-time dengan menggunakan metode You Only Look Once (YOLO) yang dianggap metode yang bisa digunakan oleh peneliti dalam penyusunan Tugas Akhir ini. Hasil deteksi dan klasifikasi akan ditampilkan pada interface dengan output suara dan teks dari perangkat. Hasil deteksi dengan metode You Only Look Once (YOLO) memiliki beberapa variasi hasil. Dari 20 kata percobaan, terdapat 19 kata yang mendeteksi secara sempurna dan 1 kata yang mendapat persentase keberhasilan sebesar 90%. Proses evaluasi mendapatkan nilai yang bervariasi seperti accuracy sebesar 94%, precision sebesar 99,9%, dan recall sebesar 100%. Proses deteksi memerlukan tingkat pencahayaan sebesar 77,5 lux agar dapat mendapatkan hasil yang maksimal.

Published
2022-01-19