Sistem Penerjemah Bahasa Isyarat  
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Sistem Penerjemah Bahasa Isyarat Studi Kasus : Bahasa Isyarat Indonesia Faiq Zakki Mubarok ( 221709674 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , S. ST. , M. Si. pada umumnya Ringkasan—Komunikasi tunarungu. Penyandang dilakukan menggunakan bahasa verbal , namun terdapat kelompok yang memiliki keterbatasan dalam berkomunikasi secara verbal yaitu penyandang tunarungu biasanya menggunakan bahasa isyarat sebagai alat untuk berkomunikasi. Permasalahannya adalah tidak semua orang bisa mengerti bahasa isyarat , dan tidak semua orang bisa menggunakan bahasa verbal sebagai alat komunikasi. Sehingga penelitian ini bertujuan untuk mengembangkan modul penerjemah bahasa isyarat BISINDO sebagai penghubung antara masyarakat umum dengan penyandang tunarungu sehingga dapat memperkuat hubungan interpersonal antara kedua belah pihak. Modul penerjemah Bahasa Isyarat Indonesia dibangun dengan bantuan modul Mediapipe sebagai modul ekstraksi fitur tangan dan pose tubuh , dan pelatihan modul penerjemah menggunakan arsitektur LSTM. Berdasarkan hasil pengujian , model LSTM yang dibangun mendapatkan akurasi sebesar 92,857 % dan memiliki efisiensi yang lebih baik dibandingkan model penelitian terdahulu. Kata Kunci— Penerjemah Bahasa Isyarat , BISINDO , Ekstraksi Fitur , Mediapipe. I. LATAR BELAKANG Manusia sebagai makhluk sosial selalu ingin berhubungan dengan manusia lainnya untuk mengetahui situasi dan kondisi di sekitarnya. Keingintahuan manusia akan lingkungan di sekitarnya ini memaksa manusia untuk berkomunikasi , karena dengan berkomunikasi manusia bisa mendapatkan informasi dari sudut pandang lawan komunikasinya. alat Pada umumnya , komunikasi menggunakan bahasa verbal sebagai lawan komunikasinya dan hanya menggunakan komunikasi non verbal sebagai pelengkap pesan verbal untuk memastikan bahwa makna pesan dapat tersampaikan seutuhnya [ 1 ] . berkomunikasi kepada untuk Namun , komunikasi secara verbal tidak dapat dilakukan oleh semua orang karena terdapat kelompok yang memiliki keterbatasan dalam komunikasi verbal baik secara reseptif lain ) maupun ekspresif ( memahami pembicaraan orang ( berbicara ) [ 2 ] . Kelompok tersebut adalah kelompok yang memiliki keterbatasan pada indra pendengar dan biasa disebut sebagai tunarungu [ 3 ] . Penyandang tunarungu biasanya menggunakan bahasa isyarat sebagai alat komunikasi. Bahasa isyarat merupakan bahasa yang bersifat dinamis karena bahasa isyarat menggunakan gestur atau perubahan gestur tubuh untuk menggantikan peran bahasa sebagai alat komunikasi verbal [ 4 ] . Penyandang Indonesia berkomunikasi dengan menggunakan dua sistem bahasa isyarat tunawicara dan tunarungu di yaitu SIBI ( Sistem Isyarat Bahasa Indonesia ) dan BISINDO ( Bahasa Isyarat Indonesia ) [ 5 ] . tunarungu / tunawicara tidak memahami bahasa Permasalahan yang masih sering muncul adalah ketika ingin berkomunikasi penyandang dengan orang yang isyarat. Permasalahan tersebut tidak berjalan beriringan dengan Pasal 24 Undang-Undang Republik Indonesia No. 8 Tahun 2016 Tentang Penyandang Disabilitas , yang menyebutkan bahwa penyandang disabilitas memiliki hak untuk mendapatkan informasi dan berkomunikasi melalui media yang mudah diakses [ 6 ] . Permasalahan tersebut juga bisa menimbulkan kesalahpahaman dan bahkan dapat memengaruhi hubungan interpersonal antara masyarakat umum dan penyandang tunarungu / tunawicara [ 4 ] . Tantangan yang masih dihadapi oleh modul penerjemah bahasa isyarat adalah kompleksnya gerakan tubuh untuk mengekspresikan sebuah kata , kasusnya sedikit berbeda ketika menerjemahkan alfabet dalam bahasa isyarat karena alfabet dalam bahasa isyarat umumnya bersifat statis. Bahkan setiap orang mungkin memiliki ciri khas tersendiri ( perbedaan bentuk tubuh , kecepatan gerakan , dan perbedaan tangan utama ) yang membuat penerjemahan bahasa isyarat menjadi semakin sulit untuk dilakukan. Modul penerjemah bahasa isyarat berkembang semakin cepat dengan ditemukannya beberapa alat tambahan yang dapat menangkap data gerakan seperti Flex Sensor Gloves. Zakaria et al. [ 7 ] menggunakan Flex Sensor Gloves untuk melakukan klasifikasi huruf dan angka dalam SIBI dan mendapatkan akurasi 65,38 % dengan model k-Nearest Neighbour ( kNN ) . Selain Flex Sensor Gloves , terdapat alat lain yang dapat menangkap gestur tubuh yaitu Leap Motion. Deasy et al. [ 8 ] menggunakan Leap Motion dan mendapatkan akurasi 24 % dalam melakukan klasifikasi kata “Abang” , “Adik” , “Makan” , “Sabar” , dan “Saya” menggunakan Hidden Markov Model. Selain itu , juga terdapat sensor Kinect yang dikembangkan oleh Microsoft yang dapat digunakan untuk menangkap data gerakan. Liu et al. [ 9 ] menggunakan Microsoft Kinect dan mendapatkan akurasi sebesar 86 % dalam melakukan klasifikasi 100 kata Chinese Sign Language ( CSL ) menggunakan model LSTM. Microsoft Kinect juga digunakan oleh Xiao et al. [ 10 ] , penelitian tersebut mendapatkan akurasi sebesar 80,28 % dalam melakukan klasifikasi 500 kata CSL menggunakan model bidirectional LSTM. Kelemahan dari alat-alat tersebut adalah biaya produksinya yang mahal dan kurang praktis digunakan dalam kehidupan sehari-hari. Tantangan lain dari penerjemahan bahasa isyarat adalah bagaimana cara memodelkan gerakan sekuensial yang merepresentasikan sebuah kata. Tantangan tersebut dapat 1 / 7 diatasi dengan menggunakan arsitektur RNN karena RNN dapat digunakan untuk memodelkan data sekuensial [ 10 ] . Namun , RNN memiliki masalah krusial yaitu vanishing gradient yang dapat mempersulit proses training model RNN [ 11 ] . Sehingga , LSTM dirumuskan dengan tujuan dapat mengurangi masalah vanishing gradient pada RNN ketika dihadapkan oleh data yang cukup banyak [ 12 ] . LSTM dapat diaplikasikan sebagai solusi untuk berbagai masalah machine learning seperti activity recognition [ 12 ] , speech recognition [ 13 ] , machine character recognition [ 15 ] , dan bahkan sign language recognition [ 9 ] [ 10 ] [ 16 ] . translation optical [ 14 ] , Keberhasilan LSTM dalam melakukan penerjemahan bahasa isyarat dibuktikan oleh Liu et al. [ 9 ] , Xiao et al. [ 10 ] , dan Cui et al. [ 16 ] . Namun , model LSTM yang digunakan sebagai model penerjemah bahasa isyarat pada penelitian tersebut masih dapat dioptimasi [ 10 ] . Sehingga penelitian ini juga bertujuan untuk mengidentifikasi model terbaik dalam melakukan penerjemahan bahasa isyarat. Pada penelitian ini , modul penerjemah bahasa isyarat di implementasikan dengan menggunakan modul Mediapipe sebagai modul ekstraksi fitur tangan dan pose tubuh , dan menggunakan model LSTM untuk melakukan klasifikasi gerakan dalam BISINDO. Dari permasalahan II. TUJUAN PENELITIAN akan tersebut , mengembangkan sebuah modul penerjemah kata dalam BISINDO yang diharapkan dapat membantu masyarakat umum dalam berkomunikasi dengan penyandang tunarungu. penelitian ini Selain itu , penelitian ini juga akan mencari model terbaik dalam melakukan klasifikasi gerakan bahasa isyarat yang mengacu pada standar BISINDO. III. PENELITIAN TERKAIT tantangan Salah satu terbesar dalam menyelesaikan permasalahan penerjemahan bahasa isyarat adalah bagaimana menangkap data gerakan gestur. Secara umum , terdapat 2 metode untuk menangkap data gerakan gestur , yaitu dengan menggunakan sebuah alat ( device based ) , baik dengan menggunakan sarung tangan yang ditanami sebuah sensor ( flex sensor gloves ) [ 7 ] [ 17 ] , maupun menggunakan alat berupa sensor gerakan seperti Microsoft Kinect [ 5 ] [ 9 ] [ 10 ] [ 18 ] atau Leap Motion [ 8 ] [ 19 ] , dan metode selanjutnya adalah dengan menggunakan pengolahan citra ( vision based ) [ 4 ] [ 20 ] [ 21 ] [ 22 ] . Dewasa ini , metode pengumpulan data gerakan dengan pengolahan citra lebih diminati. Hal tersebut dikarenakan metode pengolahan citra tidak membutuhkan alat tambahan , sehinggabiaya menjadi lebih terjangkau dan mudah digunakan Di Indonesia , sudah cukup banyak penelitian mengenai sistem penerjemah bahasa isyarat. Namun , kebanyakan dari penelitian sistem penerjemah bahasa isyarat di Indonesia adalah menerjemahkan alfabet yang jarang sekali digunakan dalam kehidupan sehari-hari. Oleh karena itu , penelitian ini bertujuan untuk menerjemahkan kata yang digunakan dalam percakapan sehari-hari sesuai standar BISINDO. Selengkapnya , jurnal penelitian yang bersinggungan dengan penelitian ini dicantumkan pada Tabel 1. Makalah Skripsi – Program Studi D-IV Komputasi Statistik TABEL I CONTOH KETERANGAN TABEL Referensi [ 5 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 17 ] Data yang digunakan Kata “Hari” , “Pohon” , “Ibu” , “Aku” , dan “Kamu” dalam BISINDO Huruf dan angka dalam SIBI Kata “Abang” , “Adik” , “Makan” , “Sabar” , dan “Saya” dalam SIBI 100 Kata dalam Chinese Sign Language 500 Kata dalam Chinese Sign Language Huruf dalam BISINDO Ekstraksi Fitur Microsoft Kinect Model klasifikasi Random Forest Akurasi 70 % Flex Sensor Gloves Leap motion kNN 65.38 % 24 % Hidden Markov Model Microsoft Kinect LSTM 86 % Microsoft Kinect Bidirectional LSTM 80,28 % kNN 40 % Flex Sensor Gloves IV. METODE PENELITIAN A. Metode Pengumpulan Data Dikarenakan minimnya ketersediaan dataset bahasa isyarat khususnya BISINDO , sehingga pengumpulan data pada penelitian ini dilakukan secara mandiri menggunakan kamera ponsel pintar dengan resolusi HD 1280x720. Video yang dikumpulkan terdiri atas 5 kata umum dalam BISINDO yang biasanya digunakan oleh penyandang tunarungu pada percakapan sehari-hari , diantaranya adalah kata “Dimana” , “Kapan” , “Berapa” , “Ayah” , dan “Ibu”. Setiap kata direkam sebanyak 14 kali dengan latar belakang video yang berbeda. B. Pre-processing Data Sebelum melakukan proses pelatihan model machine learning , video perlu dipisahkan menjadi folder tertentu menurut setiap kata. Selain itu , tahap pre-processing juga mencakup proses labelling untuk setiap video sebagai acuan bagi model penerjemah untuk melakukan klasifikasi. Proses split data latih dan data tes dilakukan secara otomatis menggunakan modul sklearn dengan 60 % dari total dataset sebagai data latih , 20 % sebagai data testing , dan sisanya 20 % sebagai data validation. C. Ekstraksi Fitur Penerjemahan kata dalam bahasa isyarat memiliki kemiripan dengan proses klasifikasi action recognition , karena dalam bahasa isyarat membutuhkan beberapa susunan gerakan 2 / 7 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 2. Fitur tangan Proses ekstraksi fitur mencakup transformasi menjadi jarak euclidean kombinasi setiap fitur seperti yang diformulasikan pada Persamaan 1. 𝑑 ( 𝑥 , 𝑦 ) = √ ( 𝑥2 − 𝑥1 ) 2 + ( 𝑦2 − 𝑦1 ) 2 ( 1 ) Konversi menjadi jarak euclidean bertujuan untuk mengubah data multi-dimensi menjadi data satu dimensi sehingga mempermudah proses klasifikasi [ 30 ] . Konversi menjadi jarak euclidean juga bertujuan mengurangi overfitting karena perbedaan tinggi setiap individu dapat berbeda beda yang menyebabkan variasi koordinat x dan y dari setiap peraga [ 5 ] . Proses selengkapnya dari ekstraksi fitur seperti pada Gambar 3. untuk dapat merepresentasikan sebuah kata. Perbedaan paling utama adalah bahwa action recognition membutuhkan keseluruhan badan sebagai data untuk melakukan klasifikasi [ 23 ] , hanya membutuhkan ekspresi wajah , pose tubuh , dan gerakan tangan [ 24 ] . penerjemah sedangkan bahasa isyarat Sehingga , untuk merancang sebuah modul penerjemah bahasa isyarat diperlukan sebuah modul untuk melakukan ekstraksi ﬁtur baik tangan , wajah , maupun pose tubuh. Ekstraksi ﬁtur pada penelitian ini menggunakan modul Mediapipe yang dikembangkan oleh Google pada tahun 2019 lalu [ 25 ] . Mediapipe merupakan framework untuk membangun pipeline machine learning yang dapat melakukan inferensi terhadap data sensori [ 25 ] . Mediapipe memiliki beberapa keunggulan dibandingkan modul ekstraksi fitur yang lain seperti OpenPose [ 26 ] dan DensePose [ 27 ] . Diantaranya adalah Mediapipe dapat dituliskan dengan beberapa bahasa pemrograman seperti Python , Javascript , dan C++ , bahkan Mediapipe juga menawarkan fitur multi-platform sehingga Mediapipe dapat digunakan dalam berbagai macam kondisi. Proses inferensi menggunakan Mediapipe juga jauh lebih cepat dibandingkan modul ekstraksi fitur yang lain dengan delay 1,1 milliseconds untuk mendeteksi telapak tangan pada iPhone 11 [ 28 ] . Selain itu , Mediapipe tidak hanya dapat digunakan sebagai modul ekstraksi fitur , namun Mediapipe juga dapat menyelesaikan permasalahan machine learning lainnya seperti Face Detection , Face Mesh , Iris Detection , Object Detection , Instant Motion Tracking , 3D Objectron , dan permasalahan machine learning lainnya [ 29 ] . Fitur yang digunakan pada penelitian ini mencakup koordinat x dan y dari fitur mata kanan , mata kiri , mulut kanan dan mulut kiri. Kode setiap fitur dapat dilihat pada Gambar 1. Gambar 1. Fitur pose tubuh Gambar 3. Diagram alur ekstraksi fitur Selain fitur pose tubuh , penelitian ini juga menggunakan fitur tangan yang terdiri atas koordinat x dan y dari fitur pergelangan tangan , pucuk ibu jari , pucuk jari telunjuk , pucuk jari tengah , pucuk jari manis , dan pucuk jari kelingking. Kode setiap fitur dapat dilihat pada Gambar 2. D. Long-Short Term Memory RNN merupakan arsitektur model yang cocok untuk data sekuensial , termasuk gerakan yang dapat merepresentasikan kata dalam bahasa isyarat [ 10 ] . Namun , RNN memiliki masalah krusial yaitu vanishing gradient yang dapat mempersulit proses training model RNN [ 11 ] . 3 / 7 Long-Short Term Memory ( LSTM ) merupakan varian khusus dari RNN yang dikembangkan untuk mengatasi masalah vanishing gradient pada RNN ketika digunakan dalam environment dalam waktu yang lama [ 31 ] . LSTM memiliki prinsip kerja yang sama dengan RNN , tetapi LSTM mengganti hidden unit pada RNN dengan memory block yang terdiri dari 4 komponen yaitu input gate , output gate , forget gate , dan memory cells [ 32 ] . Secara umum , struktur LSTM seperti pada Gambar 4. Model yang diusulkan menggunakan arsitektur LSTM sebagai backbone , model terdiri atas 2 layer LSTM dengan unit sebesar 64 dan 128,1 layer average pooling , 1 layer dropout regularization untuk mengurangi overfitting , dan satu fully- connected layer dengan fungsi aktivasi softmax. Model di compile dengan menggunakan Adamax sebagai optimizer , dan loss function berupa binary cross entropy. Arsitektur model selengkapnya dapat dilihat pada Gambar 5. Gambar 4. Struktur LSTM Makalah Skripsi – Program Studi D-IV Komputasi Statistik Confusion matrix memetakan jumlah data uji yang diklasiﬁkasikan dengan benar dan yang diklasiﬁkasikan dengan salah dan dapat digambarkan seperti pada Tabel II. Akurasi adalah persentase observasi yang di klasiﬁkasikan dengan benar. Akurasi dirumuskan seperti pada Persamaan 2. TABEL II Confusion Matrix Predicted True True Positive ( TP ) False Positive ( FP ) False False Negative ( FN ) True Negative ( TN ) Actual True False 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 ( 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 ) ( 2 ) V. KERANGKA PIKIR Studi ini berfokus pada pemanfaatan Mediapipe yang dikembangkan oleh Google untuk melakukan ekstraksi ﬁtur sehingga dapat dilakukan proses machine learning untuk menerjemahkan input berupa video gerakan dalam bahasa isyarat BISINDO. Secara umum , proses penerjemahan bahasa isyarat dapat dilihat pada Gambar 6. Gambar 6. Kerangka pikir penelitian VI. HASIL DAN PEMBAHASAN Gambar 5. Arsitektur Model LSTM E. Teknik Evaluasi Hasil Evaluasi modul penerjemah bahasa isyarat diukur dengan menggunakan akurasi yang dihitung berdasarkan tabel Confusion Matrix. Confusion matrix merupakan salah satu metode yang dapat digunakan untuk mengevaluasi performa suatu model machine learning dalam melakukan klasifikasi [ 33 ] . A. Sistem Penerjemah Bahasa Isyarat Proses pelatihan model dimulai dengan proses membaca video seperti pada Gambar 7. Setelah video terbaca , modul Mediapipe melakukan proses ekstraksi ﬁtur tangan dan pose tubuh seperti yang ditunjukkan pada Gambar 8. Modul Mediapipe kemudian menyimpan nilai x dan y dari ﬁtur tangan dan pose tubuh dan kemudian melakukan penghitungan jarak euclidean terhadap setiap kombinasi jari dan pergelangan tangan seperti yang ditunjukkan pada Gambar 9. 4 / 7 Makalah Skripsi – Program Studi D-IV Komputasi Statistik akan dilakukan interpolasi data dengan cara menambahkan data rata-rata di setiap 2 frame. Dataset yang terdiri atas euclidean distance kombinasi setiap fitur , koordinat x dan y dari setiap fitur , kemudian dimasukkan ke dalam model LSTM seperti pada Gambar 5 untuk melakukan proses training data. Gambar 7. Proses capture frame dari video Gambar 8. Proses ekstraksi fitur tangan dan pose dari frame Gambar 10. Grafik akurasi training dan testing model LSTM Gambar 9. Proses penghitungan euclidean distance dari setiap fitur Untuk mencegah estimasi pose yang kurang baik , penelitian ini membatasi conﬁdence modul Mediapipe menjadi 0.5 baik dalam proses estimasi pose maupun tangan , proses estimasi tangan juga dibatasi sehingga modul Mediapipe hanya dapat mendeteksi dua tangan dengan jarak terdekat dari kamera. Namun , penetapan confidence minimum berpengaruh terhadap dataset yang akan menjadi data latih model , karena tidak semua frame dapat mendeteksi fitur pose dan tangan dengan confidence yang ditentukan. Perbedaan panjang video juga membuat tidak dapat dilakukannya proses pelatihan model , sehingga ditentukan banyaknya frame yang akan menjadi data latih model adalah 15. Gambar 11. Grafik loss training dan testing model LSTM Dari Gambar 10 dan Gambar 11 , proses training model berhenti pada epoch 162 dikarenakan modul earlystopping yang mencegah model menjadi overfit terhadap data train. Modul earlystopping menggunakan parameter patience sebesar 20 yang artinya apabila tidak ada pengurangan loss dalam 20 epoch ke depan maka proses training dihentikan dan model dianggap sudah menjadi model terbaik. Proses training model berhenti dengan train accuracy sebesar 100 % dan test accuracy sebesar 85.71 % . Video dengan jumlah frame di mana pose dan tangan terdeteksi lebih dari 15 frame akan dilakukan reduksi data secara rekursif setiap 2 frame , untuk video dengan jumlah frame di mana pose dan tangan terdeteksi kurang dari 15 frame Proses pengetesan model dilakukan dengan 20 % dari total dataset yang telah dilakukan splitting sebelumnya. Hasil pengetesan model ditunjukkan pada Tabel III dan didapatkan akurasi model sebesar 92.857 % . 5 / 7 TABEL III HASIL TESTING MODEL Nomor Actual Predicted Confidence 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Ayah Ibu Ayah Ibu 0.999859 0.999763 Dimana Dimana 0.999799 Kapan Ibu Berapa Ibu Ayah Berapa Ayah Kapan Kapan Ibu Berapa Dimana Ayah Berapa Ayah Kapan 0.999900 0.999940 0.999830 0.632657 0.995243 0.999881 0.999700 0.990236 Dimana Dimana 0.999850 Berapa Berapa 0.999103 Dimana Dimana 0.999838 B. Identifikasi Model Terbaik Model penerjemah bahasa isyarat dengan arsitektur LSTM yang dibangun mendapatkan akurasi testing sebesar 92.857 % , hal tersebut ditunjukkan pada Tabel III yang memiliki 1 kesalahan yaitu kata “Ibu” yang diterjemahkan menjadi kata “Dimana”. Selain itu , model penerjemah tidak melakukan kesalahan dalam klasifikasi pada kata lainnya. Namun , untuk dapat mengidentifikasi model terbaik , diperlukan sebuah pembanding yaitu dengan model yang pernah diteliti sebelumnya. Perbandingan model dilakukan dengan model LSTM yang dibangun oleh Tao Liu , et al. [ 9 ] , dan model yang dibangun oleh Zhang , et al. [ 15 ] . Kedua model tersebut dipilih karena kesuksesannya dalam mengklasifikasikan ratusan kelas dan memiliki arsitektur yang sama yaitu LSTM dan GRU. Percobaan perbandingan model dilakukan sebanyak 100 kali dengan modul earlystopping yang memiliki patience sebesar 20. Hasil perbandingan model dapat dilihat pada Tabel IV. TABEL IV PERBANDINGAN MODEL DENGAN EARLY STOPPING Model LSTM LSTM [ 9 ] GRU [ 15 ] Rata-Rata Akurasi Rata-Rata Kecepatan ( dalam detik ) 88.071 % 51.143 % 56.786 % 36.961 41.371 42.483 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Model LSTM yang diajukan pada penelitian ini memiliki performa yang cukup baik dengan rata-rata akurasi yang lebih tinggi dan rata-rata kecepatan pelatihan yang lebih cepat. Namun , modul earlystopping dapat membuat epoch setiap pelatihan berbeda-beda sehingga kecepatan pelatihan dapat bervariasi. Oleh karena itu , perbandingan model dilakukan lagi sebanyak 100 kali dengan 100 epoch setiap pelatihan model. Hasil perbandingan model dapat dilihat pada Tabel V. TABEL V PERBANDINGAN MODEL DENGAN 100 EPOCH Model Rata-Rata Akurasi Rata-Rata Kecepatan ( dalam detik ) LSTM LSTM [ 9 ] GRU [ 15 ] 88.928 % 66.714 % 74 % 34.214 58.586 48.522 Dari Tabel V , dapat diketahui bahwa dengan jumlah epoch yang sama yaitu 100 , model LSTM yang diajukan pada penelitian ini memiliki performa yang lebih baik , baik dari segi akurasi maupun kecepatan pelatihan model. Sehingga dapat disimpulkan bahwa model LSTM yang diajukan pada penelitian ini merupakan model terbaik dari segi akurasi maupun dari segi efisiensi pelatihan yang dapat diidentifikasi dari penelitian terdahulu. VII. PENUTUP Berdasarkan hasil dan pembahasan yang telah dituliskan pada bagian sebelumnya , maka dapat ditarik kesimpulan bahwa modul Mediapipe dapat digunakan sebagai modul ekstraksi fitur , dan modul Mediapipe memiliki performa yang cukup baik , hal tersebut dapat dibuktikan dengan keberhasilan model LSTM dalam mengklasifikasikan gerakan yang memiliki arti bahwa data yang digunakan sebagai data latih merupakan data yang bagus. Selain itu , Model LSTM yang diusulkan pada penelitian ini juga memiliki performa yang cukup baik dengan akurasi testing sebesar 92.857 % , bahkan model yang diusulkan memiliki performa yang lebih baik dari model yang telah diteliti sebelumnya , baik dari segi akurasi model dalam melakukan klasifikasi gerakan BISINDO , atau kecepatan pelatihan model. agar mengumpulkan dataset yang lebih banyak sehingga dapat memperluas kosakata yang dapat diterjemahkan oleh model. Diharapkan selanjutnya penelitian untuk DAFTAR PUSTAKA A. Atih , “KOMUNIKASI VERBAL DAN NON VERBAL DALAM HUBUNGAN INTERPERSONAL , ” Universitas Negeri Jakarta , 2015. T. Hernawati , “Pengembangan Kemampuan Berbahasa Dan Berbicara Anak Tunarungu , ” JASSI_anakku , vol. 7 , no. 1 , pp. 101– 110 , 2007. M. Pradikja Hendra , H. Tolle , and K. Candra Brata , “Pengembangan Aplikasi Pembelajaran Bahasa Isyarat Berbasis Android Tablet , ” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2 , no. 8 , pp. 2548–964 , 2018 , [ Online ] . Available : http : / / j-ptiik.ub.ac.id. R. Hartanto , A. Susanto , and P. I. Santosa , “Preliminary design of [ 1 ] [ 2 ] [ 3 ] [ 4 ] 6 / 7 [ 22 ] [ 23 ] [ 24 ] [ 25 ] [ 26 ] [ 27 ] [ 28 ] [ 29 ] [ 30 ] [ 31 ] [ 32 ] [ 33 ] Makalah Skripsi – Program Studi D-IV Komputasi Statistik M. Y. Andrian , D. Purwanto , and R. Mardiyanto , “Penerjemahan Bahasa Isyarat Indonesia Menggunakan Kamera pada Telepon Genggam Android , ” J. Tek. ITS , vol. 6 , no. 1 , pp. 221–224 , Mar. 2017 , doi : 10.12962 / j23373539.v6i1.21981. C. Li , Z. Cui , W. Zheng , C. Xu , and J. Yang , “Spatio-Temporal Graph Convolution for Skeleton Based Action Recognition , ” 32nd AAAI Conf. Artif. Intell. AAAI 2018 , pp. 3482–3489 , Feb. 2018 , [ Online ] . Available : http : / / arxiv.org / abs / 1802.09834. S. Jiang , B. Sun , L. Wang , Y. Bai , K. Li , and Y. Fu , “Skeleton Aware Multi-modal Sign Language Recognition , ” Mar. 2021 , [ Online ] . Available : http : / / arxiv.org / abs / 2103.08833. C. Lugaresi et al. , “MediaPipe : A Framework for Building Perception Pipelines , ” Jun. 2019 , [ Online ] . Available : http : / / arxiv.org / abs / 1906.08172. Z. Cao , G. Hidalgo , T. Simon , S. E. Wei , and Y. Sheikh , “OpenPose : Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields , ” IEEE Trans. Pattern Anal. Mach. Intell. , vol. 43 , no. 1 , pp. 172–186 , 2021 , doi : 10.1109 / TPAMI.2019.2929257. R. A. Güler , N. Neverova , and I. Kokkinos , “DensePose : Dense Human Pose Estimation in the Wild , ” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. , pp. 7297–7306 , 2018 , doi : 10.1109 / CVPR.2018.00762. F. Zhang et al. , “MediaPipe Hands : On-device Real-time Hand Tracking , ” 2020 , [ Online ] . Available : http : / / arxiv.org / abs / 2006.10214. V. Bazarevsky , I. Grishchenko , K. Raveendran , T. Zhu , F. Zhang , and M. Grundmann , “BlazePose : On-device Real-time Body Pose tracking , ” Jun. 2020 , [ Online ] . Available : http : / / arxiv.org / abs / 2006.10204. M. A. LIZAMANIHI , “Penerjemah Bahasa Isyarat Dengan Menggunakan Metode Neural Network , ” POLITEKNIK PERKAPALAN NEGERI SURABAYA , 2019. T. A. Le , M. Y. Arkhipov , and M. S. Burtsev , “Application of a Hybrid Bi-LSTM-CRF Model to the Task of Russian Named Entity Recognition , ” in Communications in Computer and Information Science , vol. 789 , 2018 , pp. 91–103. G. Lample , M. Ballesteros , S. Subramanian , K. Kawakami , and C. Dyer , “Neural Architectures for Named Entity Recognition , ” Proc. 2016 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. , pp. 260–270 , Mar. 2016 , doi : 10.18653 / v1 / N16- 1030. A. Rohim , Y. A. Sari , and Tibyani , “Convolution neural network ( cnn ) untuk pengklasifikasian citra makanan tradisional , ” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3 , no. 7 , pp. 7038– 7042 , 2019 , [ Online ] . Available : http : / / j-ptiik.ub.ac.id / index.php / j- ptiik / article / view / 5851 / 2789. [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] static indonesian sign language recognition system , ” in 2013 International Conference on Information Technology and Electrical Engineering ( ICITEE ) , Oct. 2013 , no. 2 , pp. 187–192 , doi : 10.1109 / ICITEED.2013.6676236. M. R. Amiarrahman and T. Handhika , “Analisis dan Implementasi Algoritma Klasifikasi Random Forest Dalam Pengenalan Bahasa Isyarat Indonesia ( BISINDO ) , ” Semin. Nas. Inov. Teknol. , pp. 83– 88 , 2018. Republik Indonesia , Undang-Undang No. 8. Indonesia : https : / / pug- pupr.pu.go.id / _uploads / PP / UU. % 20No. % 208 % 20Th. % 202016.pdf , 2016 , p. 19. Z. Zakaria , R. A. Firmanyah , and Y. A. Prabowo , “Rancang bangun Flex Sensor Gloves untuk penerjemah Bahasa Isyarat menggunakan K-Nearest Neighbors , ” Semin. Nas. Sains dan Teknol. Terap. VII , pp. 361–366 , 2019 , [ Online ] . Available : https : / / ejurnal.itats.ac.id / sntekpan / article / view / 597 / 400. Deasy and N. Ma’muriyah , “Perancangan Pembuatan Aplikasi Pengenalan dan Penerjemah Bahasa Isyarat SIBI Menggunakan Leap Motion dengan Hidden Markov Models , ” TELCOMATICS , vol. 5 , no. 1 , pp. 1–11 , 2020 , doi : 10.37253 / telcomatics.v5i1.838. T. Liu , W. Zhou , and H. Li , “Sign language recognition with long short-term memory , ” in 2016 IEEE International Conference on Image Processing ( ICIP ) , Sep. 2016 , pp. 2871–2875 , doi : 10.1109 / ICIP.2016.7532884. Q. Xiao , M. Qin , and Y. Yin , “Skeleton-based Chinese sign language recognition and generation for bidirectional communication between deaf and hearing people , ” Neural Networks , vol. 125 , pp. 41–55 , May 2020 , doi : 10.1016 / j.neunet.2020.01.030. S. Hochreiter and J. Schmidhuber , “Long Short-Term Memory , ” Neural Comput. , vol. 9 , no. 8 , pp. 1735–1780 , Nov. 1997 , doi : 10.1162 / neco.1997.9.8.1735. J. Donahue et al. , “Long-Term Recurrent Convolutional Networks for Visual Recognition and Description. , ” IEEE Trans. Pattern Anal. Mach. Intell. , vol. 39 , no. 4 , pp. 677–691 , Apr. 2017 , doi : 10.1109 / TPAMI.2016.2599174. A. Graves and N. Jaitly , “Towards end-to-end speech recognition with recurrent neural networks , ” 31st Int. Conf. Mach. Learn. ICML 2014 , vol. 5 , pp. 3771–3779 , 2014. I. Sutskever , O. Vinyals , and Q. V. Le , “Sequence to Sequence Learning with Neural Networks , ” Adv. Neural Inf. Process. Syst. , vol. 4 , no. January , pp. 3104–3112 , Sep. 2014 , [ Online ] . Available : http : / / arxiv.org / abs / 1409.3215. X.-Y. Zhang , F. Yin , Y.-M. Zhang , C.-L. Liu , and Y. Bengio , “Drawing and Recognizing Chinese Characters with Recurrent Neural Network , ” IEEE Trans. Pattern Anal. Mach. Intell. , vol. 40 , no. 4 , pp. 849–862 , Apr. 2018 , doi : 10.1109 / TPAMI.2017.2695539. R. Cui , H. Liu , and C. Zhang , “Recurrent Convolutional Neural Networks for Continuous Sign Language Recognition by Staged Optimization , ” in 2017 IEEE Conference on Computer Vision and Pattern Recognition ( CVPR ) , Jul. 2017 , vol. 2017-Janua , pp. 1610– 1618 , doi : 10.1109 / CVPR.2017.175. G. R. Mauludi , A. Setiyadi , T. Informatika , U. Komputer , and J. D. Bandung , “Bahasa Indonesia Bagi Tunarungu Dan Tunawicara Menggunakan Arduino.” N. P. Permatasari , “SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK ( CNN ) BERBASIS SENSOR 2.5D , ” UNIVERSITAS PENDIDIKAN INDONESIA , 2016. A. R. RAMLI , “RANCANG BANGUN SISTEM PENTERJEMAH KATA BAHASA ISYARAT INDONESIA ( SIBI ) DENGAN MENGGUNAKAN ALGORITMA LINEAR DISCRIMINANT ANALISYS BERBASIS DESKTOP , ” UIN ALAUDDIN MAKASSAR , 2019. A. D. Putri , “MODEL PENERJEMAH BAHASA ISYARAT INDONESIA DARI VIDEO MENGGUNAKAN HYBRID METHOD , ” UNIVERSITAS PEMBANGUNAN NASIONAL “VETERAN” JAKARTA , 2019. D. Gustiar , S. H. Sitorus , and D. M. Midyanti , “PENERJEMAHAN BAHASA ISYARAT MENGGUNAKAN METODE GENERALIZED LEARNING VECTOR QUANTIZATION ( GLVQ ) , ” Coding J. Komput. dan Apl. , vol. 8 , no. 3 , p. 1 , Sep. 2020 , doi : 10.26418 / coding.v8i3.42156. 7 / 7
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Sistem Penerjemah Bahasa Isyarat Studi Kasus : Bahasa Isyarat Indonesia Faiq Zakki Mubarok ( 221709674 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , S. ST. , M. Si. pada umumnya Ringkasan—Komunikasi tunarungu. Penyandang dilakukan menggunakan bahasa verbal , namun terdapat kelompok yang memiliki keterbatasan dalam berkomunikasi secara verbal yaitu penyandang tunarungu biasanya menggunakan bahasa isyarat sebagai alat untuk berkomunikasi. Permasalahannya adalah tidak semua orang bisa mengerti bahasa isyarat , dan tidak semua orang bisa menggunakan bahasa verbal sebagai alat komunikasi. Sehingga penelitian ini bertujuan untuk mengembangkan modul penerjemah bahasa isyarat BISINDO sebagai penghubung antara masyarakat umum dengan penyandang tunarungu sehingga dapat memperkuat hubungan interpersonal antara kedua belah pihak. Modul penerjemah Bahasa Isyarat Indonesia dibangun dengan bantuan modul Mediapipe sebagai modul ekstraksi fitur tangan dan pose tubuh , dan pelatihan modul penerjemah menggunakan arsitektur LSTM. Berdasarkan hasil pengujian , model LSTM yang dibangun mendapatkan akurasi sebesar 92,857 % dan memiliki efisiensi yang lebih baik dibandingkan model penelitian terdahulu. Kata Kunci— Penerjemah Bahasa Isyarat , BISINDO , Ekstraksi Fitur , Mediapipe.
VII. PENUTUP Berdasarkan hasil dan pembahasan yang telah dituliskan pada bagian sebelumnya , maka dapat ditarik kesimpulan bahwa modul Mediapipe dapat digunakan sebagai modul ekstraksi fitur , dan modul Mediapipe memiliki performa yang cukup baik , hal tersebut dapat dibuktikan dengan keberhasilan model LSTM dalam mengklasifikasikan gerakan yang memiliki arti bahwa data yang digunakan sebagai data latih merupakan data yang bagus. Selain itu , Model LSTM yang diusulkan pada penelitian ini juga memiliki performa yang cukup baik dengan akurasi testing sebesar 92.857 % , bahkan model yang diusulkan memiliki performa yang lebih baik dari model yang telah diteliti sebelumnya , baik dari segi akurasi model dalam melakukan klasifikasi gerakan BISINDO , atau kecepatan pelatihan model. agar mengumpulkan dataset yang lebih banyak sehingga dapat memperluas kosakata yang dapat diterjemahkan oleh model. Diharapkan selanjutnya penelitian untuk
sebagai alat komunikasi. Sehingga penelitian ini bertujuan untuk mengembangkan modul penerjemah bahasa isyarat BISINDO sebagai penghubung antara masyarakat umum dengan penyandang tunarungu sehingga dapat memperkuat hubungan interpersonal antara kedua belah pihak. Modul penerjemah Bahasa Isyarat Indonesia dibangun dengan bantuan penerjemah menggunakan arsitektur LSTM. Berdasarkan hasil pengujian , model LSTM yang dibangun mendapatkan akurasi sebesar 92,857 % dan memiliki efisiensi yang lebih baik dibandingkan model penelitian terdahulu. Kata Kunci— Penerjemah Bahasa Isyarat , BISINDO , ini juga memiliki performa yang cukup baik dengan akurasi testing sebesar 92.857 % , bahkan model yang
O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O B-METODE O O O O O O O O