Pengembangan Metode Neural Machine Translation Berdasarkan Parameter Neural Network  
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pengembangan Metode Neural Machine Translation Berdasarkan Parameter Neural Network ( Studi Kasus : Bahasa Jerman – Inggris ) Muhammad Yusuf Aristyanto ( 221709870 , 4SD1 ) Dosen Pembimbing : Robert Kurniawan , S.ST. , M.Si. Ringkasan—Manusia sebagai makhluk sosial yang selalu ingin berhubungan dengan manusia lainnya memaksa manusia untuk saling berkomunikasi. Di sinilah peran bahasa menjadi amat penting , karena dengan dengan adanya bahasa , kita bisa dengan mudah mengerti apa yang ingin disampaikan oleh orang lain. Untuk itu , perlu adanya media yang dapat membantu memahami berbagai bahasa di dunia , salah satunya adalah mesin penerjemah. Salah satu metode yang dapat digunakan untuk membuat mesin penerjemah adalah Neural Machine Translation ( NMT ) . NMT yang sekarang sudah ada masih memiliki berbagai kekurangan dan perlu dilakukan pengembangan lebih jauh. Diantaranya pada masalah overfitting yang membuat modelnya kurang bisa melakukan generalisasi pada data lain yang diujikan. Banyak hal yang mempengaruhi performa dari NMT tersebut , salah satunya adalah ukuran parameter yang digunakan dan arsitektur model yang digunakan. Namun belum ada ukuran pasti yang dapat digunakan untuk menghasilkan model dengan performa yang terbaik. Sehingga penelitian ini bertujuan untuk mengembangkan arsitektur model NMT dan melakukan simulasi pada masing-masing parameter Neural Network dan ukuran pada arsitektur modelnya , antara lain batch size , epoch , optimizer , activation function , dan dropout rate. Hasil yang didapatkan adalah model pengembangan dapat mengatasi masalah overfitting dari model sebelumnya dengan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % yang dilakukan pada data uji lainnya. Kata Kunci—Arsitektur , Neural Network , NMT , Parameter I. LATAR BELAKANG Manusia merupakan sebuah entitas dalam kehidupan sosial , oleh karenanya manusia disebut juga sebagai mahluk sosial. Salah satu media yang digunakan dalam bersosialisasi adalah bahasa. Bahasa mempunyai sifat yang unik , yang berarti bahwa setiap bahasa mengandung ciri khas tersendiri yang tidak dimiliki oleh bahasa lain [ 1 ] . Bahasa merupakan alat komunikasi yang digunakan seseorang untuk menyampaikan ide , gagasan , konsep atau perasaan kepada orang lain [ 2 ] . Hal ini berarti , tanpa adanya bahasa , manusia akan sulit untuk menjalankan kehidupannya sebagai makhluk sosial. Keberagaman bahasa yang ada di dunia , membuat kita sulit untuk memahami satu sama lain. Sehingga perlu adanya media untuk menjembatani kita untuk dapat mengatasi keberagaman tersebut. Media ini salah satunya ialah mesin penerjemah. Keberadaan mesin penerjemah dapat membantu kita untuk memahami dan mempelajari bahasa lain yang tidak kita mengerti sebelumnya. Mesin penerjemah hadir sebagai salah satu solusi untuk menjembatani interaksi antar-suku. Selain itu , mesin penerjemah juga digunakan dalam pemeliharaan bahasa sebagai wujud dari kesadaran dalam melestarikan bahasa daerah [ 3 ] . Mesin penerjemah adalah sebuah media yang dapat melakukan pemindahan bahasa satu ke bahasa lain [ 4 ] . Salah satu metode yang digunakan untuk membangun suatu mesin penerjemah adalah Neural Machine Translation atau bisa kita sebut sebagai NMT. NMT adalah sebuah pendekatan baru dalam penerjemahan mesin yang menggunakan arsitektur Recurrent Neural Network ( RNN ) pada bagian encoder dan decoder-nya [ 5 ] . Neural Machine Translation yang digunakan saat ini oleh para peneliti mesin penerjemah adalah NMT berbasis attention , sebagai hasil penelitian yang telah dilakukan oleh Bahdanau [ 6 ] . Namun model yang dihasilkan masih belum mampu menangani masalah overfitting yang membuat modelnya tidak mampu melakukan generalisasikepada data lainnya selain data latih. Kemudian , Liu [ 7 ] dan Sennrich [ 8 ] melakukan pengembangan model dari model dasar yang dibuat oleh Bahdanau. Namun keduanya masih belum ada yang mencoba mengatasi permasalahan pada masalah overfitting. NMT merupakan metode penerjemahan bahasa yang berbaasis Neural Network. Neural Network adalah suatu proses pengolahan informasi yang terinspirasi dari sistem kerja jaringan otak manusia [ 9 ] . Neural Network terdiri dari kumpulan node ( neuron ) dan relasi. Ada tiga tipe node ( neuron ) yaitu , input , hidden , dan output. SedaVngkan relasi , berfungsi untuk menghubungkan dua buah node dengan bobot tertentu dan juga terdapat arah yang menujukkan aliran data dalam proses [ 10 ] . Neural Network diharapkan dapat meniru kemampuan otak manusia , seperti mengingat , menghitung , mengeneralisasi , dan adaptasi. Neural Network berusaha meniru struktur / arsitektur dan cara kerja otak manusia sehingga diharapkan mampu menggantikan beberapa pekerjaan manusia. Neural Network berguna untuk memecahkan persoalan yang berkaitan dengan pengenalan pola , klasifikasi , prediksi dan data mining [ 11 ] . Salah satu keuntungan menggunakan Neural Network adalah bahwa Neural Network sangat andal untuk mengolah data [ 12 ] . learning rate , activation Pada Neural Network , terdapat sebuah istilah yang bernama hyperparameter yang harus ditentukan oleh peneliti untuk selanjutnya digunakan dalam proses pelatihan model pada Neural Network. Beberapa contoh hyperparameter antara lain function , epoch , batch , split , optimizer , dan jumlah layers. Selain itu , kinerja Neural Network juga dipengaruhi oleh hyperparameter yang menyusunnya , diantaranya epoch , layer , split data , dan jumlah data [ 13 ] . Namun belum ada riset yang dilakukan untuk menentukan ukuran yang ideal atau pasti dari masing-masing hyperparameter agar dapat menghasilkan performa atau kinerja yang terbaik. 1 / 8 Selain itu , ada hal yang perlu diperhatikan , yakni performa dari Neural Network. Hal yang mempengaruhi performa training Neural Network adalah penentuan arsitektur Neural Network ( jumlah layer dan unit ) dan algoritma pembelajaran. Tidak ada ketentuan yang pasti dalam menentukan arsitektur Neural Network , tetapi ukuran arsitektur yang terlalu kecil tidak mampu dapat mengakibatkan Neural Network mempelajari data yang dimasukkan. Sebaliknya , ukuran arsitektur yang terlalu besar juga akan mempunyai sifat lemah dalam menggeneralisasi data yang baru , serta memakan banyak waktu untuk melakukan pelatihan model [ 14 ] . Berdasarkan permasalahan di atas , maka peneliti mencoba untuk memodifikasi arsitektur model NMT dengan menambahkan layer , yang diharapkan dapat meningkatkan performa akurasi pada model yang didapatkan. Selain itu juga akan dilakukan simulasi pada masing-masing hyperparameter pada Neural Network dan ukuran pada arsitektur modelnya , antara lain batch size , epoch , optimizer , activation function , dan dropout rate , untuk mendapatkan model yang paling optimal. Kemudian peneliti juga akan menggunakan hyperparameter tersebut untuk membuat model baru dengan dataset yang berbeda. II. TUJUAN PENELITIAN Adapun tujuan penelitian penulis berdasarkan dari identifikasi masalah di atas adalah sebagai berikut : 1. Mengembangkan arsitektur model NMT pada mesin penerjemah bahasa 2. Membandingkan performa penggunaan hyperparameter Neural Network ( batch size , epoch , optimizer , activation function , dan dropout rate ) pada model arsitektur NMT yang dikembangkan dari III. PENELITIAN TERKAIT Pada Gambar 1 di bawah , ditunjukan beberapa penelitian yang mendasari penelitian kali ini. Gambar 1. Penelitian Terkait Penelitian terkait dengan Analisis Metode Neural Machine Translation telah banyak dikaji. Yang pertama dilakukan oleh Abidin dengan penelitian yang berjudul “Penerapan Neural Machine Translation untuk Eksperimen Penerjemahan secara Otomatis pada Bahasa Lampung – Indonesia”. Hasil penelitian tersebut menunjukan bahwa penerjemahan bahasa Lampung- Indonesia pada 25 kalimat tunggal tanpa OOV diperoleh nilai Bilingual Evaluation Under Study ( BLEU ) sebesar 41.79 dan Makalah Skripsi – Program Studi D-IV Komputasi Statistik tanpa Out-of-Vocabulary 25 kalimat majemuk ( OOV ) diperoleh nilai BLEU sebesar 37.5. Adapun persamaan penelitian yang dilakukan oleh Abidin dengan penelitian kali ini terletak pada metode penerjemah yang digunakan , yakni Neural Machine Translation ( NMT ) dan metode evaluasi yang digunakan , yakni Bilingual Evaluation Under Study ( BLEU ) . Sedangkan perbedaanya terletak pengujiannya yang dilakukan menggunakan 25 kalimat tunggal dan 25 kalimat majemuk tanpa Out-of-Vocabulary ( OOV ) [ 15 ] . Kedua , penelitian yang dilakukan oleh Hadi yang berjudul “Uji Akurasi Mesin Penerjemah Statistik ( MPS ) Bahasa Indonesia ke Bahasa Melayu Sambas dan Mesin Penerjemah Statistik ( MPS ) Bahasa Melayu Sambas ke Bahasa Indonesia”. Hasil penelitian tersebut menunjukan bahwa Mesin Penerjemah Statistik berhasil digunakan menerjemahkan Bahasa Indonesia ke bahasa Melayu Sambas dan sebaliknya dengan tingkat akurasi yang dihasilkan sebanyak 55 % pada pengujian pertama dan 49 % pada pengujian kedua. Sedangkan penilaian yang dilakukan oleh ahli bahasa menghasilkan skor Bilingual Evaluation Under Study ( BLEU ) yang berbeda tergantung pada pemahaman ahli bahasa. Adapun persamaan penelitian yang dilakukan oleh Hadi dengan penelitian kali ini terletak pada metode evaluasi yang digunakan , yakni Bilingual Evaluation Under Study ( BLEU ) . Sedangkan perbedaanya terletak pada metode penerjemahan yang digunakan , yakni metode Mesin Penerjemah Statistik ( MPS ) [ 16 ] . Ketiga , penelitian yang dilakukan oleh Nurhikmat yang berjudul “Implementasi Deep Learning untuk Image Classification Menggunakan Algoritma Convolutional Neural Network ( CNN ) pada Citra Wayang Golek”. Hasil penelitian tersebut menunjukan bahwa Algoritma CNN berhasil digunakan untuk mengklasifikasikan citra wayang golek berdasarkan tokoh-tokohnya. Model tersebut menghasilkan tingkat akurasi sebanyak 95 % pada pelatihan model dan 90 % pada validasi model. Adapun persamaan penelitian yang dilakukan oleh Nurhikmat dengan penelitian kali ini terletak pada metode untuk meningkatkan performa pada model yang digunakan , yakni melalui hyperparameter. Sedangkan perbedaanya terletak pada metode pemodelan yang digunakan , yakni metode Convolutional Neural Network ( CNN ) [ 13 ] . Keempat , penelitian yang dilakukan oleh Liu yang berjudul “Very Deep Transformers for Neural Machine Translation”. Liu mengeksplorasi penerapan model Very Deep Transformers untuk Neural Machine Translation ( NMT ) . Model tersebut meghasilkan skor BLEU pada pasangan bahasa Inggris-Prancis 43,8 dan pasangan bahasa Inggris-Jerman sebesar 30.1. Adapun persamaan penelitian yang dilakukan oleh Liu dengan penelitian kali ini terletak pada metode penerjemah yang digunakan , yakni Neural Machine Translation ( NMT ) dan metode evaluasi yang digunakan , yakni Bilingual Evaluation Under Study ( BLEU ) . Sedangkan perbedaanya terletak pada metode pendukung model yang digunakan , yakni metode Very Deep Transformers [ 7 ] . Kelima , penelitian yang dilakukan oleh Sennrich yang berjudul “Improving Neural Machine Translation Models with Monolingual Data”. Sennrich menerapkan metode untuk melatih dengan data monolingual tanpa mengubah arsitektur neural network. Dari metode tersebut , Sennrich mendapatkan 2 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik B. Recurrent Neural Network ( RNN ) RNN adalah jenis arsitektur jaringan saraf tiruan yang pemrosesannya berulang kali dipanggil untuk memproses input data sekuensial [ 17 ] . Pemodelan RNN dapat menyelesaikan berbagai tugas kategorisasi kalimat dan dapat melakukan klasifikasi [ 18 ] , karena kemampuan dalam memprosesnya dipanggil berulang-ulang dengan hasil dapat menangani input dan outputvariable yang panjangnya bervariasi. Pada dasarnya , RNN adalah jaringan syaraf tiruan yang menggunakan rekurensi dengan memanfaatkan data masa lalu. Karena itu , beberapa studi terbaru mengenai RNN cukup kuat untuk permasalahan klasifikasi [ 19 ] . RNN memiliki arsitektur yang dapat berbentuk sekuensial seperti Gambar 2 berikut. Gambar 2. Arsitektur RNN C. Neural Machine Translation ( NMT ) Neural Machine Translation atau bisa kita sebut sebagai NMT adalah sebuah pendekatan baru dalam penerjemahan mesin yang menggunakan arsitektur Recurrent Neural Network ( RNN ) pada bagian encoder dan decoder-nya [ 5 ] . Neural Machine Translation yang digunakan saat ini oleh para peneliti mesin penerjemah adalah NMT berbasis attention , sebagai hasil penelitian yang telah dilakukan oleh Bahdanau [ 6 ] . Untuk melakukan penerjemahan menggunakan jaringan saraf , yang pertama dilakukan adalah menghubungkan RNN encoder dengan RNN decoder dari model bahasa. • RNN encoder akan memproses kalimat dalam kata bahasa sumber dari kata demi kata dan menghasilkan representasi kalimat masukan. • Sedangkan RNN decoder atau model bahasa akan mengambil output dari encoder sebagai masukan dan menghasilkan terjemahan kata demi kata [ 15 ] . peningkatan skor BLEU pada bahasa Inggris-Jerman sebesar 2,8 sampai 3,7 dan pada bahasa Turki-Inggris sebesar 2,1 sampai 3,4. Adapun persamaan penelitian yang dilakukan oleh Sennrich dengan penelitian kali ini terletak pada pada metode penerjemah yang digunakan , yakni Neural Machine Translation ( NMT ) dan metode evaluasi yang digunakan , yakni Bilingual Evaluation Under Study ( BLEU ) . Sedangkan perbedaanya terletak pada metode pendukung model yang digunakan , yakni Data Monolingual [ 8 ] . Pada penelitian ini , peneliti bermaksud ingin melakukan pengembangan dari metode NMT yang dibuat oleh Bahdanau [ 6 ] , dengan cara menambahkan beberapa layer pada arsitektur model NMT , kemudian juga melakukan simulasi pada beberapa hyperparameter Neural Network. Sehingga nantinya dapat mengatasi masalah overfitting pada model dasar yang dibuat oleh Bahdanau [ 6 ] . IV. METODE PENELITIAN A. Dataset dari situs didapatkan web dengan Pada penelitian ini , peneliti menggunakan dataset dummy manythings yang ( https : / / www.manythings.org / anki / ) judul Tab- delimited Bilingual Sentence Pairs. Merupakan situs web yang berisi berbagai macam terjemahan dari berbagai bahasa di seluruh dunia. Di sini penliti menyebutnya sebagai pasangan kalimat ( Corpus Parallel ) dari bahasa satu ke bahasa lainnya. Pada Tabel I di bawah , ditunjukkan contoh sampel corpus parallel yang digunakan pada penelitian ini. TABEL I CONTOH CORPUS PARALLEL Inggris Hello ! Go away. Jerman Sers ! Geh weg ! That was ours. Das war unsrer. The river is wide. Der Fluss ist breit. He should thank you. Er sollte dir danken. Inggris Jump. Go away. Spanyol Salte. Lárguese. She is happy. Ella es feliz. It does n't matter. No es importante. Tonight is the night. Esta noche es la noche. Peneliti akan mengambil dua buah dataset , yang pertama digunakan untuk melakukan proses pelatihan model dan untuk mendapatkan kombinasi parameter Neural Network yang terbaik , yaitu Bahasa Inggris-Jerman. Sedangkan yang kedua akan digunakan untuk menguji model dan parameter terbaik tersebut , yaitu Bahasa Inggris-Spanyol. Selanjutnya , Corpus Parallel akan digunakan sebagai masukan dari metode Neural Machine Translation. Gambar 3. Arsitektur Model Encoder-Decoder Gambar 3 di atas mengilustrasikan tentang bagaimana cara secara menghubungkan model encoder dan decoder bersamaan. Arsitektur model untuk terjemahan mesin dikenal sebagai model encoder-decoder [ 20 ] . 3 / 8 D. Long-Short Term Memory ( LSTM ) Menurut Burtsev ( 2018 ) , LSTM merupakan varian khusus dari Recurrent Neural Network ( RNN ) yang dikembangkan untuk mengatasi masalah vanishing gradient pada RNN ketika digunakan dalam environment [ 21 ] . Arsitektur LSTM ditunjukan pada Gambar 4 di bawah ini. long-term secara Makalah Skripsi – Program Studi D-IV Komputasi Statistik • Activation Function mendefinisikan bagaimana jumlah tertimbang dari input diubah menjadi output • Dropout Rate adalah regularisasi jaringan syaraf saat neuron dipilih secara acak dan tidak dipakai saat pelatihan F. Bilingual Evaluation Under Study ( BLEU ) Model yang sudah terbentuk akan dievaluasi menggunakan metode BLEU. BLEU adalah sebuah algoritma yang berfungsi untuk mengevaluasi kualitas dari sebuah hasil terjemahan yang telah diterjemahkan oleh mesin dari satu bahasa alami ke bahasa lain. BLEU mengukur modified n-gram precission score antara hasil terjemahan otomatis dengan terjemahan rujukan dan menggunakan konstanta yang dinamakan brevity penalty. Rumus BLEU ditunjukkan pada persamaan ( 1 ) , ( 2 ) , dan ( 3 ) berikut [ 20 ] : 𝐵𝑃𝐵𝐿𝐸𝑈 = { 1 𝑖𝑓 𝑐 > 𝑟 𝑟 𝑒1− 𝑐 𝑖𝑓 𝑐 ≤ 𝑟 ( 1 ) Gambar 4. Arsitektur LSTM LSTM memiliki prinsip kerja yang sama dengan RNN , tetapi LSTM mengganti hidden unit pada RNN dengan memory block yang terdiri dari 4 komponen yaitu input gate , output gate , forget gate , dan memory cells [ 22 ] . • • Sedangkan output gate akan menentukan hidden state Input gate melakukan update pada memory cell. berikutnya. • Forget gate menentukan informasi mana yang harus disimpan atau dibuang. • Memory cells akan mengingat bobot selama interval waktu yang berubah-ubah dan tiga gate lainnya mengatur aliran input dan output dari memory cell. E. Parameter Neural Network Di sini peneliti akan menggunakan beberapa kombinasi dari hyperparameter dan ukuran arsitektur Neural Network , antara lain batch size , epoch , optimizer , activation function , dan dropout rate. Selengkapnya ditunjukan pada tabel II berikut ini. TABEL II PARAMETER NEURAL NETWORK Parameter Batch Size Epoch Optimizer Nilai 16 , 32 , 64 10 , 30 , 50 Adam , RMSprop , SGD Activation Function SoftMax , SoftPlus , SoftSign Dropout Rate 0.2 , 0.5 , 0.8 Berikut adalah pengertian dari masing-masing parameter. • Batch Size adalah pembagian data menjadi beberapa bagian sehingga akan memudahkan beban pemrosesan memori • Epoch adalah jumlah iterasi bagi seluruh dataset dalam proses pelatihan pada Neural Netwok sampai ke awal lagi • Optimizer merupakan algoritma yang digunakan untuk mengubah atribut jaringan saraf Anda seperti bobot dan learning rate untuk mengurangi loss pada model 𝑃𝑛 = ∑ 𝐶 ∈ 𝑐𝑜𝑟𝑝𝑢𝑠 𝑛 − 𝑔𝑟𝑎𝑚 ∈ 𝐶 ∑ 𝑐𝑜𝑢𝑛𝑡𝑐𝑙𝑖𝑝 ( 𝑛 − 𝑔𝑟𝑎𝑚 ) ∑ 𝐶 ∈ 𝑐𝑜𝑟𝑝𝑢𝑠 𝑛 − 𝑔𝑟𝑎𝑚 ∈ 𝐶 ∑ 𝑐𝑜𝑢𝑛𝑡 ( 𝑛 − 𝑔𝑟𝑎𝑚 ) ( 2 ) 𝐵𝐿𝐸𝑈 = 𝐵𝑃𝐵𝐿𝐸𝑈 ∙ 𝑒∑ 𝑁 𝑛−1 𝑤𝑛 log 𝑝𝑛 ( 3 ) Keterangan : 𝐵𝑃 = brevity penalty 𝑐 = jumlah kata dari hasil terjemahan otomatis = jumlah kata rujukan 𝑟 𝑃𝑛 = modified precission score 𝑤𝑛 = 1 / N ( standar nilai N untuk BLEU adalah 4 ) 𝑝𝑛 = jumlah n-gram hasil terjemahan yang sesuai dengan rujukan dibagi jumlah n-gram hasil terjemahan G. Consufion Matriks Penentuan baik atau tidaknya performa suatu model klasifikasi dapat dilihat dari parameter pengukuran performanya , yaitu tingkat akurasi , recall , dan presisi. Untuk menghitung faktor-faktor tersebut diperlukan sebuah matrik yang biasa disebut confusion matriks. Salah satu Confusion- matrix ( Tabel III ) yang kerap digunakan dalam pengukuran dapat dilihat pada Gambar 3.17 ( Fawcett , 2006 ) . TABEL III CONFUSSION MATRIX Kejadian Sebenarnya Positive ( P ) Negative ( N ) Hipotesis Kejadian Positive ( P ) True Positive ( TP ) False Positive ( FP ) Negative ( N ) False Negative ( FN ) True Negaative ( TN ) 4 / 8 Berdasarkan gambar di atas , terdapat beberapa nilai di dalam matriks yaitu True Positive ( TP ) , true negative ( TN ) , False Positive ( FP ) , dan False negative ( FN ) , seluruh kemungkinan kejadian sebenarnya Positive ( P ) dan seluruh kemungkinan kejadian sebenarnya Negative ( N ) . Nilai tersebut dapat digunakan untuk menghitung akurasi dengan persamaan ( 4 ) . Akurasi digunakan sebagai parameter sebagaimana akurat suatu model melakukan klasifikasi [ 13 ] . 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁 𝑃 + 𝑁 ( 4 ) H. Diagram Alur Metode Penelitian Dalam melakukan penelitian ini , peneliti berpedoman dari diagram alur penelitian seperti pada Gambar 5 di bawah. Peneliti memulai dengan mengumpulkan dataset berupa corpus parallel. Peneliti mengambil dua buah dataset , pertama Bahasa Spanyol-Inggris untuk pelatihan model dan dataset kedua yakni Bahasa Jerman-Inggris , untuk menguji model terbaik yang dihasilkan. Makalah Skripsi – Program Studi D-IV Komputasi Statistik Dataset pertama kemudian akan dilakukan preprocessing dan dilakukan pemodelan menggunakan metode Neural Machine Translation , sehingga akan dihasilkan model NMT. Kemudian untuk mendapatkan parameter terbaik , model NMT tadi akan dilakukan simulasi pada berbagai parameter seperti batch , epoch , optimizer , activation function , dan dropout. Masing-masing model yang didapatkan nantinya akan dilakukan evaluasi menggunakan metode BLEU. Model dengan BLEU terbaik selanjutnya akan digunakan untuk melakukan pemodelan menggunakan dataset yang kedua. Dari dataset kedua , akan diamati skor BLEU-nya kembali. Sehingga didapatkanlah performa dari kedua model di kedua dataset. V. KERANGKA PIKIR Berdasarkan Gambar 6 di bawah , kerangka pikir penelitian ini didasarkan karena peneliti melihat belum adanya ukuran pasti dari nilai parameter Neural Network dalam menghasilkan model yang optimal. Maka dari itu , peneliti akan melakukan simulasi hyperparameter serta ukuran arsitektur model pada metode Neural Machine Translation. Gambar 5. Diagram Alur Metode Penelitian Gambar 6. Kerangka Pikir VI. HASIL DAN PEMBAHASAN A. Pengembangan Metode NMT Pada proses pengembangan model NMT ini , peneliti menggunakan beberapa hyperparameter antara lain : • Sebanyak 20.000 sampel data , hal ini dikarenakan dengan mempertimbangkan performa mesin yang digunakan 5 / 8 • Split dataset yang digunakan yakni 6:4 , dengan mempertimbangkan jumlah data , peneliti berharap tidak terjadi ketimpangan antara data train dan test. • Kemudian Epoch yang digunakan adalah sebanyak 50 , dengan mempertimbangkan lamanya waktu pemodelan. • Batch size yang dipilih peneliti ada 16 , dengan mempertimbangkan kapasitas RAM yang tersedia. • Penggunaan ‘SoftMax’ sebagai Activation Function sendiri karena keandalannya dalam melakukan klasifikasi. • Kemudian pada layer Dropout , peneliti memutuskan untuk menggunakan 0.5 sebagai masukannya. • Terakhir , peneliti penggunakan Optimizer berupa ‘Adam’ karena keandalannya dalam mengoptimalkan bobot. Berikut adalah pembahasan dari hasil pengembangan model Neural Machine Translation yang akan terbagi menjadi : 1. Model Dasar Gambar 7. Model Dasar Pada model arsitektur dasar ( Gambar 7 ) , terdapat beberapa lapis layers , yaitu : • Embedding , merupakan metode yang digunakan untuk merepresentasikan variabel diskrit sebagai vektor kontinu • LSTM , untuk mengatasi ketergantungan jangka panjang ( long term dependencies ) pada masukannya • Repeat Vector , jembatan antara encoder dan decoder • Time Distributed , membuat vektor dengan panjang yang sama dengan jumlah fitur yang dihasilkan dari lapisan sebelumnya Hasil dari model dasar tersebut adalah sebagai berikut. Terlihat pada Gambar 8 , loss pada model mencapai titik terendah pada epoch ke-11. Namun kemudian setelahnya secara berangsur-angsur , loss model makin bertambah. Hal ini mengindikasikan adanya overfit pada model dasar ini. Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 8. Tren Akurasi dan Loss pada Model Dasar Selain itu , skor BLEU yang dihasilkan pada data train adalah sebesar 0,658279 dan pada data test sebesar 0,198291. Jauhnya perbedaan skor pada data train menunjukkan bahwa model dasar ini mengalami overfit. Overfit sendiri adalah keadaan saat model tidak mampu melakukan generalisasi kepada data test. 2. Penambahan Callbacks Untuk itu , kita perlu mengimplementasikan callbacks dalam model dasar yang sebelumnya. Callback adalah seperangkat fungsi yang akan diterapkan pada tahapan tertentu dari prosedur pelatihan. Peneliti menggunakan salah satu fungsi callbacks yaitu EarlyStopping. Overfitting adalah mimpi buruk bagi praktisi Machine Learning. Salah satu cara untuk menghindari overfitting adalah dengan menghentikan proses lebih awal. Fungsi EarlyStopping memiliki berbagai metrik / argumen yang dapat Anda modifikasi untuk disiapkan saat proses pelatihan harus dihentikan. Berikut adalah beberapa metrik yang relevan : • monitor : nilai yang dipantau , yaitu : val_loss • min_delta : perubahan minimum dalam nilai yang dipantau. Di sini peneliti menggunakan min_delta=0 yang berarti bahwa proses pelatihan akan dihentikan jika perubahan absolut dari nilai yang dipantau kurang dari 0 • patience : jumlah epoch tanpa peningkatan setelah itu pelatihan akan dihentikan. Di sini peneliti menggunakan petience 3 , sehingga jika dalam 3 epoch masih lebih besar , maka proses pelatihan akan dihentikan • restore_best_weights : setel metrik ke True jika ingin mempertahankan bobot terbaik setelah dihentikan Gambar 9. Tren Akurasi dan Loss pada Model dengan Callbacks Pada Gambar 9 , loss pada model mencapai titik terendah pada epoch ke-14 , dengan train accuracy sebesar 0,888117 dan test accuracy sebesar 0,677500. Selain itu , skor BLEU yang dihasilkan pada data train adalah sebesar 0,519729 dan pada data test sebesar 0,162981. Jauhnya perbedaan skor pada data train menunjukkan bahwa model dengan penambahan callbacks ini masih mengalami overfit. 6 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik 3. Penambahan Layer Dropout 4. Pengimplementasian Cross Validation Untuk menangani adanya overfit , selanjutnya peneliti akan menambahkan layer Dropout pada layer sequential. Sehingga dihasilkan arsitektur model baru seperti Gambar 8. Cross Validation yaitu sebuah metode tambahan dari teknik yang bertujuan untuk memperoleh hasil akurasi yang maksimal. Pada Gambar 12 di bawah , loss pada model mencapai titik terendah pada epoch ke-22. Dibandingkan dengan model sebelumnya , jarak akurasi dari data train dan data test cenderung lebih kecil lagi , yakni sebesar 0,8292 dan 0,7195. Ini adalah indikasi dari turunnya overfit. Gambar 12. Tren Akurasi dan Loss pada Model dengan Cross Validation Selain itu , skor BLEU yang dihasilkan pada data train adalah sebesar 0,429079 dan pada data test sebesar 0,431115. Perbedaan skor pada data train dan data test yang kecil menunjukkan bahwa model dengan cross validation ini sudah tidak masih mengalami overfit. 5. Perbandingan Model Dasar degan Model Pengembagan jauh Dibandingkan dengan model dasar ( Gambar 8 ) , model pengembangan lebih mampu mengatasi masalah overfitting ditunjukkan dengan grafik ( Gambar 12 ) yang tidak melebar antara train dan test , kemudian juga ditunjukkan dengan perbedaan jarak akurasi antara data train dan test-nya. B. Simulasi Hyperparameter Neural Network Berikut adalah pembahasan dari hasil simulasi berbagai hyperparameter Neural Network diantaranya batch size , epoch , optimizer , activation function , dan dropout rate. Kali ini , peneliti akan melakukan simulasi kepada berbagai hyperparameter tersebut menggunakan bantuan fungsi Grid Search CV yang secara otomatis akan melakukan pelatihan model dari berbagai kombinasi nilai hyperparameter yang ada. Grid Search adalah metode yang efektif untuk menyesuaikan parameter dalam supervised learning dan meningkatkan performa generalisasi model. Hasilnya bisa dilihat pada Tabel IV di bawah dengan parameter terbaik diberi blok warna hijau. TABEL IV PARAMETER NEURAL NETWORK Value Mean Accuracy Std Accuracy Gambar 10. Model Dasar dengan Dropout Layer Dropout sendiri merupakan teknik regularisasi jaringan syaraf dimana beberapa neuron akan dipilih secara acak dan tidak dipakai selama pelatihan. Neuron-neuron ini dapat dibilang dibuang secara acak. Dropout dapat mencegah terjadinya overfitting dan juga mempercepat proses learning. Gambar 11. Tren Akurasi dan Loss pada Model dengan Dropout Pada Gambar 11 , loss pada model mencapai titik terendah pada epoch ke-25. Dibandingkan dengan model sebelumnya , jarak akurasi dari data train dan data test cenderung lebih kecil , yakni sebesar 0,821433 dan 0,694925. Tentu ini adalah indikasi yang bagus dari berkurangnya overfit. Selain itu , skor BLEU yang dihasilkan pada data train adalah 0,517304 dan pada data test 0,187630. Jauhnya perbedaan skor menunjukkan bahwa model masih mengalami overfit. h c t a B h c o p E 16 32 64 10 30 50 0,612167 0,034584 0,631333 0,020233 0,633083 0,009790 0,641833 0,000717 0,549167 0,052383 0,459250 0,034202 7 / 8 r e z i m i t p O n o i t a v i t c A t u o p o r D Adam 0,464500 0,137227 RMSProp 0,478667 0,112564 SGD 0,701500 0,005672 SoftMax 0.594250 0.072630 SoftPlus 0.533250 0.085778 SoftSign 0.119083 0.134133 0,2 0,5 0,8 0.643917 0.004789 0.629000 0.027116 0.642583 0.005606 C. Pemodelan Menggunakan Data Lain Untuk menguji model dan parameter yang sudah didapatkan sebelumnya , peneliti akan mencoba menggunakan data lain , yakni dataset corpus parallel Bahasa Spanyol-Inggris untuk mengujinya. Hasilnya ditunjukkan pada Tabel V. TABEL V PEMODELAN DENGAN DATA LAINNYA Data Train BLEU Test BLEU Jerman-Inggris Spanyol-Inggris 0,454968 0,453146 0,458266 0,457280 Jika dibandingkan , maka skor BLEU pada masing-masing bahasa cenderung mirip , yakni di sekitar 45 % . Hal ini berarti , dengan perbedaan bahasa , model dan parameter yang digunakan terbukti mampu untuk diimplementasikan pada dataset yang berbeda sekalipun. A. Kesimpulan VII. PENUTUP Model yang telah dikembangkan dengan penambahan callbacks , layer dropout , dan metode cross validation dapat mengatasi overfit pada model dasar. Sehingga mendapatkan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % pada data test. Kemudian hasil dari simulasi hyperparameter antara lain mendapatkan ukuran dari masing-masing hyperparameter sebagai berikut , batch size ( 64 ) , epoch ( 10 ) , optimizer ( SGD ) , activation function ( SoftMax ) , dan dropout rate ( 0,2 ) . Yang terakhir , implementasi model dan hyperparameter terbaik pada dataset Bahasa Spanyol-Inggris menghasilkan skor BLEU yang sangat mirip dengan dataset Bahasa Jerman-Inggris , yakni 0,453146 pada data train dan 0,457280 data test. B. Saran Peneliti sadar kalau penelitian ini jauh dari kata sempurna , oleh karena itu , di sini peneliti akan memberikan beberapa saran antara lain menambahkan jumlah sampel , menggunakan lebih banyak kombinasi nilai pada hyperparameter , dan menambahkan layer lain , misalnya Flatten dan Dense , untuk meningkatkan performa model. Makalah Skripsi – Program Studi D-IV Komputasi Statistik DAFTAR PUSTAKA [ 1 ] R. Nugroho Aditya , T. Adji Bharata , and B. Hantono S , “Penerjemahan Bahasa Indonesia dan Bahasa Jawa Menggunakan Metode Statistik Berbasis Frasa , ” Semin. Nas. Teknol. Inf. dan Komun. , vol. 2015 , no. Sentika , 2015. [ 2 ] M. B. Yahya , “Penerapan Metode Interpolation Search Untuk Melakukan Pencarian Pada Aplikasi Translator Huruf Pegon Jawa – Bahasa Indonesia , ” Universitas Islam Negeri Maulana Malik Ibrahim , 2015. J. Pranata and Muljono , “Mesin Penerjemah Bahasa Indonesia-Jawa Menggunakan Metode Statistik Berbasis Frasa , ” no. 5 , pp. 1–5 , 2016 , [ Online ] . Available : http : / / eprints.dinus.ac.id / 18206 / . T. B. Adji , Y. Astuti , and S. S. Kusumawardani , “Statistical-based machine translation for prepositional phrase using Link Grammar , ” Proc. 2011 Int. Conf. Electr. Eng. Informatics , ICEEI 2011 , no. July , 2011 , doi : 10.1109 / ICEEI.2011.6021644. S. Hunston , Corpora in Applied Linguistics. Cambridge University Press , 2002. [ 3 ] [ 4 ] [ 5 ] [ 6 ] D. Bahdanau , K. H. Cho , and Y. Bengio , “Neural machine translation by jointly learning to align and translate , ” 3rd Int. Conf. Learn. Represent. ICLR 2015 - Conf. Track Proc. , pp. 1–15 , 2015. [ 7 ] X. Liu , K. Duh , L. Liu , and J. Gao , “Very Deep Transformers for Neural Machine Translation , ” 2020 , [ Online ] . Available : http : / / arxiv.org / abs / 2008.07772. [ 8 ] R. Sennrich , B. Haddow , and A. Birch , “Improving neural machine translation models with monolingual data , ” 54th Annu. Meet. Assoc. Comput. Linguist. ACL 2016 - Long Pap. , vol. 1 , pp. 86–96 , 2016 , doi : 10.18653 / v1 / p16-1009. S. R. Asriningtias , H. S. Dachlan , and E. Yudaningtyas , “Optimasi Training Neural Network Menggunakan Hybrid Adaptive Mutation , ” Eeecis , vol. 9 , no. 1 , pp. 79–84 , 2015. [ 9 ] [ 10 ] Kusrini , E. T , and A. Luthfi , Algritma Data Mining. Penerbit Andi , 2009. [ 11 ] A. Shukla , R. Tiwari , and R. Kala , Real Life Apllications of Soft Computing. CRC Press , 2010. [ 12 ] D. Larose , Discovering Knowledge in Data. Canada : Wiley Interscience , 2005. [ 13 ] T. Nurhikmat , “Implementasi Deep Learning untuk Image Classification Menggunakan Algoritma Convolutional Neural Network ( CNN ) pada Citra Wayang Golek , ” Univ. Islam Indones. , 2018. [ 14 ] Z. Che , T. Chiang , and Z. Che , “Feed-Forward Neural Networks Training : A Comparison Between Genetic Algorithm And Back- Propagation Learning Algorithm , ” vol. 7 , no. 10 , p. 5839 , 2011. [ 15 ] Z. Abidin , “Penerapan Neural Machine Translation untuk Eksperimen [ 16 ] Penerjemahan secara Otomatis pada Bahasa Lampung – Indonesia , ” Pros. Semin. Nas. Metod. Kuantitatif 2017 , no. 978 , pp. 53–68 , 2017. I. Hadi , “Uji Akurasi Mesin Penerjemah Statistik ( MPS ) Bahasa Indonesia Ke Bahasa Melayu Sambas Dan Mesin Penerjemah Statistik ( MPS ) Bahasa Melayu Sambas Ke Bahasa Indonesia , ” J. Sist. dan Teknol. Inf. , vol. 2 , pp. 1–6 , 2014. [ 17 ] P. Liu , X. Qiu , and H. Xuanjing , “Recurrent neural network for text classification with multi-task learning , ” IJCAI Int. Jt. Conf. Artif. Intell. , vol. 2016-Janua , pp. 2873–2879 , 2016. [ 18 ] W. Xia , W. Zhu , B. Liao , M. Chen , L. Cai , and L. Huang , “Novel architecture for long short-term memory used in question classification , ” Neurocomputing , vol. 299 , pp. 20–31 , 2018 , doi : 10.1016 / j.neucom.2018.03.020. [ 19 ] M. R. Firmansyah , R. Ilyas , and F. Kasyidi , “Klasifikasi Kalimat Ilmiah Menggunakan Recurrent Neural Network , ” Pros. 11th Ind. Res. Work. Natl. Semin. , vol. 11 , no. 1 , pp. 488–495 , 2020. [ 20 ] K. Papineni , S. Roukos , T. Ward , and W.-J. Zhu , “BLEU : a Method for Automatic Evaluation of Machine Translation , ” 2002 , doi : 10.1002 / andp.19223712302. [ 21 ] T. A. Le , M. Y. Arkhipov , and M. S. Burtsev , “Application of a hybrid Bi-LSTM-CRF Model to the task of Russian named entity recognition , ” Commun. Comput. Inf. Sci. , vol. 789 , pp. 91–103 , 2018 , doi : 10.1007 / 978-3-319-71746-3_8. [ 22 ] G. Lample , M. Ballesteros , S. Subramanian , K. Kawakami , and C. Dyer , “Neural architectures for named entity recognition , ” 2016 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. NAACL HLT 2016 - Proc. Conf. , pp. 260–270 , 2016 , doi : 10.18653 / v1 / n16-1030. 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pengembangan Metode Neural Machine Translation Berdasarkan Parameter Neural Network ( Studi Kasus : Bahasa Jerman – Inggris ) Muhammad Yusuf Aristyanto ( 221709870 , 4SD1 ) Dosen Pembimbing : Robert Kurniawan , S.ST. , M.Si. Ringkasan—Manusia sebagai makhluk sosial yang selalu ingin berhubungan dengan manusia lainnya memaksa manusia untuk saling berkomunikasi. Di sinilah peran bahasa menjadi amat penting , karena dengan dengan adanya bahasa , kita bisa dengan mudah mengerti apa yang ingin disampaikan oleh orang lain. Untuk itu , perlu adanya media yang dapat membantu memahami berbagai bahasa di dunia , salah satunya adalah mesin penerjemah. Salah satu metode yang dapat digunakan untuk membuat mesin penerjemah adalah Neural Machine Translation ( NMT ) . NMT yang sekarang sudah ada masih memiliki berbagai kekurangan dan perlu dilakukan pengembangan lebih jauh. Diantaranya pada masalah overfitting yang membuat modelnya kurang bisa melakukan generalisasi pada data lain yang diujikan. Banyak hal yang mempengaruhi performa dari NMT tersebut , salah satunya adalah ukuran parameter yang digunakan dan arsitektur model yang digunakan. Namun belum ada ukuran pasti yang dapat digunakan untuk menghasilkan model dengan performa yang terbaik. Sehingga penelitian ini bertujuan untuk mengembangkan arsitektur model NMT dan melakukan simulasi pada masing-masing parameter Neural Network dan ukuran pada arsitektur modelnya , antara lain batch size , epoch , optimizer , activation function , dan dropout rate. Hasil yang didapatkan adalah model pengembangan dapat mengatasi masalah overfitting dari model sebelumnya dengan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % yang dilakukan pada data uji lainnya. Kata Kunci—Arsitektur , Neural Network , NMT , Parameter
VII. PENUTUP Model yang telah dikembangkan dengan penambahan callbacks , layer dropout , dan metode cross validation dapat mengatasi overfit pada model dasar. Sehingga mendapatkan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % pada data test. Kemudian hasil dari simulasi hyperparameter antara lain mendapatkan ukuran dari masing-masing hyperparameter sebagai berikut , batch size ( 64 ) , epoch ( 10 ) , optimizer ( SGD ) , activation function ( SoftMax ) , dan dropout rate ( 0,2 ) . Yang terakhir , implementasi model dan hyperparameter terbaik pada dataset Bahasa Spanyol-Inggris menghasilkan skor BLEU yang sangat mirip dengan dataset Bahasa Jerman-Inggris , yakni 0,453146 pada data train dan 0,457280 data test. B. Saran Peneliti sadar kalau penelitian ini jauh dari kata sempurna , oleh karena itu , di sini peneliti akan memberikan beberapa saran antara lain menambahkan jumlah sampel , menggunakan lebih banyak kombinasi nilai pada hyperparameter , dan menambahkan layer lain , misalnya Flatten dan Dense , untuk meningkatkan performa model. Makalah Skripsi – Program Studi D-IV Komputasi Statistik
digunakan untuk membuat mesin penerjemah adalah Neural Machine Translation ( NMT ) . NMT yang sekarang sudah ada terbaik. Sehingga penelitian ini bertujuan untuk mengembangkan arsitektur model NMT dan melakukan simulasi pada masing-masing parameter Neural Network dan ukuran pada arsitektur modelnya , antara lain batch size , dropout rate. Hasil yang didapatkan adalah model pengembangan dapat mengatasi masalah overfitting dari model sebelumnya dengan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % yang dilakukan pada data uji lainnya. Kata Kunci—Arsitektur , Neural Network , overfit pada model dasar. Sehingga mendapatkan akurasi sebesar 72,24 % dan skor BLEU sebesar 45,83 % pada data test.
O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O B-METODE O O O O O B-METODE O O O O O O