Perbandingan Model CNNs-LSTM NER (Named Entity Recognition) dengan Bi-LSTMs-CRF NER pada Ekstraksi Entitas Data Kasus Narkoba dari Berita Online di Indonesia 
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Perbandingan Model CNNs-LSTM NER ( Named Entity Recognition ) dengan Bi-LSTMs-CRF NER pada Ekstraksi Entitas Data Kasus Narkoba dari Berita Online di Indonesia Daris Azhar ( 221810233 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , SST , M.Si Ringkasan— Penelitian terkait penerapan NER berbahasa Indonesia pada domain tertentu masih terbilang belum banyak dilakukan. Salah satunya adalah penerapan NER dengan domain kasus narkoba. Ketersediaan data kasus narkoba BNN yang belum up-to-date serta publikasi laporan kasus narkoba di Indonesia yang hanya dimuat satu tahun sekali memberikan celah untuk memanfaatkan NER guna mendapatkan data kasus narkoba dengan mengekstrak entitas terkait dengan kasus narkoba menggunakan sumber data berita online. Penelitian ini bertujuan untuk memanfaatkan situs berita online untuk dijadikan sebagai sumber data dalam memperoleh informasi terkait kasus narkoba di Indonesia. Selain itu , penelitian ini juga membangun model NER untuk mengekstrak informasi dari teks berita yang telah diperoleh. Model NER utama pada penelitian ini karena mampu menggunakan menghasilkan performa yang baik serta hanya membutuhkan waktu komputasi yang singkat. Sedangkan , model NER baseline menggunakan arsitektur Bi-LSTM-CRF karena mudah diimplementasikan menggunakan framework. Model utama yang telah dibangun menghasilkan performa ( F1-score ) sebesar 82,54 % . Sedangkan model baseline hanya menghasilkan performa ( F1-score ) sebesar 69,67 % . arsitektur CNNs-LSTM Kata Kunci— Named Entity Recognition , domain kasus narkoba , CNNs-LSTM , Bi-LSTMs-CRF , penerapan NER. I. LATAR BELAKANG NER yang merupakan salah satu bagian dari NLP telah banyak digunakan di berbagai macam penelitian dan masih terus berlanjut dalam tahap pengembangan hingga saat ini. Beberapa peneliti telah mengembangkan arsitektur-arsitektur model NER mulai dari rule-based NER [ 1 ] – [ 3 ] hingga deep learning NER [ 4 ] , [ 5 ] pada korpus bahasa tertentu dan pada domain umum maupun domain tertentu. Umumnya , penelitian NER yang telah dilakukan cenderung lebih memfokuskan pada pembangunan berbagai jenis arsitektur model NER pada korpus bahasa tertentu dengan tujuan menghasilkan arsitektur model NER dengan performa yang terbaik [ 6 ] – [ 8 ] . Begitu pula dengan penelitian NER dengan korpus bahasa Indonesia yang umumnya merupakan implementasi arsitektur model NER yang sudah ada lalu kemudian diterapkan pada korpus berbahasa Indonesia dengan cakupan domain yang umum [ 5 ] , [ 9 ] , [ 10 ] . Penelitian terkait NER dengan cakupan domain yang umum biasanya ditandai dengan penggunaan entitas-entitas yang umum seperti PER ( nama orang ) , LOC ( nama tempat / lokasi ) , dan ORG ( nama organisasi ) tanpa adanya tujuan khusus untuk kebutuhan apa entitas-entitas tersebut dipilih. Penelitian terkait penerapan NER berbahasa Indonesia pada cakupan domain spesifik tertentu terbilang cukup jarang ditemukan. Padahal , banyak penerapan NER yang bisa dilakukan pada cakupan domain spesifik tertentu seperti penerapan NER untuk mengekstrak informasi rekomendasi diet [ 11 ] , penerapan NER pada bidang biomedis [ 12 ] , penerapan NER untuk cyber security [ 13 ] , hingga penerapan NER pada bidang agrikultura [ 14 ] Di sisi lain , di tengah kondisi ancaman bahaya narkoba yang mengkhawatirkan di Indonesia , masih terdapat permasalahan terkait ketersediaan data narkoba oleh BNN yang tidak up-to- date serta periode waktu publikasi laporan kasus narkoba yang relatif lama ( satu tahun ) . Hal tersebut juga menjadi landasan dilakukannya penelitian ini. BNN sebagai salah satu lembaga negara yang berperan penting dalam melakukan pencegahan penyalahgunaan narkoba di Indonesia sudah seharusnya mampu menyediakan informasi yang mudah diakses oleh masyarakat secara up-to-date karena peran masyarakat itu sendiri dalam mencegah penyalahgunaan narkoba juga sangat penting. Ketersediaan informasi terkait kasus narkoba yang up-to- date dan mudah diakses oleh seluruh masyarakat , setidaknya dapat memberikan wawasan yang lebih luas lagi bagi masyarakat sekaligus sebagai salah satu bentuk kewaspadaan dini untuk mencegah masyarakat agar tidak terjerumus ke dalam kasus narkoba. Terlebih lagi , bila data yang tersedia dapat disajikan hingga kurun waktu bulanan , maka tidak hanya masyarakat umum yang mendapatkan keuntungan dari hal tersebut , melainkan juga bagi para peneliti , pengamat , maupun akademisi yang dapat memanfaatkan data tersebut untuk berbagai kepentingan penelitian serta analisis terkait kasus narkoba yang ada di Indonesia. Harapannya , dengan semakin banyaknya penelitian-penelitian terkait kasus narkoba di Indonesia serta dengan menggunakan data yang lebih lengkap dan up-to-date , hal tersebut mampu secara tidak langsung memberikan kontribusi terkait masukan-masukan bagi pemerintah untuk mengambil tindakan-tindakan preventif dalam mencegah bahkan memutus mata rantai kasus narkoba di Indonesia. Untuk memperbaiki celah permasalahan yang telah dipaparkan sebelumnya , berita online nampaknya dapat 1 / 8 menjadi salah satu alternatif untuk memperoleh berbagai informasi terkait kasus narkoba yang ada di Indonesia. Terlebih lagi , ketersediaan informasi terkait kasus narkoba pada berita online relatif mudah untuk ditemukan dan pada umumnya informasi yang dimuat pada berita online merupakan informasi yang up-to-date serta aktual. Hal tersebut dapat menjadi suatu landasan untuk menjadikan berita online sebagai sumber data dalam memperoleh informasi-informasi terkait kasus narkoba di Indonesia. Berita online pada dasarnya merupakan suatu teks yang dapat dikategorikan sebagai sumber tidak terstruktur. NER merupakan salah satu bagian pada NLP yang dalam penerapannya selalu menggunakan sumber tidak struktur seperti teks sebagai sumber datanya [ 15 ] . Pada penelitian ini , berbagai informasi terkait kasus narkoba di Indonesia tidak serta merta dapat secara langsung diperoleh begitu saja dari suatu teks berita online. Perlu adanya suatu alat yang dapat mengekstrak entitas-entitas yang memuat informasi terkait dengan kasus narkoba yang berasal dari sumber data berupa teks berita tersebut. Oleh karena itu , model NER dapat dijadikan sebagai alat untuk mengekstrak entitas-entitas yang diperlukan pada penelitian ini. Dari berbagai metode NER yang ada saat ini , deep learning NER secara signifikan mampu menghasilkan performa yang lebih baik dibandingkan dengan metode NER terdahulunya seperti rule-based NER dan machine learning NER [ 16 ] . Arsitektur model dari deep learning NER juga cukup beragam. Namun , dari sekian banyak arsitektur model dari deep learning NER , penelitian [ 8 ] menyatakan bahwa arsitektur model CNNs-LSTM NER mampu menghasilkan performa yang baik dengan membutuhkan waktu komputasi yang relatif lebih singkat. Selain itu , penggunaan framework dalam membangun model NER dapat membantu proses pembangunan model seperti pada framework Flair yang sudah menyediakan arsitektur model Bi-LSTMs-CRF NER yang merujuk pada penelitian [ 7 ] . Berdasarkan ini memanfaatkan pemodelan NER untuk mengekstrak data kasus narkoba yang berasal dari berita online di Indonesia. Arsitektur model NER yang digunakan pada penelitian ini adalah model deep learning NER dengan arsitektur CNNs-LSTM yang mengacu pada penelitian [ 8 ] . Selain itu , penelitian ini juga memanfaatkan framework Flair untuk membangun model NER baseline sebagai pembandingnya. Arsitektur model yang digunakan pada model NER baseline adalah model deep learning NER dengan menggunakan arsitektur Bi-LSTMs- CRF yang merujuk pada penelitian [ 7 ] . penjelasan penelitian tersebut , II. TUJUAN PENELITIAN Tujuan pada penelitian ini diuraikan ke dalam tiga poin sebagai berikut : 1. Memanfaatkan situs berita online untuk dijadikan sebagai sumber data dalam memperoleh informasi terkait kasus narkoba di Indonesia. 2. Membangun model utama CNNs-LSTM NER untuk mengekstrak entitas data kasus narkoba pada teks berita online di Indonesia. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 3. Membandingkan performa hasil ekstraksi entitas data kasus narkoba dari model CNNs-LSTM NER ( NER utama ) yang telah dibangun dengan model Bi-LSTM- CRF NER ( NER pembanding / baseline ) . III. PENELITIAN TERKAIT Penjelasan penelitian terkait secara singkat dapat dilihat pada Tabel I. Beberapa penelitian terkait yang dijelaskan pada tabel tersebut digunakan sebagai acuan dasar dalam melakukan pemodelan NER pada penelitian ini. Dataset yang digunakan pada penelitian ini adalah berupa teks berita terkait kasus narkoba yang berasal dari salah satu situs berita online di Indonesia , yaitu Okezone. Pelabelan pada penelitian ini dilakukan secara manual. Model utama pada penelitian ini adalah model NER dengan arsitektur CNNs-LSTM. Arsitektur model tersebut dipilih karena memiliki keunggulan dari segi waktu komputasi yang lebih singkat dan dapat menghasilkan performa yang sama baiknya bila dibandingkan dengan model lain [ 8 ] . Hyperparameters tuning hanya dilakukan pada model utama dengan memodifikasi beberapa hyperparameter seperti besaran nilai learning rate , jenis optimizer , dan jumlah dropout layer pada model. Selain itu , penelitian ini juga melakukan pemodelan NER lain dengan menggunakan arsitektur Bi- LSTMs-CRF yang digunakan sebagai model baseline. Model tersebut dipilih karena performa yang dihasilkan mampu melebihi model NER yang menggunakan informasi eksternal tambahan pada pemodelannya. Selain itu , pemodelan NER dengan arsitektur Bi-LSTMs-CRF dapat dengan mudah [ 17 ] . diimplementasikan menggunakan Hyperparameters tuning tidak dilakukan pada model baseline tersebut. framework Flair Penelitian [ 8 ] [ 7 ] [ 10 ] TABEL I PENELITIAN TERKAIT Tertulis • Penelitian ini membangun model CNNs-LSTM NER • CNN yang digunakan pada bagian character-level encoder dan word-level encoder dapat mempersingkat waktu komputasi saat pemodelan NER • LSTM dapat menghasilkan performa yang sedikit lebih baik dibandingkan dengan CRF pada bagian tag decoding saat digunakan dengan CNN • Menggunakan metode active learning • Menghasilkan performa yang sama baiknya dibandingkan dengan model lain • Penelitian ini membangun model Bi-LSTMs-CRF NER dan Stacked LSTM NER tanpa menggunakan informasi eksternal tambahan pada pemodelannya ( POS tags , gazetteers , chunks tags , dll. ) • Performa Bi-LSTMs-CRF NER melebihi performa model lain yang menggunakan informasi tambahan pada pemodelannya • Penggunaan pretrained word embedding ( signifikan ) , character-level encoder , dan dropout mampu meningkatkan performa NER • Menggunakan dataset dari situs berita online ( Detik , Kompas , dan Media Indonesia ) untuk pemodelannya • Menggunakan metode machine learning ( Naive Bayes , SVM , dan simple logistic ) • Rata-rata performa ( F1-score ) yang dihasilkan masih di bawah 50 % 2 / 8 [ 4 ] • Membangun model Bi-LSTM-CRF ( disertai CNN pada bagian word embedding ) • Melakukan hyperparameters tuning untuk mendapatkan model terbaik • Hyperparameter dari model terbaik diantaranya epoch=10 , bactch size sebesar 10 atau 32 , fungsi aktifasi tanh pada bagian CNN , fungsi aktifasi softplus pada bagian Bi-LSTM , Nadam sebagai optimizer , dropout=0,2 • F1-score yang dihasilkan adalah sebesar 76,65 % IV. METODE PENELITIAN A. Pengumpulan Data Penelitian diawali dengan pengumpulan data dengan melakukan scraping pada salah satu situs berita online di Indonesia , yaitu Okezone. Situs berita tersebut terpilih karena memiliki jumlah artikel berita yang cukup banyak terkait dengan kasus narkoba di Indonesia.Data teks berita yang diambil merupakan teks berita terkait kasus narkoba. Elemen artikel berita yang diambil pada proses scraping diantaranya adalah judul artikel , link artikel , tanggal rilis artikel , dan isi teks berita artikel tersebut. B. Pengolahan Data Bagian ini diawali dengan melakukan filtering secara manual pada artikel yang sudah dikumpulkan. Artikel yang tidak berkaitan dalam kasus narkoba tidak dimasukan ke dalam dataset penelitian. Selain itu , beberapa artikel dengan konten serupa satu sama lain hanya diambil salah satunya saja. Selanjutnya dengan menghilangkan karakter-karakter yang tidak diperlukan serta menghapus spasi yang berlebihan. Selain itu , semua karakter pada teks dijadikan huruf kecil. dibersihkan berita data teks Proses selanjutnya adalah tokenisasi yang merupakan proses pemisahan teks ke dalam unit-unit kecil yang disebut token. Entitas yang digunakan pada penelitian ini diantaranya adalah SUS ( tersangka ) , DATE ( tanggal ) , NAR ( jenis barang bukti narkoba ) , UNIT ( satuan barang bukti narkoba ) , LOC ( lokasi berupa kota dan provinsi tempat tersangka tertangkap ) , CASE ( jumlah kasus ) , MISC ( miscellaneous ) , dan O ( bukan entitas ) . Pelabelan dilakukan dengan menggunakan skema BIO ( Begin Inside Other ) . Kemudian , sebanyak 80 % bagian dari dataset akan menjadi data training , 10 % bagian lainnya digunakan pada proses validasi , dan 10 % sisanya menjadi data testing. C. Word Embedding [ 19 ] , dan FastText Word embedding merupakan representasi dari suatu kata ke dalam sebuah bentuk vektor. Beberapa contoh jenis word embedding yang umum digunakan saat ini adalah Word2Vec ini [ 18 ] , GloVe menggunakan pretrained word embedding FastText. FastText dipilih karena model NER yang menggunakan pretrained word embedding memiliki performa yang lebih bagus dibandingkan dengan word embedding biasa [ 7 ] . Model NER pada [ 5 ] memberikan performa yang jauh lebih baik saat menggunakan FastText sebagai word embedding-nya bila dibandingkan dengan menggunakan Word2Vec dan GloVe. Selain itu , [ 20 ] . Penelitian Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik FastText sudah menyediakan word embedding untuk korpus bahasa Indonesia. D. Pemodelan NER Pemodelan NER yang dilakukan baik pada model utama maupun model baseline masing-masing terdiri dari tiga bagian [ 8 ] , yaitu character-level encoder , word-level encoder , dan tag decoder. Pada bagian character-level encoder dan word-level encoder , Model NER utama menggunakan arsitektur CNN , sedangkan model baseline menggunakan arsitektur Bi-LSTM. Sedangkan , Pada bagian tag decoder , Model NER utama menggunakan arsitektur LSTM , sedangkan model baseline menggunakan CRF. Hyperparameters tuning model NER utama dilakukan pada jenis optimizer ( Adam dan Nadam ) , besaran nilai learning rate , dan jumlah dropout layer ( 2 dan 4 ) dengan pada model. Kedua menggunakan nilai epoch sebesar 25. Model NER utama dibangun dengan menggunakan modul Keras , sedangkan model baseline dibangun dengan menggunakan framework Flair. pemodelan dilakukan Input data yang digunakan untuk pemodelan NER utama diantaranya adalah representasi tiap token dalam bentuk vektor yang merupakan hasil pada tahapan word embedding , representasi karakter-karakter penyusun token untuk setiap tokennya dalam bentuk indeks karakter , dan informasi label untuk setiap tokennya yang direpresentasikan dalam bentuk indeks label. Sedangkan , input data yang digunakan untuk pemodelan NER baseline hanya terdiri dari keseluruhan token beserta dengan labelnya saja. E. Convolutional Neural Network ( CNN ) CNN merupakan jenis arsitektur pada deep learning yang sering digunakan pada penerapan klasifikasi citra visual seperti gambar. CNN hadir sebagai sebuah solusi dari keterbatasan Artificial Neural Network ( ANN ) dalam memproses data berupa citra visual [ 21 ] . Arsitektur CNN dapat memungkinkan untuk melakukan ekstraksi fitur atau karakteristik tertentu dari suatu gambar. CNN terdiri dari input layer , output layer , dan hidden terdiri dari beberapa layers convolutional layers dan pooling layers. CNN pada NER mampu mengekstrak karakteristik informasi tertentu pada tingkatan kata maupun karakter yang menyusun kata tersebut [ 9 ] . layers. Hidden F. LSTM dan Bi-LSTM Long Short Term Memory ( LSTM ) merupakan salah satu varian dari Recurent Neural Network ( RNN ) yang mampu mengatasi permasalahan vanishing / exploding gradient pada RNN [ 16 ] . Perbedaannya dengan RNN adalah hidden layer yang sebelumnya digunakan pada RNN digantikan dengan unit khusus yang terdiri dari beberapa komponen , yaitu input gate ( 𝑖𝑡 ) , output gate ( 𝑜𝑡 ) , forget gate ( 𝑓𝑡 ) , memory cell ( 𝑐𝑡 ) , dan hidden vectors ( 𝑦𝑡 ) [ 11 ] . 𝑖𝑡 = 𝜎 ( 𝑊𝑖𝑥𝑥𝑡 + 𝑊𝑖𝑦𝑦𝑡−1 + 𝑊𝑖𝑐𝑐𝑡−1 + 𝑏𝑖 ) 𝑧𝑡 = 𝑔 ( 𝑊𝑧𝑥𝑥𝑡 + 𝑊𝑧𝑦𝑦𝑡−1 + 𝑏𝑧 ) ( 1 ) ( 2 ) 3 / 8 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik • Flase Positives ( FP ) merupakan banyaknya hasil ketika model tidak tepat memprediksi suatu entitas. • False Negatives ( FN ) merupakan banyaknya hasil ketika model tidak tepat memprediksi sesuatu yang bukan bagian dari entitas. • True Positives merupakan banyaknya hasil ketika model dengan tepat mampu memprediksi suatu entitas. 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑃 ) 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑁 ) 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2 × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 V. KERANGKA PIKIR ( 12 ) ( 13 ) ( 14 ) Kerangka pikir pada penelitian ini dapat dilihat pada Gambar 1. Penelitian ini berangkat dari permasalahan mengenai penerapan NER berbahasa Indonesia pada domain tertentu yang masih belum banyak dilakukan. Selain itu , masalah ketersediaan data kasus narkoba BNN yang belum up-to-date juga memberikan celah bagi penelitian ini untuk memanfaatkan penerapan NER pada domain kasus narkoba. Atas dasar tersebut , penelitian ini bertujuan untuk membangun suatu model NER yang dapat digunakan untuk melakukan ekstraksi entitas data kasus narkoba dari berita online di Indonesia. suatu model NER yang telah dibangun memerlukan model pembanding untuk melihat apakah model utamanya memiliki performa yang baik sehingga penelitian ini juga membangun model NER baseline sebagai pembanding. Metode yang digunakan tetap mengikuti metode pemodelan NER yang umum dilakukan pada penelitian terkait NER lainnya. 𝑓𝑡 = 𝜎 ( 𝑊𝑓𝑥𝑥𝑡 + 𝑊𝑓𝑦𝑦𝑡−1 + 𝑊𝑓𝑐𝑐𝑡−1 + 𝑏𝑓 ) 𝑐𝑡 = 𝑧𝑡 ⊙ 𝑖𝑡 + 𝑐𝑡−1 ⊙ 𝑓𝑡 𝑜𝑡 = 𝜎 ( 𝑊𝑜𝑥𝑥𝑡 + 𝑊𝑜𝑦𝑦𝑡−1 + 𝑊𝑜𝑐𝑐𝑡 + 𝑏𝑜 ) 𝑦𝑡 = ℎ ( 𝑐𝑡 ) ⊙ 𝑜𝑡 ( 3 ) ( 4 ) ( 5 ) ( 6 ) Bidirectional LSTM merupakan penggabungan dua metode LSTM dengan arah yang saling berlawanan dengan mengakses dari konteks lampau menuju waktu yang akan datang dan juga mengakses konteks dari waktu yang akan datang menuju lampau [ 22 ] . Pada penerapannya dalam NER konteks representasi output oleh model Bi-LSTM merupakan gabungan dari hasil perhitungan dari kedua arah konteks tersebut [ 7 ] . G. Conditional Random Field ( CRF ) CRF merupakan bentuk model graph yang tidak berarah yang mendefinisikan distraibusi log-linier tunggal atas runtutan label dari runtutan observasi tertentu. Runtutan observasi tertentu dalam konteks penelitian ini adalah runtutan token- token pada suatu teks. CRF merupakan bagian dari Probabilistic Graphical Model ( PGM ) yang mana PGM itu sendiri merupakan suatu teori yang mengkombinasikan probabilitas dengan model graph [ 23 ] . Pada PGM , CRF termasuk ke dalam jenis discriminative models yang pada penerapannya pada NLP mampu mengatasi data inputan yang cukup besar dan ketergantungan antar elemen-elemen data yang kompleks. 𝑿 = ( 𝑥1 , 𝑥2 , … , 𝑥𝑛 ) ; 𝒚 = ( 𝑦1 , 𝑦2 , … , 𝑦𝑛 ) ( 7 ) Penelitian [ 7 ] menjelaskan cara kerja model CRF pada pemodelan deep neural NER secara ringkas Untuk runtutan nilai input ( 𝑿 ) , diberikan matriks 𝑷 yang merupakan output dari layer LSTM yang bersesuaian dengan urutan data inputnya. Matriks 𝑷 berukuran 𝑛 × 𝑘 , dimana ( 𝑘 ) merupakan jumlah banyaknya label yang berbeda satu sama lain dan nilai 𝑃𝑖 , 𝑗 merupakan nilai dari label ke-𝑗 untuk token ke-𝑖 pada suatu kalimat. Rumus perhitungan nilainya adalah sebagai berikut : 𝑠 ( 𝑿 , 𝒚 ) = ∑ 𝐴𝑦𝑖 , 𝑦𝑖+1 + ∑ 𝑃𝑖 , 𝑦𝑖 𝑛 𝑖=1 𝑛 𝑖=0 𝑝 ( 𝒚|𝑿 ) = 𝑒𝑠 ( 𝑿 , 𝒚 ) ∑ 𝒚̃∈𝒀𝑿 𝑒𝑠 ( 𝑿 , 𝒚̃ ) log ( 𝑝 ( 𝒚|𝑿 ) ) = 𝑠 ( 𝑿 , 𝒚 ) − log ( ∑ 𝑒 𝑠 ( 𝑿 , 𝒚̃ ) ) 𝒚̃∈𝒀𝑿 ( 8 ) ( 9 ) ( 10 ) Label terpilih merupakan label dengan nilai score yang paling besar yang ditunjukan dengan persamaan berikut : 𝒚∗ = argmax 𝑠 ( 𝑿 , 𝒚̃ ) 𝒚̃∈𝒀𝑿 ( 11 ) H. Evaluasi Model Evaluasi model NER pada umumnya dilakukan dengan menghitug nilai precision , recall , dan F1-score [ 24 ] . Ketiga nilai tersebut didapatkan dengan terlebih dahulu menghitung jumlah False Positives ( FP ) , False Negatives ( FN ) , dan True Positives ( TP ) . Gambar 1. Kerangka Pikir Penelitian VI. HASIL DAN PEMBAHASAN A. Hasil Pengumpulan Data Berita Online Pengumpulan data dilakukan dengan melakukan scraping pada salah satu situs berita online di Indonesia , yaitu Okezone. Data teks berita yang diambil merupakan teks berita terkait kasus narkoba. Artikel yang diambil merupakan keseluruhan hasil pencarian artikel mulai dari artikel dengan tanggal rilis paling awal hingga artikel dengan tanggal rilis pada 15 November 2021. Proses scraping ini dilakukan dengan menggunakan modul Selenium dengan bahasa pemrograman Python yang dijalankan pada google colaboratory. 4 / 8 Langkah pertama pada penelitian ini adalah melakukan pencarian artikel berita terkait pada situs berita online Okezone dengan kata kunci “Kasus penangkapan narkoba”. Sebelum melakukan scraping , struktur HTML dari halaman tersebut perlu dipahami terlebih dahulu. Selain pada halaman hasil pencarian , identifikasi struktur HTML juga dilakukan pada halaman yang berisi konten dari berita terkait hasil pencarian. Elemen pertama yang dikumpulkan adalah seluruh link , tanggal rilis , serta judul dari artikel berita hasil pencarian terkait. Seluruh elemen yang telah diambil kemudian disimpan terlebih dahulu dalam bentuk file dengan format csv. Seluruh link yang telah tersimpan digunakan untuk kemudian dikunjungi satu- persatu secara otomatis dengan menggunakan modul Selenium dan dilakukan proses scraping terhadap isi / konten berita untuk setiap link-nya. konten berita tersebut kemudian disimpan pada file yang sama tempat elemen-elemen sebelumnya disimpan. Total jumlah artikel berita yang berhasil dikumpulkan adalah sebanyak 3.379 artikel berita. B. Hasil Pengolahan Data Pengolahan data yang pertama adalah filtering. Proses filtering dilakukan secara manual dengan melakukan analisis terhadap isi / konten dari artikel berita yang bersangkutan. Artikel yang memiliki konten yang berkaitan dengan kasus narkoba akan tetap disimpan untuk digunakan sebagai dataset penelitian. Sedangkan , artikel berita yang tidak berkaitan dengan kasus narkoba tidak dimasukan ke dalam dataset penelitian. Artikel berita yang termasuk ke dalam bagian dari dataset penelitian adalah artikel yang memberikan informasi terkait kasus penangkapan pelaku penyalahguna narkoba serta memuat informasi terkait entitas-entitas lainnya dan artikel yang berisi informasi terkait akumulasi jumlah kasus narkoba yang terjadi di daerah tertentu dan pada waktu tertentu. Artikel- artikel dengan konten serupa juga hanya diambil salah satunya saja. Terdapat sebanyak 1.411 artikel yang terpilih untuk digunakan sebagai dataset penelitian ini. Selain filtering , pada tahap pengolahan data juga dilakukan proses cleaning dan tokenization. Proses cleaning dilakukan dengan menghilangkan whitespace serta karakter-karakter yang tidak diperlukan pada data teks artikel berita. Selain itu , semua huruf pada teks diganti menjadi huruf kecil. Adapun , proses tokenization dilakukan dengan memecah teks ke dalam unit-unit kecil yang dinamakan token. Dari sebanyak 1.411 artikel yang terpilih pada tahap filtering , didapatkan total token sebanyak 421.634 token. Tahap pengolahan data yang terakhir adalah proses pelabelan data untuk setiap token yang digunakan pada dataset penelitian. Proses pelabelan dilakukan secara manual. Skema pelabelan yang digunakan adalah skema BIO ( Begin Inside Other ) dengan kategori label pada penelitian ini diantaranya adalah B-SUS , I-SUS , B-DATE , I-DATE , B-LOC , I-LOC , B- NAR , I-NAR , B-UNIT , I-UNIT , B-CASE , I-CASE , B-MISC , I-MISC , dan O. Setelah melakukan pelabelan pada keseluruhan token , terdapat sebanyak 45.348 token yang termasuk ke dalam enttias utama dan sisanya sebanyak 376.286 token tidak termasuk ke dalam entitas utama ( other ) . Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik C. Pembangunan Arsitektur CNNs-LSTM NER ( NER Utama ) Pemodelan NER utama dilaukan dengan menggunakan modul Keras yang dijalankan pada google colaboratory. Langkah pertama yang dilakukan adalah dengan mengunduh model FasText untuk korpus berbahasa Indonesia yang digunakan sebagai word embedding. Dimensi dari word vector yang digunakan adalah sebesar 300. Angka ini digunakan karena penelitian oleh [ 5 ] yang menggunkan FastText sebagai salah satu word embedding pada eksperimennya juga menggunakan dimensi word vektor sebesar 300. Hal lain yang perlu dipersiapkan sebelum melakukan proses training pada model adalah data input untuk pemodelannya. Input data untuk pemodelan diantaranya adalah representasi tiap token dalam bentuk vektor yang merupakan hasil pada tahapan word embedding , representasi karakter-karakter penyusun token untuk setiap tokennya dalam bentuk indeks karakter , dan informasi label untuk setiap tokennya yang direpresentasikan dalam bentuk indeks label. Gambar 2. Character-level Encoder NER Utama Pemodelan NER yang dilakukan pada model utama terdiri dari tiga bagian sesuai dengan yang dilakukan pada penelitian [ 8 ] , yaitu character-level encoder , word-level encoder , dan tag decoder. Pada bagian character-level encoder , Model NER utama menggunakan arsitektur CNN. Secara umum , arsitektur model NER utama untuk bagian character-level encoder dapat dilihat pada Gambar 2. Secara umum , arsitektur pada bagian ini hampir sama dengan arsitektur bagian character-level encoder pada penelitian [ 8 ] . Bagian character-level encoder diawali dengan melakukan embedding pada data berupa karakter-karakter penyususn token dengan menggunakan distribusi uniform dengan nilai untuk setiap elemen pada vektornya berada pada interval -0,5 sampai 0,5 sesuai dengan yang dilakukan pada penelitian [ 6 ] . Setelah itu , hasil perhitungannya masuk ke dalam dua convolutional layer. Masing-masing convolutional layer menggunakan filters sebanyak 50 , kernel width sebesar 3 , strides sebesar 1 , dan jenis aktivasi ReLU sesuai dengan penelitian [ 8 ] . Terdapat dropout layer di antara kedua convolutional layer dengan menggunakan nilai droput rate sebesar 0,5. Setelah melalui bagian convolutional layer , vektor-vektor yang dihasilkan kemudian dimasukan ke dalam max pooling layer untuk dipilih salah satu dari sekian banyak vektor yang dihasilkan dan kemudian 5 / 8 digabungkna dengan word vektor yang merupakan hasil word embedding sebelumnya. Bagian selanjutnya adalah bagian word-level encoder. Bila ditinjau dari arsitekturnya pada Gambar 3 , bagian ini hampir serupa dengan arsitektur pada bagian sebelumnya. Hanya saja , bagian ini tidak memiliki max pooling layer dan terdapat perbedaan pada tahap penggabungan vektor di bagian akhirnya. Arsitektur pada bagian ini juga mengacu pada penelitian [ 8 ] . Bagian word-level encoder ini terdiri dari dua convolutional layer disertai dengan dropout layer di antara kedua convolutional layer tersebut. Masing-masing convolutional layer menggunakan filters sebanyak 800 , kernel width sebesar 5 , strides sebesar 1 , dan jenis aktivasi ReLU sesuai dengan yang dilakukan pada penelitian [ 8 ] . Hasil perhitungan pada convolutional layer digabungkan dengan vektor input pada bagian ini. Gambar 3. Word-level Encoder NER Utama Bagian terakhir dalam melakukan pembangunan model NER uatama adalah bagian tag decoder. Arsitektur yang digunakan pada bagian ini adalah arsitektur LSTM seperti pada Gambar 4 yang juga mengacu pada penelitian [ 8 ] . Tidak ada perbedaan arsitektur untuk bagian tag decoder antara penelitian ini dengan penelitian [ 8 ] . Bagian ini terdiri dari satu layer LSTM dan dense layer pada bagian akhirnya. Layer LSTM menggunakan nilai units sebesar 250 ( dimensi dari vektor yang dihasilkan adalah 250 ) yang mendekati nilai units yang digunakan untuk layer LSTM pada penelitian [ 6 ] dengan nilai sebesar 275. Nilai parameter lainnya ditentukan sesuai dengan yang dilakukan pada penelitian [ 8 ] yang diantaranya adalah jenis aktivasi sigmoid pada bagian recurrent , jenis aktivasi tanh untuk bagian output , dropout rate pada bagian input sebesar 0,5 , dan dropout rate untuk bagian recurrent sebesar 0,25. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Gambar 4. Tag Decoder NER Utama Output dari layer LSTM kemudian dimasukan ke dalam fungsi aktivasi softmax. Aktivasi dengan menggunakan softmax menghasilkan nilai berupa probabilitas untuk setiap elemen pada vektor output-nya. Jika seluruh nilai probabilitas dari tersebut dijumlahkan , hasil yang semua elemen vektor didapatkan akan bernilai satu sehingga elemen dari vektor output pada indeks ke-i yang memiliki nilai probabilitas tertinggi menandakan bahwa hasil prediksi oleh model merupakan kategori label yang memiliki nilai indeks senilai i. D. Hyperparameters Tuning Hyperparameters tuning model NER utama dilakukan pada jenis optimizer , besaran nilai learning rate , dan jumlah dropout layer pada model. Untuk jenis optimizer , Adam dipilih karena penelitian [ 8 ] menggunakan optimizer ini pada pemodelannya. Sedangkan untuk Nadam , jenis optimizer tersebut dipilih karena pada penelitian yang dilakukan oleh [ 4 ] yang juga melakukan hyperparameters tuning pada jenis optimizer-nya mampu menghasilkan performa model NER terbaik menggunakan Nadam dibandingkan dengan penggunaan optimizer lainnya pada penelitian tersebut. Untuk nilai learning rate , Angka sebesar 0,001 dipilih karena penelitian [ 8 ] menggunakan besaran learning rate sebesar nilai tersebut. Sedangkan , nilai 0,002 dipilih karena nilai tersebut merupakan nilai learning rate terbaik untuk optimizer Adam atau Nadam berdasarkan penelitian [ 25 ] . Penambahan jumlah dropout layer layer dilakukan mengingat salah satu sebanyak empat kegunaan dari dropout layer adalah mengurangi overfitting pada model [ 26 ] . layer E. Training dan Validation Model NER Utama Proses training dilakukan terhadap delapan model yang merupakan seluruh kemungkinan model dengan kombinasi- kombinasi dari berbagai kemungkinan opsi hyperparameters yang digunakan pada model-model tersebut. Nilai epochs yang digunakan dalam melakukan training adalah sebesar 25 karena pada penelitian [ 4 ] yang menggunakan nilai epochs mencapai sebesar 50 tidak menunjukan peningkatan performa NER setelah iterasi ke-20 dan seterusnya. Sesuai dengan pernyataan tersebut , [ 6 ] juga menyatakan bahwa proses training model NER yang dilakukan dengan menggunakan nilai epochs lebih dari 18 menyebabkan terjadinya penurunan performa pengembangan model akibat terjadinya overfitting. sparse adalah Pada setiap iterasinya , hal pertama yang dilakukan adalah membagi dataset training ke dalam sejumlah batch berdasarkan panjang data untuk tiap-tiap teks pada data training. Jenis loss function yang digunakan categorical crossentropy karena jenis ini umum digunakan pada modul Keras saat jenis data output-nya merupakan data berkategori. Selain nilai loss function , nilai precision , recall , dan F1-score juga dihitung untuk proses training-nya. Validation juga dilakukan dengan menghitung nilai precision , recall , dan F1- score dan dengan menggunakan dataset validation. Nilai-nilai metrics pada tahap validation digunakan untuk menentukan model terbaik pada jenis model tertentu untuk keseluruhan iterasi pemodelannya. Pemodelan pada iterasi tertentu yang 6 / 8 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik mampu menghasilkan nilai F1-score tertinggi pada tahap validation akan menjadi representasi model terbaik dari hasil pemodelan untuk jenis model tertentu. F. Hasil Pemodelan CNNs-LSTM NER ( NER Utama ) Gambar 5. Tabel hasil testing model NER utama tidak Gambar 5 menunjukan hasil testing yang dilakukan terhadap kedelapan model yang telah dibangun dengan menggunakan opsi hyperparameters yang berbeda-beda. Hasil tersebut menunjukan performa yang jauh berbeda antara keseluruhan model yang telah dibangun. Bahkan , selisih antara model dengan performa atau nilai F1-score terbaik dan paling rendah hanya sebesar 0,81 % saja. Namun dari hasil tersebut , model terpilih sebagai representasi model NER utama adalah model yang menggunakan hyperparameter yang diantaranya adalah nilai learning rate sebesar 0,001 , dropout layer sebanyak empat , dan jenis optimizer Adam dengan menghasilkan performa nilai F1-score sebesar 82,54 % . G. Evaluasi Model NER Utama dan Model NER Baseline Berdasarkan hasil performa yang ditunjukan pada Tabel II , model NER utama mampu melebihi performa dari model NER baseline secara signifikan dengan nilai F1-score masing- masing adalah sebesar 82,54 % untuk model NER utama dan 69,67 % untuk model NER baseline. TABEL II PERFORMA NER PADA DATA TESTING Precision 76,37 % Recall 64,04 % Jenis model NER baseline F1-score 69,67 % NER utama 80,73 % 84,44 % 82,54 % Selain melihat performa model secara umum , performa model NER juga dapat dilihat pada tingkat entitasnya. Gambar 6 merupakan performa model NER utama pada tingkatan entitasnya. Terlihat bahwa model NER utama mampu memprediksi entitas UNIT dan CASE dengan performa paling baik diantara hasil prediksi terhadap semua jenis entitas dengan nilai F1-score yang dihasilkan mencapai angka 86 % . Sedangkan performa terendah mdoel NER utama dalam melakukan prediksi terhadap entitas adalah pada entitas LOC dengan memperoleh nilai F1-score yang hanya mencapai angka 81 % . Gambar 6. Tabel performa model NER utama ( tingkat entitas ) Hasil performa model NER baseline pada tingkatan entitasnya juga dapat dilihat pada Gambar 7. Secara sekilas , sangat terlihat bahwa model NER baseline gagal dalam melakukan prediksi terhadap entitas CASE karena performa yang dihasilkan pada entitas tersebut adalah sebesar 0 % . Performa hasil prediksi yang rendah juga ditunjukan pada entitas MISC yang hanya menghasilkan performa sebesar 6,39 % . Adapun , performa tertinggi yang dihasilkan adalah pada entitas NAR dengan menghasilkan performa sebesar 90,66 % . Gambar 7. Tabel performa model NER baseline ( tingkat entitas ) VII. PENUTUP Berdasarkan hasil pemaparan dan hasil pembahasan di atas , dapat disimpulkan bahwa sumber berita online terkait kasus narkoba di Indonesia telah berhasil dikumpulkan dengan menggunakan metode web scraping untuk digunakan sebagai sumber dalam memperoleh informasi terkait kasus narkoba di Indonesia. Situs berita online yang digunakan adalah situs Okezone. Selain itu , model CNNs-LSTM NER ( NER utama ) telah dengan melakukan hyperparameters tuning pada proses pemodelannya. Model Bi- LSTMs-CRF NER ( NER baseline ) yang dibangun dengan menggunakan framework Flair hanya mampu menghasilkan performa NER dengan nilai F1-score sebesar 69,67 % . Performa tersebut jauh berada di bawah dari performa yang dihasilkan oleh model NER utama , yaitu sebesar 82,54 % . Dengan demikian , performa model NER utama mampu melebihi performa model NER baseline secara signifikan. dibangun berhasil dan Berdasarkan kesimpulan dari hasil penelitian ini , maka saran yang dapat diajukan oleh penulis diantaranya adalah menambah situs berita online yang digunakan sebagai sumber data , penggunaan metode easy data augmentation pada dataset dengan harapan model yang dihasilakan menjadi lebih general , 7 / 8 tahapan filtering secara otomatis pada pengembangan model selanjutnya , penambahan opsi pada bagian hyperparameters tuning , melakukan penelitian lebih lanjut sehingga dapat menghasilkan data-data kasus narkoba yang layak untuk dipublikasikan , dan mempertimbangkan kelengkapan serta kualitas dari informasi-informasi terkait kasus narkoba di Indonesia yang tersedia di berbagai sumber situs berita online. DAFTAR PUSTAKA [ 1 ] R. Alfred , L. C. Leong , C. K. On , and P. Anthony , “Malay Named Entity Recognition Based on Rule-Based Approach , ” Int. J. Mach. Learn. Jun. 2014 , doi : Comput. , vol. 4 , no. 3 , pp. 300–306 , 10.7763 / IJMLC.2014.V4.428. [ 2 ] G. Popovski , S. Kochev , B. Seljak , and T. Eftimov , “FoodIE : A Rule- based Named-entity Recognition Method Information Extraction : ,” in Proceedings of the 8th International Conference on Pattern Recognition Applications and Methods , Prague , Czech Republic , 2019 , pp. 915–922. doi : 10.5220 / 0007686309150922. for Food [ 3 ] K. Riaz , “Rule-Based Named Entity Recognition in Urdu , ” in Proceedings of the 2010 Named Entities Workshop , Uppsala , Sweden , Jul. 2010 , pp. 126–135. Accessed : Apr. [ Online ] . Available : 20 , https : / / aclanthology.org / W10-2419 2022. [ 4 ] D. Awad , C. Sabty , M. Elmahdy , and S. Abdennadher , “Arabic Name Entity Recognition Using Deep Learning , ” in Statistical Language and Speech Processing , vol. 11171 , T. Dutoit , C. Martín-Vide , and G. Pironkov , Eds. Cham : Springer International Publishing , 2018 , pp. 105–116. doi : 10.1007 / 978-3-030-00810-9_10. [ 5 ] D. C. Wintaka , M. A. Bijaksana , and I. Asror , “Named-Entity Recognition on Indonesian Tweets using Bidirectional LSTM-CRF , ” Procedia Comput. Sci. , vol. 157 , pp. 221–228 , 2019 , doi : 10.1016 / j.procs.2019.08.161. [ 6 ] J. P. C. Chiu and E. Nichols , “Named Entity Recognition with Bidirectional LSTM-CNNs , ” Trans. Assoc. Comput. Linguist. , vol. 4 , pp. 357–370 , Dec. 2016 , doi : 10.1162 / tacl_a_00104. [ 7 ] G. Lample , M. Ballesteros , S. Subramanian , K. Kawakami , and C. Dyer , “Neural Architectures for Named Entity Recognition , ” ArXiv160301360 Cs , Apr. 2016 , Accessed : Apr. 20 , 2022. [ Online ] . Available : http : / / arxiv.org / abs / 1603.01360 [ 8 ] Y. Shen , H. Yun , Z. C. Lipton , Y. Kronrod , and A. Anandkumar , “Deep Active Learning for Named Entity Recognition , ” ArXiv170705928 Cs , Feb. 2018 , Available : Accessed : http : / / arxiv.org / abs / 1707.05928 [ Online ] . 2022. Apr. 20 , [ 9 ] W. Gunawan , D. Suhartono , F. Purnomo , and A. Ongko , “Named-Entity Recognition for Indonesian Language using Bidirectional LSTM-CNNs , ” Procedia Comput. Sci. , vol. 135 , pp. 425–432 , 2018 , doi : 10.1016 / j.procs.2018.08.193. [ 10 ] A. S. Wibawa and A. Purwarianti , “Indonesian Named-entity Recognition for 15 Classes Using Ensemble Supervised Learning , ” Procedia Comput. Sci. , vol. 81 , pp. 221–228 , 2016 , doi : 10.1016 / j.procs.2016.04.053. [ 11 ] T. Eftimov , B. Koroušić Seljak , and P. Korošec , “A rule-based named- entity recognition method for knowledge extraction of evidence-based dietary recommendations , ” PLOS ONE , vol. 12 , no. 6 , p. e0179488 , Jun. 2017 , doi : 10.1371 / journal.pone.0179488. [ 12 ] L. Yao , H. Liu , Y. Liu , X. Li , and M. W. Anwar , “Biomedical Named Entity Recognition based on Deep Neutral Network , ” Int. J. Hybrid Inf. Technol. , vol. 8 , no. 8 , pp. 279–288 , Aug. 2015 , doi : 10.14257 / ijhit.2015.8.8.29. [ 13 ] K. Simran , S. Sriram , R. Vinayakumar , and K. Soman , “Deep Learning Approach for Intelligent Named Entity Recognition of Cyber Security.” arXiv , Mar. 30 , 2020. Accessed : May 17 , 2022. [ Online ] . Available : http : / / arxiv.org / abs / 2004.00502 [ 14 ] B. Drury and M. Roche , “A survey of the applications of text mining for agriculture , ” Comput. Electron. Agric. , vol. 163 , p. 104864 , Aug. 2019 , doi : 10.1016 / j.compag.2019.104864. [ 15 ] S. Sarawagi , Information Extraction. Now Publishers Inc , 2008. [ 16 ] A. Thomas and S. Sangeetha , “Deep Learning Architectures for Named Entity Recognition : A Survey , ” in Advanced Computing and Intelligent Engineering , vol. 1082 , B. Pati , C. R. Panigrahi , R. Buyya , and K.-C. Li , Eds. Singapore : Springer Singapore , 2020 , pp. 215–225. doi : 10.1007 / 978-981-15-1081-6_18. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik [ 17 ] A. Akbik , T. Bergmann , D. Blythe , K. Rasul , S. Schweter , and R. Vollgraf , “FLAIR : An Easy-to-Use Framework for State-of-the-Art NLP , ” in Proceedings of the 2019 Conference of the North , Minneapolis , Minnesota , 2019 , pp. 54–59. doi : 10.18653 / v1 / N19-4010. [ 18 ] T. Mikolov , K. Chen , G. Corrado , and J. Dean , “Efficient Estimation of Word Representations in Vector Space , ” ArXiv13013781 Cs , Sep. 2013 , Accessed : Available : 20 , http : / / arxiv.org / abs / 1301.3781 [ Online ] . 2022. Apr. [ 19 ] J. Pennington , R. Socher , and C. Manning , “GloVe : Global Vectors for Word Representation , ” in Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing ( EMNLP ) , Doha , Qatar , Oct. 2014 , pp. 1532–1543. doi : 10.3115 / v1 / D14-1162. [ 20 ] E. Grave , P. Bojanowski , P. Gupta , A. Joulin , and T. Mikolov , “Learning Word Vectors for 157 Languages , ” ArXiv180206893 Cs , Mar. 2018 , Accessed : Available : http : / / arxiv.org / abs / 1802.06893 [ Online ] . 2022. Apr. 20 , [ 21 ] K. O’Shea and R. Nash , “An Introduction to Convolutional Neural Networks , ” ArXiv151108458 Cs , Dec. 2015 , Accessed : Apr. 29 , 2022. [ Online ] . Available : http : / / arxiv.org / abs / 1511.08458 [ 22 ] Z. Huang , W. Xu , and K. Yu , “Bidirectional LSTM-CRF Models for Sequence Tagging , ” ArXiv150801991 Cs , Aug. 2015 , Accessed : Apr. 20 , 2022. [ Online ] . Available : http : / / arxiv.org / abs / 1508.01991 [ 23 ] D. Y. Liliana and C. Basaruddin , “A review on conditional random fields as a sequential classifier in machine learning , ” in 2017 International Conference on Electrical Engineering and Computer Science ( ICECOS ) , Palembang , doi : 10.1109 / ICECOS.2017.8167121. 143–148. 2017 , Aug. pp. [ 24 ] J. Li , A. Sun , J. Han , and C. Li , “A Survey on Deep Learning for Named Entity Recognition , ” IEEE Trans. Knowl. Data Eng. , vol. 34 , no. 1 , pp. 50–70 , Jan. 2020 , doi : 10.1109 / TKDE.2020.2981314. [ 25 ] T. Dozat , “INCORPORATING NESTEROV MOMENTUM INTO ADAM , ” p. 4 , 2016. [ 26 ] N. Srivastava , G. Hinton , A. Krizhevsky , I. Sutskever , and R. Salakhutdinov , “Dropout : A Simple Way to Prevent Neural Networks from Overﬁtting , ” J. Mach. Learn. Res. , vol. 15 , no. 1 , pp. 1929–195830 , Jan. 2014. 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O B-METODE O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O B-METODE O O B-METODE I-METODE O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Perbandingan Model CNNs-LSTM NER ( Named Entity Recognition ) dengan Bi-LSTMs-CRF NER pada Ekstraksi Entitas Data Kasus Narkoba dari Berita Online di Indonesia Daris Azhar ( 221810233 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , SST , M.Si Ringkasan— Penelitian terkait penerapan NER berbahasa Indonesia pada domain tertentu masih terbilang belum banyak dilakukan. Salah satunya adalah penerapan NER dengan domain kasus narkoba. Ketersediaan data kasus narkoba BNN yang belum up-to-date serta publikasi laporan kasus narkoba di Indonesia yang hanya dimuat satu tahun sekali memberikan celah untuk memanfaatkan NER guna mendapatkan data kasus narkoba dengan mengekstrak entitas terkait dengan kasus narkoba menggunakan sumber data berita online. Penelitian ini bertujuan untuk memanfaatkan situs berita online untuk dijadikan sebagai sumber data dalam memperoleh informasi terkait kasus narkoba di Indonesia. Selain itu , penelitian ini juga membangun model NER untuk mengekstrak informasi dari teks berita yang telah diperoleh. Model NER utama pada penelitian ini karena mampu menggunakan menghasilkan performa yang baik serta hanya membutuhkan waktu komputasi yang singkat. Sedangkan , model NER baseline menggunakan arsitektur Bi-LSTM-CRF karena mudah diimplementasikan menggunakan framework. Model utama yang telah dibangun menghasilkan performa ( F1-score ) sebesar 82,54 % . Sedangkan model baseline hanya menghasilkan performa ( F1-score ) sebesar 69,67 % . arsitektur CNNs-LSTM Kata Kunci— Named Entity Recognition , domain kasus narkoba , CNNs-LSTM , Bi-LSTMs-CRF , penerapan NER.
VII. PENUTUP Berdasarkan hasil pemaparan dan hasil pembahasan di atas , dapat disimpulkan bahwa sumber berita online terkait kasus narkoba di Indonesia telah berhasil dikumpulkan dengan menggunakan metode web scraping untuk digunakan sebagai sumber dalam memperoleh informasi terkait kasus narkoba di Indonesia. Situs berita online yang digunakan adalah situs Okezone. Selain itu , model CNNs-LSTM NER ( NER utama ) telah dengan melakukan hyperparameters tuning pada proses pemodelannya. Model Bi- LSTMs-CRF NER ( NER baseline ) yang dibangun dengan menggunakan framework Flair hanya mampu menghasilkan performa NER dengan nilai F1-score sebesar 69,67 % . Performa tersebut jauh berada di bawah dari performa yang dihasilkan oleh model NER utama , yaitu sebesar 82,54 % . Dengan demikian , performa model NER utama mampu melebihi performa model NER baseline secara signifikan. dibangun berhasil dan Berdasarkan kesimpulan dari hasil penelitian ini , maka saran yang dapat diajukan oleh penulis diantaranya adalah menambah situs berita online yang digunakan sebagai sumber data , penggunaan metode easy data augmentation pada dataset dengan harapan model yang dihasilakan menjadi lebih general , 7 / 8 tahapan filtering secara otomatis pada pengembangan model selanjutnya , penambahan opsi pada bagian hyperparameters tuning , melakukan penelitian lebih lanjut sehingga dapat menghasilkan data-data kasus narkoba yang layak untuk dipublikasikan , dan mempertimbangkan kelengkapan serta kualitas dari informasi-informasi terkait kasus narkoba di Indonesia yang tersedia di berbagai sumber situs berita online.
Penelitian ini bertujuan untuk memanfaatkan situs berita online untuk dijadikan sebagai sumber data dalam memperoleh informasi terkait kasus narkoba di Indonesia. Selain itu , penelitian ini juga membangun model NER untuk mengekstrak informasi dari yang telah diperoleh. Model NER utama pada penelitian ini singkat. Sedangkan , model NER baseline menggunakan arsitektur Bi-LSTM-CRF karena mudah diimplementasikan menggunakan framework. Model utama yang telah dibangun menghasilkan performa ( F1-score ) sebesar 82,54 % . Sedangkan model baseline hanya menghasilkan performa ( F1-score ) sebesar 69,67 % . arsitektur CNNs-LSTM Kata Kunci— berhasil dikumpulkan dengan menggunakan metode web scraping untuk digunakan sebagai sumber Selain itu , model CNNs-LSTM NER ( NER utama ) pada proses pemodelannya. Model Bi- LSTMs-CRF NER ( NER baseline ) performa NER dengan nilai F1-score sebesar 69,67 % . . Dengan demikian , performa model NER utama mampu melebihi performa model NER baseline secara signifikan. dibangun berhasil dan Berdasarkan kesimpulan
O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O B-METODE O O O O O O O O B-METODE O O O O O O O O B-METODE O O B-METODE I-METODE O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O O B-METODE I-METODE O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O O B-METODE O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O