Penerapan Named Entity Recognition (NER) melalui Twitter pada SpaCy Bahasa Indonesia  
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Penerapan Named Entity Recognition ( NER ) melalui Twitter pada SpaCy Bahasa Indonesia ( Studi Kasus : Gangguan Listrik di Daerah Istimewa Yogyakarta ) Rizka Maulida Yanti ( 221709980 , 4SI1 ) Dosen Pembimbing : Ibnu Santoso , SST , MT terkait gangguan Ringkasan— SpaCy merupakan tools yang dapat menangani masalah Natural Language Processing ( NLP ) dengan efisien , salah satunya adalah Named Entity Recognition ( NER ) . NER digunakan untuk mengekstrak dan mengidentifikasi entitas bernama pada suatu teks. Namun , sejauh ini SpaCy belum merilis pre-train model NER untuk Bahasa Indonesia secara resmi. Di sisi lain , berdasarkan laporan statistik PLN tahun 2019 , Provinsi D.I. Yogyakarta merupakan provinsi yang sering mengalami gangguan listrik serta banyak ditemukannya keluhan masyarakat di Twitter terkait gangguan listrik yang terjadi di provinsi tersebut. Dikarenakan belum ditemukannya penelitian ekstraksi informasi jarang ditemukannya penelitian tentang NER dengan menggunakan ini akan SpaCy Bahasa Indonesia. Maka pada penelitian dilakukan ekstraksi informasi terkait gangguan listrik di Provinsi D.I. Yogyakarta melalui Twitter dengan menggunakan SpaCy Bahasa Indonesia. Penelitian ini menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % .. Kemudian , dilakukan pemetaan berdasarkan entitas lokasi yang terdapat dalam tweet terkait gangguan listrik. Dari proses tersebut didapat bahwa jumlah lokasi yang tersebutkan di tweet terkait gangguan listrik tertinggi berasal dari Kabupaten Sleman , sedangkan jumlah terendah berasal dari Kabupaten Gunung Kidul. Lalu , bulan yang paling banyak mengalami gangguan listrik adalah Bulan Maret 2020 , sedangkan yang paling sedikit adalah Bulan Juli 2020. serta masih listrik Kata Kunci— Information Extraction , NER , SpaCy , Twitter , Gangguan Listrik. I. LATAR BELAKANG Bahasa merupakan suatu alat komunikasi yang penting. Komunikasi adalah proses pertukaran informasi antar manusia dengan bantuan bahasa. Pesatnya perkembangan teknologi informasi memberikan kebebasan lebih kepada masyarakat untuk menyampaikan pendapat atau keluhannya di media sosial. Terdapat miliaran informasi yang didistribusikan melalui berbagai teknologi dan beberapa di antaranya menggunakan bahasa alami. Bahasa alami adalah bahasa yang biasa digunakan manusia untuk berkomunikasi satu sama lain. Bahasa yang diterima oleh komputer harus diproses dan dipahami sebelum komputer dapat memahami maksud pengguna dengan benar. Artificial ( AI ) berkembang pesat dalam bidang penelitian dan penerapannya di dunia nyata. Sebagai contoh , salah satu perkembangan pesat di bidang komputasi bahasa adalah Natural Language Processing ( NLP ) . NLP adalah cabang AI yang berfokus pada pemrosesan bahasa alami dengan pendekatan komputerisasi Intelligence yang digunakan untuk menganalisis data , teks , ucapan , dll. Oleh karena itu , NLP dapat melakukan pemrosesan bahasa alami seperti bahasa manusia [ 1 ] . Seiring berkembangnya internet , ketersediaan data online pun ikut berkembang , terutama data tekstual. Data teks tersebut mengandung banyak informasi. Namun , informasi dalam teks seringkali tidak terlihat dikarenakan bentuk teks yang tidak terstruktur. Sehingga , diperlukan ekstraksi informasi , yang merupakan suatu sistem untuk menemukan data spesifik dari Natural Language Text [ 2 ] . Contohnya adalah keluhan masyarakat terkait gangguan listrik. Dalam berita tersebut terkandung beberapa informasi seperti lamanya gangguan listrik yang terjadi , tanggal , dan lokasi . Namun , semua informasi tersebut disembunyikan dalam bentuk kalimat. Oleh karena itu , untuk mendapatkan informasi penting ini , perlu melakukan analisis terhadap keseluruhan teks. Jika keluhan tersebut dalam jumlah yang sangat banyak , tentu akan sulit untuk menganalisisnya. Dari melimpahnya data tersebut dan informasi yang dikandungnya , timbul kebutuhan untuk mengekstraksi informasi secara otomatis dari data yang berupa teks [ 3 ] . Data teks yang turut mengalami perkembangan adalah data yang terdapat pada Twitter. Twitter merupakan salah satu media sosial yang saat ini berkembang pesat , dikarenakan memudahkan pengguna untuk berkomunikasi. Referensi [ 4 ] menunjukkan bahwa pada bulan Mei 2016 , Indonesia merupakan salah satu negara dengan jumlah pengguna aktif Twitter terbesar ke-3 di dunia. Jumlah pengguna aktif Twitter di Indonesia pada bulan Mei 2016 mencapai 24,34 juta pengguna. Kemudian disusul oleh India dengan total pengguna aktif mencapai 41,19 juta pengguna. Sementara itu , Amerika Serikat menjadi negara yang paling banyak memiliki pengguna aktif Twitter hingga mencapai 67,54 juta pengguna. Meningkatnya pengguna Twitter setiap tahun , menunjukkan bahwa Twitter merupakan media sosial yang sangat populer. Oleh karena itu , dibutuhkan suatu metode yang dapat mengekstraksi informasi-informasi yang terkandung dalam tweet yang terdapat pada Twitter. Sehingga pada penelitian ini , peneliti akan menggunakan salah satu task NLP yaitu Information Extraction ( IE ) . IE memiliki salah satu sub-task yang dapat membantu proses pengidentifikasian dan ekstraksi informasi informasi yang berupa entity , atau biasa disebut dengan Named Entity Recognition ( NER ) . NER digunakan untuk mengekstrak dan mengidentifikasi entitas bernama ( orang , lokasi , organisasi ) pada suatu teks. Pada penelitian ini , NER akan dikembangkan 1 / 7 melalui pendekatan Machine Learning dengan menggunakan metode Supervised Learning. Dimana model akan belajar mengenali pattern-pattern entitas dari data yang sudah dilabeli sebelumnya. Sehingga , nantinya NER dapat mengenali entitas dari suatu teks yang telah dimasukkan ke dalam model NER. Pembangunan model pada penelitian ini akan dibantu dengan library SpaCy. SpaCy merupakan sebuah library open source yang menggunakan bahasa pemrograman Python dan berguna untuk menangani masalah NLP dengan cara yang efisien , salah satunya ialah NER. Model SpaCy sudah tersedia dalam beberapa bahasa diantaranya Bahasa Inggris , Bahasa Jerman , Bahasa Spanyol , Bahasa Portugis , Bahasa Prancis , Bahasa Italia , Bahasa Belanda , Bahasa Yunani , Bahasa Cina , Bahasa Jepang , Bahasa Rusia , Bahasa Romania , Bahasa Denmark , Bahasa Polandia , dan Bahasa Norwegia. Sejauh ini , SpaCy belum merilis pre-train model NER untuk Bahasa Indonesia secara resmi. Selain itu , masih jarang ditemukan penelitian tentang NER yang menggunakan SpaCy Bahasa Indonesia sebagai tools untuk membuat model NER. Hal tersebut membuat peneliti tertarik untuk melakukan penelitian ini. Meskipun SpaCy belum merilis pre-train model untuk Bahasa Indonesia secara resmi , masih tetap bisa dilakukan training model dengan data yang dimiliki. Dimana , data training tersebut disesuaikan terlebih dahulu dengan format dari SpaCy , yang selanjutnya akan di-train dengan beberapa iterasi sebelum dapat digunakan. Untuk data yang digunakan adalah tweet terkait gangguan listrik di Provinsi D.I. Yogyakarta. Peneliti tertarik menggunakan data tersebut dikarenakan listrik merupakan salah satu kebutuhan pokok manusia dan hal itu terlihat dari pola hidup manusia yang selalu bergantung pada listrik. Tanpa adanya listrik , semua kebutuhan dasar manusia tidak dapat terpenuhi. Selain itu , aktivitas komersial , layanan publik , dan jaringan telepon akan terganggu. Sehingga , dengan adanya gangguan listrik akan sangat merugikan masyarakat. Pada penelitian ini , penulis akan menggunakan SAIDI ( System Average Interruption Duration Index ) dan SAIFI ( System Interruption Frequency Index ) sebagai indikator untuk melihat provinsi yang mengalami gangguan tertinggi di Indonesia. Referensi [ 5 ] menunjukkan bahwa pada tahun 2019 , daerah Yogyakarta merupakan daerah dengan SAIDI dan SAIFI tertinggi ke-2 di Pulau Jawa setelah Jawa Barat. SAIDI merupakan rata-rata lama padam , sedangkan SAIFI merupakan rata-rata frekuensi padam. SAIDI dan SAIFI merupakan indeks yang menunjukkan tingkat keandalan dari suatu sistem distribusi dalam melayani konsumen. Semakin kecil nilai SAIDI dan SAIFI , maka keandalannya semakin baik. Begitupun sebaliknya. listrik II. TUJUAN PENELITIAN Berdasarkan rumusan masalah di atas , tujuan dilakukannya penelitian ini adalah : 1. Untuk membangun model NER terkait gangguan listrik di provinsi D. I. Yogyakarta spaCy Bahasa Indonesia. 2. Untuk mengetahui evaluation metric dari model yang telah dibangun. Makalah Skripsi – Program Studi D-IV Komputasi Statistik 3. Untuk memetakan persebaran lokasi yang tersebutkan di tweet terkait gangguan listrik di provinsi D. I. Yogyakarta pada tahun 2020. 4. Untuk mengetahui perbandingan jumlah lokasi yang tersebutkan di tweet terkait gangguan listrik tiap kabupaten / kota di provinsi D. I. Yogyakarta pada tahun 2020 tiap bulan nya. III. PENELITIAN TERKAIT Berikut ini merupakan uraian hasil penelitian sebelumnya yang berkaitan dengan topik skripsi dan akan disajikan dalam bentuk tabel serta peta literatur. TABEL I TABEL LITERATUR No Judul 1. Named Entity Recognition Approaches and Their Comparison for Custom NER Model Penulis , Publikasi Hemlata Shelar , Gagandeep Kaur , Neha Heda , and Poorva Agrawal. Science & Technology Libraries ISSN : 0194- 262X , 1541- 1109 Tertulis Komentar Dalam perbandingan Custom NER model , SpaCy menunjukkan akurasi yang lebih bagus dan waktu prediksi yang lebih cepat dibandingkan Tensorflow Keras , dan Apache OpenNLP From our observation of all the models , we found that the SpaCy is a better and accurate Custom NER system. The SpaCy gives better and accurate results as compared to Apache OpenNLP and TensorFlow when it comes to identifying entities in the input text. The prediction time for the spaCy model is very less and the model also gives false positive and false negative which is useful to improve the model performance. Our work proves that Spacy is better than Apache OpenNLP and TensorFlow for the Custom NER model. 2. Design And Implementati on Of An Open Source Greek Eleni Partalidou , Eleftherios Spyromitros- Xioufis , This paper proposes a machine learning approach to Model SpaCy ini menggunaka n Bahasa Yunani dan 2 / 7 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pos Tagger And Entity Recognizer Using SpaCy Stavros Doropoulos , Stavros Vologiannidis , and Konstantinos I.Diamantaras . Chantana Chantrapornc hai & Aphisit Tunsakul 3. Information Extraction based on Named Entity for Tourism Corpus named entity recognition for Greek , a highly inflected language using spaCy , a very robust and popular framework. The result of F1 score is 93.15 percent. For LOC / ORG in SpaCy , the the accuracy is higher than 100 % for both training and testing. For LOC / ORG in BERT , the accuracy is around 70 % for both training and testing. Origina BERT relies on its tokenizer which includes the token conversion to ID. It can not tokenizer our special multiword name which are proper noun very well. . The unknown proper nouns are chopped into portions which makes the labels shift out. So , BERT needs to be solved by using own wordpiece tokenizer. 4. Real-world Conversation al AI for Hotel Bookings Bai Li , Nanyi Jiang , Joey Sham , Henry Shi , and Hussein Fazal The model initialized with SpaCy’s English NER model. Our first model treats nilai akurasinya menunjukkan 93.15 % Untuk entitas LOC / ORG , hasil akurasi pada model SpaCy lebih tinggi dibandingkan dengan BERT. Karna BERT mengandalka n tokenizer- nya yang mencakup konversi token ke ID. Sehingga tidak dapat menandai dengan baik multiword khusus yang merupakan kata benda. Akibatnya , proper nouns yang tidak diketahui dipotong menjadi beberapa bagian yang membuat labelnya bergeser. Jadi , BERT perlu diselesaikan dengan menggunaka n wordpiece tokenizer sendiri. Pada model SpaCy dengan bahasa inggris , akurasi pada Ridong Jiang , Rafael E. Banchs , and Haizhou Li 5. Evaluating and Combining Named Entity Recognition Systems hotels and locations as separate entities , while our second model merges them and considers both hotels and locations as a single combined entity type. The results of Accuracy are 65 % for entity Hotel , 87 % for entity Location , and 96 % for entity Hotel+Location ORGANIZATIO N appears to be the entity type which is more difficult for detecting for all the NER tools. This is proved by its lower scores compared with the PERSON and LOCATION types. Stanford NER and spaCy generally show better performance in this data set for both exact matching and partial matching if compared to LingPipe and NLTK. But , Stanford NER scores on DATE entity type are not as good as spaCy 6. Ekstraksi Informasi Berita Online dengan Named Entity Recognition ( NER ) dan Rule-Based untuk Atika Dessy Metode Library Spacy untuk Named Entity Recognition ( NER ) sebagai ekstraksi entitas informasi dan text classification , pendekatan entitas hotel lebih kecil dibandingkan entitas lokasi. Namun jika kedua entitas tersebut digabungkan akan menghasilka n akurasi yang tinggi. Entitas ORG lebih sulit dideteksi dibandingkan entitas PER & LOC. Hasil akurasi Stanford dan SpaCy menunjukkan nilai yang lebih bagus dibandingkan NLTK dan LingPipe. Namun , nilai akurasi Stanford untuk entitas DATE tidak sebagus SpaCy. Model SpaCy ini menggunaka n bahasa indonesia dan mendapatkan nilai f1 score sebesar 82 % 3 / 7 Visualisasi Penyakit Tropis di Indonesia dengan Rule Based Method sebagai visualisasi penyakit tropis di Indonesia dengan entitas berupa lokasi kejadian , tanggal kejadian , jumlah korban dalam kejadian tersebut sistem mampu mengekstraksi informasi dari keseluruhan data uji model mendapatkan perhitungan Evaluation Scorer yaitu Precision 84 % , Recall , 73 % dan F1 score 82 % IV. METODE PENELITIAN A. Pengumpulan Data Pengumpulan data pada penelitian ini mengacu pada keyword “gangguan listrik” , “listrik padam” , “mati listrik” , dan pada akun @ pln_123 ( akun resmi dari PT.PLN ) , akun @ infolistrikdjty ( akun resmi dari PLN Unit Induk Distribusi Jawa Tengah dan D.I. Yogyakarta ) , dan akun @ pln_jogja. Selain itu , pengumpulan data juga diperoleh dari tagar tertentu. Hashtag / tagar yang biasa digunakan untuk mengkategorikan tweet terkait gangguan listrik adalah # InfoPLN. Hashtag / tagar tersebut biasanya digunakan untuk menginformasikan jadwal pemadaman listrik , pemeliharaan listrik , perbaikan listrik , dsb. Dalam pengumpulan data menggunakan twint , peneliti menuliskan keyword berupa kombinasi nama kecamatan di provinsi D. I. Yogyakarta dengan keyword- keyword yang sebelumnya sudah disebutkan diatas. Penggunaan nama kecamatan bertujuan agar data yang jika hanya didapat menggunakan nama kota / kabupaten. lebih banyak dibandingkan B. Pre-Processing Dalam tahapan ini terdapat beberapa proses seperti berikut ini : 1. Cleaning Tahap ini dilakukan untuk menghilangkan akun user dan membersihkan kata dari karakter yang tidak berpengaruh terhadap hasil klasifikasi. Karakter yang dihilangkan berupa angka , tanda baca , hashtag ( # ) , simbol-simbol , teks “RT” dan url dari situs web. Makalah Skripsi – Program Studi D-IV Komputasi Statistik 2. Stopword Tahap ini dilakukan untuk menghapus kata- kata yang memiliki informasi rendah dari sebuah teks. Misalnya “yang” , “dan” , “di” , “dari” , dan sebagainya. 3. Tokenization Pada tahap ini terdapat 3 parameter yang digunakan , yaitu preserve_case ( mengubah teks menjadi lower case ) , strip_handles ( menghilangkan mention ) , dan reduce_len ( mengurangi karakter yang diulang menjadi 3 , misal : minnnnnnn menjadi minnn ) . 4. Remove Duplicates Tahap ini bertujuan untuk memfilter data tweet yang sama , hal ini disebabkan karena Twitter re-tweet yang menyebabkan memiliki banyaknya tweet yang sama di re-tweet oleh pengguna lain dan menimbulkan teks berulang dengan topik yang sama. filter C. Filtering data Proses filtering data dilakukan setelah proses pengumpulan data , pada saat proses pelabelan data , dan setelah proses pelabelan data. Proses ini dilakukan secara manual dengan mengecek tweet satu per satu untuk menghilangkan tidak berkaitan dengan tweet yang gangguan listrik di provinsi D.I. Yogyakarta. Pada proses filtering data yang dilakukan setelah pengumpulan data , peneliti mengecek semua tweet di tiap file kecamatan. Hal ini bertujuan untuk mempermudah pengecekan , dibandingkan mengecek satu per satu di file kabupaten / kota. Kemudian , pada proses filtering data yang dilakukan pada saat pelabelan data , peneliti melakukan pengecekan sambil melakukan pelabelan. Jika ada tweet yang tidak sesuai , maka tweet tersebut dihilangkan ( tidak dilabeli ) . Terakhir , pada proses filtering data yang dilakukan setelah pelabelan data , peneliti melakukan pengecekan duplikasi data dengan menggabungkan semua file kabupaten / kota , hasilnya terdapat data berduplikasi dan salah satunya memiliki informasi lokasi yang salah. Tweet dengan informasi lokasi salah itulah yang dihilangkan. tweet D. Pelabelan Data Tweet hasil pre-processing kemudian akan dilabeli dengan menggunakan notasi BIO ( Begin , Inside dan Other ) sebagai skema pelabelan yang menandakan urutan yang kemudian diklasifikasikan menjadi dua kelas yaitu B-LOC dan I-LOC. Pada penelitian ini , peneliti sengaja tidak menggunakan notasi O untuk memudahkan dan mempercepat proses pelabelan. Proses pelabelan tweet dilakukan lewat website agateteam.org / spaCynerannotate / . Sebab , data training harus dalam bentuk format spaCy dan website tersebut sudah mendukung format data tersebut. Berikut format data training nya : 4 / 7 Gambar 1. Format data training spaCy Kemudian data yang telah dilakukan pelabelan akan di-split menjadi data training dan data testing dengan perbandingan 90:10. Selanjutnya , data tersebut akan digunakan untuk melakukan pemodelan NER. E. Pemodelan NER Proses pembangunan model NER dilakukan menggunakan library SpaCy. Arsitektur model NER yang digunakan SpaCy adalah Transition-Based Parser. Pada NER Transition-Based terdapat beberapa konfigurasi , yaitu buffer , stack , output , dan fungsi oracle. Buffer merupakan tempat penyimpanan sementara seluruh kata dari suatu tweet yang belum diproses. Stack merupakan tempat yang akan menerima kata dari buffer. Output merupakan tempat penyimpanan seluruh kata yang sudah diproses. Sedangkan fungsi oracle merupakan fungsi yang menentukan tindakan transisi apa yang akan digunakan untuk memproses suatu kata. Terdapat 3 jenis tindakan transisi , yaitu : SHIFT , REDUCE ( y ) , dan OUT. SHIFT merupakan tindakan memindahkan kata dari buffer ke stack. REDUCE ( y ) merupakan tindakan memindahkan kata dari stack ke output dengan label y. Sedangkan , OUT merupakan tindakan memindahkan kata dari buffer ke output. Berikut ini akan ditampilkan contoh proses pada NER Transition-Based : TABEL II PROSES NER TRANSITION-BASED PADA SPACY F. Pengujian Model NER Pengujian model NER dilakukan menggunakan library SpaCy terhadap data testing , yang diukur dengan perhitungan presisi , recall , dan f1-score . G. Pemetaan Entitas Lokasi Gangguan Listrik Pemetaan entitas lokasi gangguan listrik dilakukan dengan menggunakan library shiny dan leaflet di R Studio. Tujuan dari pemetaan ini adalah untuk melihat jumlah lokasi gangguan listrik yang tersebutkan di seluruh tweet pada tiap kabupaten / kota di provinsi D.I. Yogyakarta yang terjadi pada periode waktu 1 Januari 2020 hingga 31 Desember 2020 dalam bentuk area. Kemudian dilakukan perbandingan entitas lokasi gangguan listrik dengan menghitung secara manual lokasi yang tersebutkan di seluruh tweet , yang kemudian di Makalah Skripsi – Program Studi D-IV Komputasi Statistik kelompokkan berdasarkan bulan dan kabupaten / kota nya. Tujuan dari perbandingan ini adalah untuk melihat bulan mana yang memiliki keluhan gangguan listrik tertinggi dan terendah di tiap kabupaten / kota di provinsi D.I. Yogyakarta yang terjadi pada periode waktu 1 Januari 2020 hingga 31 Desember 2020 V. KERANGKA PIKIR Berikut ini akan ditampilkan kerangka pikir peneliti yang berisi permasalahan , tujuan , serta proses dari penelitian ini : Gambar 3. Kerangka pikir VI. HASIL DAN PEMBAHASAN A. Pengumpulan Data library Pengumpulan data tweet pada penelitian ini dilakukan menggunakan twint. Data yang diambil merupakan tweet yang berisi informasi gangguan listrik ( baik yang berupa keluhan masyarakat maupun pemberitahuan dari petugas PLN ) selama setahun , yaitu sejak 01 Januari 2020 hingga 31 Desember 2020. Jumlah tweet yang berhasil diambil berjumlah 15.374 tweet. Berikut ini ditampilkan cara pengumpulan data menggunakan library twint : Gambar 4. Syntax pengumpulan data B. Pre-Processing Data Dari 15.374 tweet , dilakukan pre-processing dan menghasilkan 6.105 tweet. Berikut ini ditampilkan output pre processing : 5 / 7 TransitionOutputStackBufferSegmentLabel [ ] [ ] [ rongkop , mati , min ] SHIFT [ ] [ rongkop ] [ mati , min ] REDUCE ( LOC ) [ ( rongkop ) -LOC ] [ ] [ mati , min ] ( rongkop ) -LOCrongkop " B-LOC " OUT [ ( rongkop ) -LOC , mati ] [ ] [ min ] OUT [ ( rongkop ) -LOC , mati , min ] [ ] [ ] Gambar 5. Output pre-processing C. Filtering data Setelah dilakukan proses filtering beberapa kali , didapatlah tweet akhir dengan jumlah 5.955 tweet. Berikut ini akan disajikan tabel jumlah tweet terkait gangguan listrik tiap kabupaten / kota : TABEL III TABEL JUMLAH TWEET D. Pelabelan Data Berikut ini akan ditampilkan visualisasi dari proses pelabelan data : Gambar 6. Proses pelabelan E. Pengujian model NER Pengujian model NER dilakukan menggunakan library SpaCy terhadap data testing dengan jumlah 596 tweet , yang diukur dengan perhitungan presisi , recall , dan f1- score. Berikut ini hasil evaluation metric untuk seluruh entitas : TABEL IV TABEL HASIL EVALUATION METRIC SELURUH ENTITAS Dari tabel diatas dapat disimpulkan bahwa hasil f-1 score dari model NER yang telah dibangun sebesar 93,04 % . Kemudian , selain mendapatkan nilai presisi , recall , dan f1-score seluruh entitas , peneliti juga mendapatkan nilai presisi , recall , dan f-1 score tiap entitas yaitu B-LOC dan I-LOC. Berikut ini hasil evaluation metric untuk tiap entitas : Makalah Skripsi – Program Studi D-IV Komputasi Statistik TABEL V TABEL HASIL EVALUATION METRIC TIAP ENTITAS Dari tabel diatas dapat disimpulkan bahwa hasil f-1 score entitas B-LOC adalah 94,53 % dan f1-score entitas I-LOC adalah 92,31 % . Sehingga dapat dikatakan bahwa entitas I-LOC merupakan entitas yang lebih banyak errornya. F. Pemetaan Entitas Lokasi Gangguan Listrik Berikut merupakan tampilan pemetaan jumlah lokasi gangguan listrik yang tersebutkan di tweet pada tiap kota / kabupaten selama tahun 2020 pada dashboard Rshiny : Gambar 7. Pemetaan lokasi gangguan listrik jumlah sebesar 2.736 Dari gambar diatas , dapat disimpulkan bahwa Kabupaten Sleman merupakan daerah yang memiliki jumlah lokasi yang tersebutkan di Twitter paling tinggi , dengan tersebut ditunjukkan dengan daerah yang berwarna merah. Sedangkan , Kabupaten Gunungkidul merupakan daerah yang memiliki jumlah lokasi yang tersebutkan di Twitter paling rendah , dengan jumlah sebesar 225 lokasi , hal tersebut ditunjukkan dengan saerah yang berwarna cream pucat. lokasi , hal TABEL VI TABEL JUMLAH LOKASI YANG TERSEBUTKAN DI TWEET 6 / 7 Presisi95.52Recall93.27F-1 Score94.38Evaluation Metric ScrappingPre-ProcessingTweet AkhirBantul5,543 1,887 1,857 Gunungkidul821 237 225 Kulon Progo921 539 502 Sleman6,969 2,783 2,736 Yogyakarta1,120 659 635 15,374 6,105 5,955 Jumlah Tweet Kab / KotTotalB-LOCI-LOCPresisi95.9390Recall93.1794.74F1-Score94.5392.31EntityEvaluation MetricBantulGunungkidulKulon ProgoSlemanYogyakarta11491744193972167185823212132564081299424167254420667512784520729610612271444876192188338140162921559993103319861102492846372581118621363619612156213822133Total18572255022736744Jumlah lokasi yang tersebutkan di tweetBulan ke - Makalah Skripsi – Program Studi D-IV Komputasi Statistik [ 2 ] U. Nahm , " Text mining with https : / / repositories.lib.utexas.edu / , http : / / hdl.handle.net / 2152 / 1280. [ Accessed : 07- Jul- 2021 ] . 2004. information extraction " , [ Online ] . Available : [ 3 ] F. Peng and A. McCallum , " Information extraction from research papers using conditional random fields " , Information Processing & Management , vol. 42 , no. 4 , pp. 963-979 , 2006. Available : 10.1016 / j.ipm.2005.09.002. [ 4 ] " Indonesia Pengguna Twitter Terbesar Ketiga di Dunia " , Available : Databoks.katadata.co.id , https : / / databoks.katadata.co.id / datapublish / 2016 / 11 / 22 / indonesia- pengguna-Twitter-terbesar-ketiga-di-dunia. 2020 ] . [ Accessed : 05- Nov- [ Online ] . 2016. [ 5 ] " Laporan Statistik - PT PLN ( Persero ) " , PT PLN ( Persero ) , 2021. https : / / web.pln.co.id / stakeholder / laporan- [ Online ] . Available : statistik. [ Accessed : 05- Nov- 2020 ] . [ 6 ] H. Shelar , G. Kaur , N. Heda , and P. Agrawal , “Named Entity Recognition Approaches and Their Comparison for Custom NER Model , ” Sci. Technol. Libr. , vol. 39 , no. 3 , pp. 324–337 , 2020 , doi : 10.1080 / 0194262X.2020.1759479. [ 7 ] E. Partalidou , E. Spyromitros-Xioufis , S. Doropoulos , S. Vologiannidis , and K. I. Diamantaras , “Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy , ” Proc. - 2019 IEEE / WIC / ACM Int. Conf. Web Intell. WI 2019 , pp. 337– 341 , 2019 , doi : 10.1145 / 3350546.3352543. [ 8 ] C. Chantrapornchai and A. Tunsakul , “Information Extraction based on Named Entity for Tourism Corpus , ” JCSSE 2019 - 16th Int. Jt. Conf. Comput. Sci. Softw. Eng. Knowl. Evol. Towar. Singul. Man-Machine Intell. , pp. 187–192 , 2019 , doi : 10.1109 / JCSSE.2019.8864166. [ 9 ] B. Li , N. Jiang , J. Sham , H. Shi , and H. Fazal , “Real-world conversational AI for hotel bookings , ” Proc. - 2019 2nd Int. Conf. Ind. AI4I 2019 , pp. 58–62 , 2019 , doi : Artif. 10.1109 / AI4I46381.2019.00022. Intell. [ 10 ] R. Jiang , R. Banchs and H. Li , " Evaluating and Combining Name Entity Recognition Systems " , Proceedings of the Sixth Named Entity Workshop , 2016. Available : 10.18653 / v1 / w16-2703 [ 11 ] Atika. Dessy , “Ekstraksi Informasi Berita Online dengan Named Entity Recognition ( NER ) dan Rule-Based untuk Visualisasi Penyakit Tropis di Indonesia” , Medan , 2021. terkena gangguan Kemudian dilakukan perbandingan lokasi yang tersebutkan di Twitter tiap Kab / Kot di Provinsi listrik per D.I.Yogyakarta yang bulannya. Tabel VI diatas menunjukkan bahwa total seluruh jumlah yang tersebutkan di tweet adalah 6.064 lokasi. Pada tabel tersebut ditunjukkan bahwa 3 dari 5 kabupaten / kota memiliki jumlah lokasi gangguan listrik yang tersebutkan di tweet paling tinggi pada Bulan Maret. Dimana 3 kabupaten tersebut adalah Kabupaten Bantul , Gunungkidul , dan Kulon Progo. Sementara itu , untuk Kabupaten Sleman , jumlah lokasi gangguan listrik yang tersebutkan di tweet paling tinggi berada pada Bulan Oktober , sedangkan Kota Yogyakarta Bulan Februari. Pada tabel tersebut juga ditunjukkan bahwa 3 dari 5 kabupaten / kota memiliki jumlah lokasi gangguan listrik yang tersebutkan di tweet paling rendah pada Bulan Juli. Dimana 3 kabupaten tersebut adalah Kabupaten Bantul , Kulon Progo , dan Sleman. Sementara itu , untuk Kabupaten Gunungkidul dan Kota Yogyakarta , jumlah lokasi gangguan listrik yang tersebutkan di tweet paling rendah berada pada Bulan Mei. Sehingga dapat disimpulkan bahwa bulan Maret 2020 merupakan bulan yang paling banyak mengalami gangguan listrik. Sedangkan , bulan Juli 2020 merupakan bulan yang paling sedikit mengalami gangguan listrik Dari hasil dan pembahasan diatas , dapat disimpulkan bahwa : VII. PENUTUP Indonesia ( NER ) Bahasa 1. Telah berhasil dibangun model Name Entity Recognition dengan menggunakan library SpaCy. Entitas pada tweet terkait gangguan listrik yang telah berhasil diekstraksi adalah entitas lokasi , dengan label B-LOC dan I-LOC. Proses pelabelan sudah disesuaikan dengan format SpaCy seperti sebagai berikut : Train_data = [ ( " Free Text 1 " , entities : { [ ( start , end , " TAG 1 " ) , ( start , end , " TAG 2 " ) , ( start , end , " TAG 3 " ) ] } ) 2. Model Name Entity Recognition ( NER ) yang dibangun dan digunakan untuk klasifikasi tweet terkait gangguan listrik menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % . tweet 3. Jumlah lokasi yang lokasi yang tersebutkan di terkait gangguan listrik tertinggi berasal dari Kabupaten Sleman dengan jumlah sebesar 2.736 lokasi. Sedangkan terkait jumlah gangguan listrik terendah berasal dari Kabupaten Gunung Kidul dengan jumlah sebesar 225 lokasi. 4. Bulan Maret 2020 merupakan bulan yang paling banyak mengalami gangguan listrik. Sedangkan , Bulan Juli 2020 merupakan bulan yang paling sedikit mengalami gangguan listrik. tersebutkan di tweet DAFTAR PUSTAKA [ 1 ] M. Chaudhari and S. Govilkar , " A Survey of Machine Learning Techniques for Sentiment Classification " , International Journal on Computational Science & Applications , vol. 5 , no. 3 , pp. 13-23 , 2015. Available : 10.5121 / ijcsa.2015.5302. 7 / 7
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O B-METODE O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Penerapan Named Entity Recognition ( NER ) melalui Twitter pada SpaCy Bahasa Indonesia ( Studi Kasus : Gangguan Listrik di Daerah Istimewa Yogyakarta ) Rizka Maulida Yanti ( 221709980 , 4SI1 ) Dosen Pembimbing : Ibnu Santoso , SST , MT terkait gangguan Ringkasan— SpaCy merupakan tools yang dapat menangani masalah Natural Language Processing ( NLP ) dengan efisien , salah satunya adalah Named Entity Recognition ( NER ) . NER digunakan untuk mengekstrak dan mengidentifikasi entitas bernama pada suatu teks. Namun , sejauh ini SpaCy belum merilis pre-train model NER untuk Bahasa Indonesia secara resmi. Di sisi lain , berdasarkan laporan statistik PLN tahun 2019 , Provinsi Yogyakarta merupakan provinsi yang sering mengalami gangguan listrik serta banyak ditemukannya keluhan masyarakat di Twitter terkait gangguan listrik yang terjadi di provinsi tersebut. Dikarenakan belum ditemukannya penelitian ekstraksi informasi jarang ditemukannya penelitian tentang NER dengan menggunakan ini akan SpaCy Bahasa Indonesia. Maka pada penelitian dilakukan ekstraksi informasi terkait gangguan listrik di Provinsi Yogyakarta melalui Twitter dengan menggunakan SpaCy Bahasa Indonesia. Penelitian ini menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % .. Kemudian , dilakukan pemetaan berdasarkan entitas lokasi yang terdapat dalam tweet terkait gangguan listrik. Dari proses tersebut didapat bahwa jumlah lokasi yang tersebutkan di tweet terkait gangguan listrik tertinggi berasal dari Kabupaten Sleman , sedangkan jumlah terendah berasal dari Kabupaten Gunung Kidul. Lalu , bulan yang paling banyak mengalami gangguan listrik adalah Bulan Maret 2020 , sedangkan yang paling sedikit adalah Bulan Juli 2020. serta masih listrik Kata Kunci— Information Extraction , NER , SpaCy , Twitter , Gangguan Listrik.
VII. PENUTUP Indonesia ( NER ) Bahasa 1. Telah berhasil dibangun model Name Entity Recognition dengan menggunakan library SpaCy. Entitas pada tweet terkait gangguan listrik yang telah berhasil diekstraksi adalah entitas lokasi , dengan label B-LOC dan I-LOC. Proses pelabelan sudah disesuaikan dengan format SpaCy seperti sebagai berikut : Train_data = [ ( " Free Text 1 " , entities : { [ ( start , end , " TAG 1 " ) , ( start , end , " TAG 2 " ) , ( start , end , " TAG 3 " ) ] } ) 2. Model Name Entity Recognition ( NER ) yang dibangun dan digunakan untuk klasifikasi tweet terkait gangguan listrik menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % . tweet 3. Jumlah lokasi yang lokasi yang tersebutkan di terkait gangguan listrik tertinggi berasal dari Kabupaten Sleman dengan jumlah sebesar 2.736 lokasi. Sedangkan terkait jumlah gangguan listrik terendah berasal dari Kabupaten Gunung Kidul dengan jumlah sebesar 225 lokasi. 4. Bulan Maret 2020 merupakan bulan yang paling banyak mengalami gangguan listrik. Sedangkan , Bulan Juli 2020 merupakan bulan yang paling sedikit mengalami gangguan listrik. tersebutkan di tweet
( NLP ) dengan efisien , salah satunya adalah Named Entity Recognition ( NER ) . NER digunakan untuk mengekstrak dan mengidentifikasi entitas bernama dengan menggunakan ini akan SpaCy Bahasa Indonesia. Maka pada penelitian dilakukan ekstraksi informasi terkait gangguan listrik di Provinsi Yogyakarta melalui Twitter dengan menggunakan SpaCy Bahasa Indonesia. Penelitian ini menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % .. Kemudian , dilakukan pemetaan berdasarkan entitas lokasi yang terdapat tweet terkait gangguan listrik. Dari proses tersebut didapat bahwa jumlah lokasi yang tersebutkan di tweet terkait gangguan listrik tertinggi berasal dari Kabupaten Sleman , sedangkan jumlah terendah berasal dari Kabupaten Gunung Kidul. Lalu , bulan yang paling banyak mengalami gangguan listrik listrik menghasilkan performa hasil yang baik dengan hasil perhitungan precision 95.52 % , recall 93.27 % , dan f1-score 94.38 % . tweet 3. Jumlah lokasi yang lokasi
O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O B-METODE O O O B-METODE O O O O B-METODE O O O O O O O O O