Kajian Perbandingan pada Klasifikasi Sentimen Twitter Multi-kelas Berbahasa Indonesia yang Tidak Seimbang dengan Support Vector Machine (SVM) 
Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik Kajian Perbandingan pada Klasifikasi Sentimen Twitter Multi-kelas Berbahasa Indonesia yang Tidak Seimbang dengan Support Vector Machine ( SVM ) M. Rizki ( 221709863 , 4SD1 ) Dosen Pembimbing : Budi Yuniarto , SST , M.Si Ringkasan— Analisis sentimen Twitter telah menjadi penelitian yang penting dan menarik banyak pihak , baik dibidang keilmuan maupun non keilmuan. Hal ini dikarenakan Twitter merupakan salah satu penyedia data teks mentah terbesar saat ini di mana orang bebas beropini mengenai suatu hal. Namun , permasalahan ketidakseimbangan data pada analisis ini cenderung jarang diatasi. Membangun model pada data yang tidak seimbang akan menghasilkan performa yang bias , karena hanya akan cenderung mengklasifikasi data pada kelas dengan data yang lebih banyak ( mayor ) . Oleh karenanya , pada penelitian ini , kami bertujuan untuk menghubungkan pembelajaran mengenai ketidakseimbangan data dengan analisis sentimen. Penelitian ini meliputi tiga metode resampling : SMOTE , Tomek Link , SMOTTomek ; algoritma klasifikasi Multi-kelas SVM dengan pendekatan One vs Rest ( OVR ) dan One vs One ( OVO ) ; Kernel RBF dan Linier ; dan penggunaan beberapa dataset Twitter multi-kelas berbahasa Indonesia , termasuk dataset sentimen masyarakat di Twitter mengenai pelayanan PT KAI. Kata Kunci— Imbalance data , Multi-kelas SVM , SMOTE , Tomek Link , SMOTTomek. I. LATAR BELAKANG Twitter sebagai salah satu media sosial populer saat ini memberikan fasilitas bagi pengguna untuk mencurahkan perasaan , emosi , dan sikap terhadap suatu topik melalui cuitan biasa disebut dengan twit. Setiap hari , terdapat lebih dari 500 juta twit diproduksi secara online [ 1 ] . Fakta ini memungkinkan seseorang untuk melakukan analisis terhadap opini masyarakat Twitter. Saat ini telah berkembang metode untuk mempelajari opini dengan jumlah yang besar baik pada level holistik maupun level individu yang disebut analisis sentimen [ 2 ] . Tujuan utama dari analisis sentimen adalah untuk mendapatkan informasi tentang bagaimana kecenderungan opini ( polaritas ) pengguna terhadap entitas yang diperbincangkan ( contoh : positif , netral , negatif ) . Metode ini menciptakan peluang besar bagi sektor bisnis untuk menilai kualitas layanan produk mereka secara subjektif dan hemat [ 1 ] . Pada data Twitter di mana sifatnya yang bersifat acak dan tidak terstruktur serta memiliki volume yang sangat besar , sangat memungkinkan terjadinya ketidakseimbangan data. Namun , dibanyak studi mengenai analisis sentimen , seringkali ketidakseimbangan data ini tidak diatasi [ 3 ] . Banyak penelitian mengenai klasifikasi sentimen berasumsi bahwa data pada kelas sudah seimbang , padahal pada prakteknya tidak demikian [ 4 ] . Membangun model klasifikasi pada data yang tidak seimbang akan menghasilkan performa yang bias dan model akan salah memprediksi kelas pada data uji karena hanya akan cenderung mengklasifikasikan data pada kelas dengan proporsi lebih banyak. Untuk mengatasi permasalahan ketidakseimbangan data , salah satu yang dapat dilakukan adalah dengan menggunakan pendekatan resampling [ 5 ] . Pendekatan resampling berfokus pada mengubah jumlah data menjadi seimbang sebelum diproses ke dalam algoritma. Pada pendekatan resampling , dataset algoritma klasifikasinya , sehingga lebih baik dan lebih serba guna untuk digunakan [ 5 ] – [ 7 ] . independen dengan lebih bersifat Terdapat tiga jenis teknik resampling , yaitu oversampling , undersampling , dan hybridsampling [ 6 ] . Salah satu teknik oversampling yang sering digunakan dan terbukti dapat mengatasi permasalahan ketidakseimbangan data dengan baik adalah synthetic minority oversampling technique ( SMOTE ) . Pada penerapan undersampling , salah satu teknik yang dapat mengatasi noise pada data adalah Tomek Link. Pada hybridsampling , kita dapat menggabungkan kedua algoritma ini ( SMOTE dan Tomek Link ) menjadi SMOTTomek berdasarkan penelitian terdahulu ( Batista , 2003 ) . Ketiga algoritma resampling ini terbukti merupakan algoritma terbaik ketika menangani kasus dataset sentimen biner berbahasa Indonesia yang tidak seimbang [ 7 ] . mengenai Penelitian perbandingan penanganan ketidakseimbangan data pada area klasifikasi sentimen berbahasa Indonesia masih sangat jarang dilakukan. Penelitian yang ada saat ini pernah dilakukan oleh [ 7 ] , [ 8 ] , di mana pada penelitian tersebut mereka membandingkan beberapa algoritma resampling yang ada , namun masih terbatas pada penanganan satu dataset saja dan terbatas pada permasalahan klasifikasi biner ( positif / negatif ) , padahal pengguna informasi sering kali menginginkan informasi yang lebih detil dalam bentuk multikelas yang lebih halus seperti penambahan kelas netral [ 1 ] , [ 6 ] . Ketika melakukan studi pada area klasifikasi data , dibutuhkan algoritma klasifikasi untuk melakukan proses pembelajaran. Algoritma klasifikasi yang sudah terbukti bekerja dengan baik pada data yang tidak seimbang adalah support vector machine ( SVM ) [ 9 ] , [ 10 ] . SVM bekerja dengan cara mencari hyperplane terbaik untuk memisahkan dua kelas. Di beberapa kasus , terdapat kelas yang tidak dapat dipisahkan secara linier , sehingga dibutuhkan transformasi ruang data ke dimensi yang lebih tinggi agar kelas dapat dipisahkan. Sebuah fungsi kernel biasanya digunakan untuk melakukan transformasi tersebut. Beberapa kernel yang biasa digunakan diantaranya adalah kernel linear dan kernel radial basic function ( RBF ) . Beberapa penelitian terkini seperti yang dilakukan oleh [ 9 ] , di mana mereka menggunakan SVM linear pada klasifikasi data tidak seimbang dan teks yang menyimpulkan hasil yang efektif. Penelitian penggunaan 1 / 9 kernel RBF pada data tidak seimbang pernah dilakukan oleh [ 10 ] , di mana mereka menggunakan SVM RBF untuk melakukan klasifikasi data teks yang tidak seimbang dan juga terbukti efektif. Kedua kernel tersebut terbukti efektif dalam mengklasifikasikan data teks tidak seimbang , namun belum ada yang berfokus membandingkan kedua kernel ini pada area klasifikasi data teks tidak seimbang. Sejak penelitian mengenai analisis sentimen dan ketidakseimbangan data pada dataset multikelas sangat jarang dilakukan , terdapat gap penelitian mengenai perbandingan dari teknik penanganan ketidakseimbangan data pada area klasifikasi sentimen multikelas data [ 1 ] , [ 11 ] . Oleh karenanya pada penelitian ini , kami akan melakukan studi eksperimen mengenai analisis perbandingan teknik resampling bersama dengan algoritma SVM pada dataset Twitter multikelas berbahasa Indonesia yang tidak seimbang. Untuk melakukan eksperimen ini , kami menggunakan teknik resampling SMOTE , Tomek Link , dan SMOTTomek yang telah mewakili ketiga teknik resampling. Algoritma klasifikasi yang digunakan adalah SVM dengan teknik binerisasi One vs All ( OVA ) dan One vs One ( OVO ) serta kernel SVM yang digunakan adalah Linier dan RBF. Dataset yang digunakan pada penelitian ini terdiri dari satu data primer dan enam data sekunder. Data primer dikumpulkan secara mandiri melalui proses scrapping akun @ KAI121 yang merupakan akun khusus layanan pelanggan KAI. Alasan penggunaan data ini dikarenakan melalui data ini , kita dapat mengimplementasikan model machine learning terbaik untuk melakukan penilaian terhadap kualitas pelayanan dari PT KAI. Sedangkan , data sekunder dikumpulkan melalui penelitian terdahulu dan publikasi. II. TUJUAN PENELITIAN Berdasarkan latar belakang dan rumusan masalah , tujuan penelitian ini adalah sebagai berikut : Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik digunakan dan perbandingan antara teknik binerisasi OVO dan OVA. Pada penelitian ini , disimpulkan bahwa teknik binerisasi OVO lebih baik dibandingkan dengan teknik binerisasi OVA. Indrawati et al. ( 2020 ) yang melakukan analisis pengaruh metode resampling pada kategorisasi data Indonesian Scientific Journal Database ( ISJD ) . Pada penelitian ini , Indrawati menggunakan TF-IDF sebagai feature extraction dan Chi- square sebagai feature selection. Penelitian ini menyimpulkan bahwa metode resampling dapat meningkatkan performa model klasifikasi pada kasus klasifikasi data ISJD melalui nilai presisi , recall , F1-Score ; dengan SMOTE merupakan metode terbaik , Tomek Link merupakan metode oversampling undersampling terbaik , dan SMOTTomek adalah metode gabungan terbaik dalam mengkategorikan dataset ISJD [ 7 ] . Penelitian mengenai penggunaan algoritma Multikelas SVM pada data sentimen Twitter berbahasa Indonesia telah dilakukan oleh Alita et al. ( 2020 ) di mana pendekatan yang digunakan yaitu One vs One ( OVO ) dan One vs All ( OVA ) . Pada penelitian ini , Alita et al. ( 2020 ) yang menggunakan TF- IDF dengan unigram kata. Kesimpulan menunjukkan bahwa pendekatan OVO lebih baik untuk nilai presisi , recall , dan F1- Score , sedangkan pendekatan OVA lebih baik untuk nilai akurasi. Berdasarkan penelitian terkait diatas , terdapat beberapa perbedaan dengan penelitian ini. Kami belum menemukan literatur terpublikasi yang melakukan penelitian mengenai penanganan ketidakseimbangan data pada area klasifikasi sentimen multikelas berbahasa Indonesia. Kebanyakan literatur melakukan penerapan metode resampling yang berfokus pada satu dataset seperti yang dilakukan oleh penelitian terdahulu [ 8 ] [ 13 ] dan terbatas pada dataset biner saja. analisis perbandingan 1. Melakukan metode resampling ( SMOTE , Tomek Link , dan SMOTTomek ) yang diterapkan pada kasus klasifikasi data Twitter multikelas berbahasa Indonesia yang tidak seimbang. 2. Melakukan analisis perbandingan antara kernel linear dan RBF pada kasus klasifikasi data Twitter multikelas berbahasa Indonesia yang tidak seimbang. 3. Melakukan analisis perbandingan antara teknik binerisasi One vs All ( OVA ) dan One vs One ( OVO ) pada kasus klasifikasi data Twitter multikelas berbahasa Indonesia yang tidak seimbang. 4. Menerapkan model terbaik pada kasus analisis sentimen data Twitter multikelas Kereta Api Indonesia ( KAI ) . III. PENELITIAN TERKAIT Fernandez et al. , ( 2013 ) melakukan studi mengenai klasifikasi data multikelas yang tidak seimbang menggunakan pendekatan binerisasi. Dataset yang digunakan terdiri dari beberapa dataset tidak seimbang berbasis multikelas. Algoritma klasifikasi yang digunakan adalah SVM , Decision Tree , KNN dengan pendekatan OVO dan OVA. Pada studi ini , Fernandez dkk melakukan beberapa studi , salah satunya yaitu melihat perbandingan antara antar teknik resampling yang Gambar 1. Diagram penelitian terkait. IV. METODE PENELITIAN A. Ruang Lingkup Penelitian Pada penelitian ini , kami melakukan penerapan metode resampling pada klasifikasi sentimen Twitter multikelas berbahasa Indonesia yang tidak seimbang. Untuk mencapai tujuan penelitian , kami melakukan eksperimen dengan dua 2 / 9 jenis algoritma klasifikasi , yaitu One vs All SVM dan One vs One SVM yang dikombinasikan dengan tiga algoritma resampling , yaitu SMOTE , Tomek Link , dan SMOTTomek. Dataset yang digunakan terdiri dari dataset primer dan dataset sekunder. Dataset primer didapat melalui proses scrapping akun Twitter @ KAI121 , sedangkan dataset sekunder didapat melalui studi literatur. Hasil performa model dievaluasi menggunakan nilai F1-Score dan geometric mean dengan pendekatan rata-rata makro. Seluruh pembuatan model ini menggunakan bahasa pemrograman Python. Hasil dari setiap performa model akan dilakukan uji statistik nonparametrik untuk menggali informasi lebih dalam mengenai pengaruh dari penerapan berbagai model. B. Metode Pengumpulan Data Pada tahap ini dilakukan proses pengambilan data Twitter berbahasa Indonesia. Data yang digunakan pada penelitian ini terdiri dari dua jenis , pertama data primer yang dikumpulkan melalui proses scrapping , Kedua yaitu data sekunder yang dikumpulkan melalui studi literatur. Seluruh data pada penelitian memiliki indeks rasio ketidakseimbangan > 1.5 , di mana batasan ini digunakan pada penelitian terdahulu [ 1 ] , [ 6 ] . Indeks rasio ketidakseimbangan dirumuskan sebagai berikut. 𝐼𝑅 = 𝑁− 𝑁+ ( 1 ) Di mana 𝑁− dan 𝑁+ anggota pada kelas mayor dan kelas minor. Berikut penjelasan mengenai data Primer dan data Sekunder yang digunakan. Data Primer Gambar 2. Diagram alur proses scrapping. Pada data primer , data dikumpulkan dengan cara scrapping secara langsung dengan menggunakan library Twint pada bahasa pemrograman Python. Gambar 2 menjelaskan alur proses scrapping data KAI. Library twint digunakan karena kelebihannya yang tidak memerlukan akun developer dan tidak perlu memahami API Twitter lebih dalam. Konfigurasi yang digunakan sebagai input pencarian yaitu “ @ KAI121” yang merupakan akun aduan konsumen terhadap pelayanan Kereta Api Indonesia. Bahasa twit yang disaring hanya bahasa Indonesia , rentang waktu yang digunakan yaitu satu minggu , mulai 24 Desember 2019 sampai 31 Desember 2019 , di mana data yang terkumpul berjumlah 7.129 twit mentah yang akan dikategori menjadi Proses pengkategorian pada data primer ini menggunakan bantuan dari library polygot yang memungkinkan kita untuk melakukan labelling data secara otomatis. Data yang telah di-scrapping dan di-labelling akan disimpan di excel dengan format .csv. negatif , positif. netral , Data Sekunder Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik Data sekunder merupakan dataset yang dikumpulkan melalui studi literatur. Pada data sekunder , data yang dikumpulkan adalah data sentimen Twitter multikelas berbahasa Indonesia yang memiliki index ratio > 1,5. Batasan ini berdasarkan penelitian yang dilakukan oleh [ 1 ] , [ 6 ] . Dataset sekunder yang berhasil dikumpulkan adalah sebanyak enam dataset. Tabel II memperlihatkan deskripsi singkat mengenai keenam dataset. C. Tahapan Penelitian Gambar 3. Diagram alur tahapan penelitian. Tahap Preprocessing Secara umum dan sekaligus pada penelitian ini , proses preprocessing pada twit Twitter meliputi cleaning data , case folding , tokenisasi , normalisasi , penghapusan stopwords , dan stemming. 1. Data cleaning Pada tahap ini dilakukan penghapusan atribut dan elemen yang tidak mendukung pada proses klasifikasi sentimen. Contoh dari atribut dan elemen tersebut seperti mention ( @ ) , hashtag ( # ) , url ( “http” , “bit.ly” ) , nomor , kode ASCII , tanda baca ( . , ” ! ? ... ) , double space , huruf muncul tiga , emoticon , dan menggantikannya dengan spasi. lebih dari 2. Case folding Pada tahap ini , semua huruf kapital pada dataset diubah menjadi huruf kecil ( case folding ) . 3. Tokenisasi Pada tahap ini , dilakukan pemotongan kata berdasarkan tiap kata yang menyusun setiap twit pada dataset. 4. Normalisasi Pada tahap ini dilakukan konversi kata yang tidak sesuai dengan EYD atau biasa disebut slang word. 5. Stopwords Removal Pada tahap ini dilakukan penghapusan kata yang sering muncul , namun tidak berpengaruh besar terhadap performa model klasifikasi atau biasa disebut kata stopwords. 6. Stemming Pada tahap ini dilakukan konversi kata yang ada pada dataset kedalam bentuk baku berbasis kamus. Ekstraksi Fitur Ekstraksi fitur pada penelitian ini menggunakan algoritma TF-IDF dengan penyetelan parameter ngram yaitu unigram , bigram , dan trigram. Resampling Data 3 / 9 Setelah dilakukan ekstraksi fitur , maka berfokus pada penelitian ini , akan dilakukan proses resampling untuk mengatasi ketidakseimbangan data. Berikut konfigurasi algoritma resampling yang digunakan. 1. SMOTE Algoritma SMOTE diterapkan dengan menggunakan library imblearn yang ada di Bahasa pemrograman Python. Nilai K yang digunakan adalah 5 yang menunjukkan bahwa data sintesis dibentuk melalui 5 tetangga terdekat dari data minor. 2. Tomek Link Algoritma Tomek Link diterapkan dengan konfigurasi parameter yaitu strategy_sampling = ‘majority’ , agar algoritma melakukan undersampling pada kelas mayor. 3. SMOTE-Tomek Link Algoritma ini diterapkan dengan menggunakan library imblearn yaitu SMOTETomek. Parameter yang digunakan adalah parameter bawaan atau default. Klasifikasi Data Algoritma klasifikasi yang digunakan yaitu Multikelas SVM dengan penyetelan parameter kernel RBF dan kernel linier , serta parameter gamma : 0.1 , 0.2 , 0.3 , 0.4 , 0.5 , 0.6 , 0.7 , 0.8 , 0.9 , 1.0 melalui dua pendekatan , yaitu One vs All ( OVA ) dan One vs One ( OVO ) . Algoritma ini diterapkan dengan bantuan fungsi SVC pada package SVM library sckit-learn serta package multiclass pada library sckit-learn. Pembangunan Model Klasifikasi Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik 2. Split data menjadi data latih dan data uji dengan proporsi 70 % data latih dan 30 % data uji. 3. Bangun model dengan menggunakan pipeline dan GridsearchCV agar memungkinkan untuk melakukan tuning hyperparameter terhadap model. Proses pembangunan model dilakukan menggunakan data latih. 4. Setelah model dengan parameter terbaik didapat , lakukan proses pengujian model dengan menggunakan data uji. Evaluasi Model Pada tahap ini , dilakukan evaluasi dari setiap model yang telah diuji dengan menggunakan nilai F1-Score dan geometric mean dengan pendekatan rata-rata makro [ 1 ] , [ 4 ] , [ 11 ] . D. Uji Statistik Pada penelitian ini , kami melakukan uji statistik untuk mencapai tujuan penelitian. Uji yang digunakan adalah uji nonparametrik , mengingat bahwa jenis data yang digunakan merupakan data nonstasioner serta tidak memungkinkan untuk memenuhi persyaratan uji parametrik , serta uji ini lebih direkomendasikan ketika diterapkan pada kasus machine learning dibandingkan dengan uji parametrik berdasarkan penelitian terdahulu [ 13 ] . Uji nonparametric yang digunakan pertama adalah uji Wilcoxon yang digunakan untuk melakukan perbandingan berpasangan antara dua perlakuan. Kedua adalah uji friedman untuk melakukan perbandingan berpasangan antara tiga atau lebih perlakuan. Ketiga adalah uji Lanjutan yang digunakan apabila terdapat hasil yang Tolak H0 pada uji Friedman , uji ini digunakan untuk melihat perlakuan mana yang signifikan mempengaruhi variabel kontrol. Uji-uji ini pernah digunakan pada penelitian sebelumnya [ 1 ] , [ 6 ] . V. KERANGKA PIKIR Berikut Gambar 5 memperlihatkan kerangka pikir pada penelitian ini. Gambar 4. Alur pembangunan model. Pada Gambar 4 , dijelaskan mengenai alur pembangunan model. Pembangunan model secara keseluruhan dilakukan menggunakan pipeline dan gridsearchCV. Pipeline digunakan agar proses coding yang dilakukan dapat menampung beberapa proses sekaligus dan gridsearchCV digunakan agar dapat melakukan tuning hyperparameter terhadap model. Berikut tahapan pembuatan model klasifikasi : 1. Lakukan proses preprocessing pada dataset. Gambar 5. Kerangka pikir penelitian. Pada Gambar 5 , dijelaskan mengenai kerangka pikir penelitian ini. Pada penelitian ini , dataset yang digunakan merupakan dataset sentimen Twitter multikelas berbahasa Indonesia yang tidak seimbang. Metode yang diusulkan adalah menggunakan algoritma klasifikasi Support Vector Machine ( SVM ) . Indikator yang diobservasi adalah penggunaan kernel 4 / 9 linier dan kernel RBF pada SVM , penggunaan teknik binerisasi One vs All ( OVA ) dan One vs One ( OVO ) pada SVM , dan penggunaan teknik resampling SMOTE , Tomek Link , dan SMOTTomek pada kasus data tidak seimbang. Tujuan dari penelitian indikator. ini adalah membandingkan setiap Pengukuran perbandingan indikator dilakukan dengan menggunakan uji nonparametrik Wilcoxon dan Friedman terhadap nilai evaluasi performa F1-Score dan G-Mean yang dihasilkan setiap indikator. VI. HASIL DAN PEMBAHASAN A. Deskripsi Data Data yang digunakan pada penelitian ini sebagaimana disebutkan pada bab metode penelitian yang terdiri dari dua jenis data , data primer dan data sekunder , di mana seluruh data memiliki indeks rasio ketidakseimbangan > 1.5. Data Primer TABEL I DESKRIPSI DATA KAI YANG SUDAH BERSIH Data Jumlah Data Kelas Negatif Netral Positif Fitur Sampel IR KAI 2224 2906 885 102970 6015 3.28 Data Sekunder TABEL II DESKRIPSI DATA SEKUNDER YANG SUDAH BERSIH Jumlah Data Kelas Data Fitur Sampel IR Negatif Netral Positif Random 2887 5327 2592 127912 10806 2.05 Prabowo Covid Jokowi 77 245 241 163 347 443 90 584 143 4152 330 2.11 20369 1176 2.38 8478 827 3.09 Tripadvisor 3791 1256 7087 279163 12134 5.64 Polisi 116 18 87 3838 221 6.44 B. Preprocessing Data Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik @ KAI121 Min aplikasi nya kenapa sih ? Lemot banget ? Mau masuk ke pembayaran langsung notif â€œserver sibuk bla bla blaâ€ ( cid:157 ) â€œKeputusan hari ini menentukan tiket ke depan minâ€ ( cid:157 ) # SahabatKAI Minta tolong di follow up min aplikasi & amp ; web nya ðŸ˜ min aplikasi nya sih lambat banget masuk pembayaran notif server sibuk bla bla bla keputusan menentukan tiket min sahabatkai follow up min aplikasi amp web nya Hasil preprocessing pada Tabel III merupakan hasil setelah melewati beberapa tahapan seperti yang dijelaskan pada bab IV metode penelitian. C. Evaluasi Model One vs All ( OVA ) TABEL IV NILAI F1-SCORE DAN G-MEAN TERBAIK DARI SVM OVA UNTUK SETIAP DATASETT DAN KERNEL Dataset Kernel F1 Score OVA G-Mean OVA 0.563*** 0.656*** Random Prabowo Covid Jokowi Tripadvisor Polisi KAI RBF Linear RBF Linear RBF Linear RBF Linear RBF 0.577* 0.629* 0.624 0.594* 0.6* 0.557** 0.664* 0.819*** Linear 0.814*** RBF Linear RBF Linear 0.527* 0.542 0.598* 0.612* Ket : Hasil Original. *Hasil SMOTE. **Hasil Tomek Link. ***Hasil SMOTTomek. 0.674* 0.697* 0.696 0.682* 0.698* 0.64** 0.731* 0.866*** 0.854*** 0.644*** 0.635 0.682* 0.702* Sebelum proses analisis dilakukan , data teks harus melalui tahap preprocessing terlebih dahulu untuk menghilangkan noise dan memperbaiki kualitas data. Berikut Tabel III yang menunjukkan beberapa contoh hasil teks twit sebelum dan sesudah preprocessing. TABEL III Contoh hasil akhir preprocessing Sebelum Preprocessing Setelah Preprocessing Masih pagi sarapannya udah geprek aja , @ KAI121 https : / / t.co / zp1imiI0e8 2 hari kemudian belum cair cair , gini ya pelayanan kalo kita ngecancel tiket ? ? @ KAI121 pagi sarapannya geprek cair cair pelayanan ngecancel tiket Pada Tabel IV diatas diperlihatkan hasil dari nilai F1-Score dan geometric mean dari SVM OVA terbaik untuk setiap dataset dan kernel. Pada Tabel terlihat bahwa nilai F1-Score dan geometric mean yang dihasilkan melalui teknik resampling lebih mendominasi dibandingkan dengan tanpa resampling , baik untuk F1-Score maupun geometric mean. Hal ini sesuai dengan asumsi awal dan hasil dari beberapa penelitian yang ada teknik resampling yang digunakan pada model bahwa klasifikasi data yang tidak seimbang dapat meningkatkan performa dari model klasifikasi. One vs One ( OVO ) TABEL V NILAI F1-SCORE DAN G-MEAN TERBAIK DARI SVM OVO UNTUK SETIAP DATASETT DAN KERNEL 5 / 9 Dataset Kernel F1 Score OVO G-Mean OVO Random Prabowo Covid Jokowi RBF Linear RBF Linear RBF Linear RBF 0.537** 0.633** 0.576* 0.605* 0.624 0.594* 0.594* 0.531*** 0.673* 0.683* 0.696 0.687* 0.694* 0.623* Linear 0.644** 0.715*** Tripadvisor Polisi KAI RBF Linear RBF 0.813*** 0.817* 0.592* Linear 0.542*** RBF Linear 0.585* 0.612* 0.86*** 0.857* 0.653*** 0.635*** 0.67*** 0.702*** Ket : Hasil Original. *Hasil SMOTE. ** Hasil Tomek Link. *** Hasil SMOTTomek. Pada Tabel V diatas diperlihatkan hasil dari nilai F1-Score dan geometric mean terbaik dari SVM OVO untuk setiap dataset dan kernel. Pada Tabel terlihat bahwa nilai F1-Score dan geometric mean yang dihasilkan sangat beragam untuk setiap perlakuan. Pada Tabel dapat disimpulkan bahwa nilai F1-Score dan G-Mean dengan teknik resampling cenderung lebih baik dibandingkan dengan tanpa resampling. Terlihat bahwa performa yang dihasilkan dengan teknik resampling lebih mendominasi dibandingkan dengan tanpa resampling , baik pada nilai F1-Score maupun geometric mean. Hal ini sesuai dengan asumsi awal dan hasil dari beberapa penelitian yang ada bahwa teknik resampling yang digunakan pada model klasifikasi data yang tidak seimbang dapat meningkatkan performa dari model klasifikasi. D. Uji Statistik Perbandingan teknik resampling teknik perbandingan Pada resampling , kami membandingkan empat perlakuan resampling yang dilakukan pada penelitian ini , yaitu tanpa resampling ( Original ) , SMOTE , Tomek Link , dan SMOTTomek. Uji statistik yang digunakan adalah uji statistik nonparametrik Friedman , di mana uji ini memungkinkan kita untuk melihat apakah ada perbedaan yang signifikan antar perlakuan yang diterapkan serta melihat ranking perlakuan yang menunjukkan perlakuan mana yang memberikan hasil terbaik. Tingkat signifikansi alpha yang digunakan adalah 5 % . Berikut hipotesis yang terbentuk ketika melakukan uji Friedman. H0 : M1 = M2 = … = Mk atau setiap teknik resampling memiliki median yang sama atau tidak terdapat perbedaan yang signifikanantar teknik resampling. Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik H1 : Minimal satu Mi…k memiliki median yang berbeda atau terdapat perbedaan yang signifikan antar perlakuan. Hasil keputusan akan Tolak H0 apabila p-value yang dihasilkan ≤ 0.05 , dan sebaliknya akan Gagal Tolak H0 apabila > 0.05. TABEL VI RATA-RATA RANKING ( UJI FRIEDMAN ) TERHADAP TEKNIK RESMPLING Algorit ma SVM OVA SVM OVO Jenis Evalua si F1- Score G- Mean F1- Score G- Mean Teknik Resampling Origin al 1.8571 4 1.7857 1 1.6071 4 1.5714 3 SMOT E 3.0714 3 3.2142 9 3.1785 7 3.2857 1 Tomek Link SMOTTom ek 2.35714 2.71429 2.14286 2.85714 2.39286 2.82143 2.17857 2.96429 Pada Tabel VI , dipaparkan nilai rata-rata ranking hasil uji friedman dari teknik resampling berdasarkan setiap evaluasi dari tiap algoritma. Pada Tabel terlihat bahwa nilai F1-Score dan G-Mean dari kedua algoritma didominasi oleh model data SMOTE , diikuti oleh SMOTTomek , Tomek Link , dan terakhir Original. Berdasarkan hasil uji Friedman pada Tabel VI dihasilkan hasil yang tolak H0 pada nilai G-Mean pada SVM OVA dan nilai F1-Score dan G-Mean pada SVM OVO. Hal ini menunjukkan bahwa terdapat perbedaan nilai G-Mean yang signifikan pada SVM OVA ketika diterapkan teknik resampling , dan nilai F1-Score dan G-Mean pada SVM OVO. Untuk melihat teknik resampling mana yang memberikan dampak yang signifikan , maka dilakukan uji lanjutan ( uji dunn ) pada hasil yang tolak H0. Berikut Tabel VII memperlihatkan hasil dari uji lanjutan. TABEL VII HASIL UJI LANJUTAN ( UJI DUNN ) DARI UJI FRIEDMAN P-Value Algoritma Jenis Evaluasi Original vs SMOTE Original vs SMOTTomek Original vs Tomek Link SVM OVA G-Mean 0.01024 0.08432 1 SVM OVO F1-Score 0.00384 0.03848 0.32204 G-Mean 0.00133 0.01293 0.6402 Berdasakan hasil pada Tabel VII , dapat disimpulkan bahwa teknik resampling yang memberikan hasil yang signifikan terhadap nilai G-Mean pada SVM OVA adalah SMOTE , sedangkan pada SVM OVO , teknik resampling yang memberikan dampak yang signifikan terhadap nilai F1-Score dan G-Mean adalah SMOTE dan SMOTTomek. Dari hasil ini dapat disimpulkan bahwa teknik resampling terbaik yang diterapkan pada klasifikasi data teks Twitter tidak seimbang adalah SMOTE , diikuti oleh SMOTTomek , Tomek Link. Teknik resampling yang memberikan dampak yang signifikan ketika diterapkan pada SVM OVA adalah SMOTE , sedangkan pada SVM OVO adalah SMOTE dan SMOTTomek. 6 / 9 Perbandingan kernel Pada bagian ini , kami melakukan perbandingan antar kernel yang digunakan pada algoritma SVM yaitu antara kernel RBF dan kernel linier. Perbandingan dilakukan berdasarkan hasil uji statistik Wilcoxon di mana uji ini digunakan ketika ingin menguji apakah ada perbedaan yang signifikan antar dua perlakuan. Perlakuan disini yaitu kernel RBF dan linier. Tingkat signifikansi yang digunakan adalah 5 % . Berikut hipotesis dari uji Wilcoxon yang terbentuk : H0 : M1 = M2 atau tidak terdapat perbedaan median yang signifikan antara kernel RBF dan linier. H1 : M1 ≠ M2 atau terdapat perbedaan median yang signifikan antara kernel RBF dan linier. Hasil akan tolak H0 apabila p-value yang dihasilkan ≤ 0.05 , dan sebaliknya akan gagal tolak apabila > 0.05. TABEL VIII JUMLAH RANKING ( UJI WILCOXON ) DARI KERNEL RBF DAN LINIER Algoritma Resampling F1-Score G-Mean RBF Linier RBF Linier G- Mean SVM OVA SVM OVO Original SMOTE Tomek Link 3 9 3 25 19 25 1 6 1 27 22 27 SMOTTomek 14.5 13.5 10.5 17.5 Original SMOTE Tomek Link SMOTTomek 0 9 0 8 28 12 28 20 0 9 0 8 28 19 28 29 Pada Tabel VIII diatas dipaparkan jumlah ranking hasil uji Wilcoxon dari kernel linier dan kernel RBF untuk setiap algoritma klasifikasi bersama teknik resampling. Pada Tabel VIII terlihat bahwa jumlah ranking F1-Score dan G-Mean pada kernel linier lebih mendominasi dibandingkan jumlah ranking pada kernel RBF , kecuali pada kombinasi SVM OVA + SMOTTomek. Dari hal ini dapat disimpulkan bahwa kernel linier memberikan performa yang lebih baik dibandingkan kernel RBF ketika digunakan pada algoritma multikelas SVM. Dari hasil uji ini , kami menemukan bahwa terdapat perbedaan performa yang signifikan antara kernel linier dan kernel RBF ketika diterapkan pada model data Original dan model data Tomek Link. Sedangkan , pada model data SMOTE dan SMOTTomek , tidak terdapat perbedaan nilai yang signifikan antara kernel RBF dan kernel linier. Perbandingan teknik binerisasi Pada perbandingan teknik binerisasi , akan dilakukan perbandingan antara teknik binerisasi One vs All ( OVA ) dan One vs One ( OVO ) . Perbandingan dilakukan berdasarkan nilai uji statistik Wilcoxon , di mana uji statistik Wilcoxon digunakan ketika ingin membandingkan antar dua perlakuan. Tingkat signifikansi yang digunakan adalah 5 % . Berikut hipotesis yang terbentuk dari uji Wilcoxon : H0 : M1 = M2 atau tidak terdapat perbedaan median yang signifikan antara OVA dan OVO. Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik H1 : M1 ≠ M2 atau terdapat perbedaan median yang signifikan antara OVA dan OVO. Hasil akan tolak H0 apabila p-value yang dihasilkan ≤ 0.05 , dan sebaliknya akan gagal tolak apabila > 0.05. TABEL IX JUMLAH RANKING ( UJI WILCOXON ) DARI OVA DAN OVO Jenis Evalua si Metode Resam pling Original Jumlah Rank OVA 21 Jumlah Rank OVO p-value ( < 0.05 ) Hasil 0 0.028 H0 ditolak F1- Score SMOTE 69.5 21.5 0.093 Gagal Tolak H0 Tomek Link SMOTT omek Original SMOTE Tomek Link SMOTT omek 20 1 0.046 H0 ditolak 69.5 35.5 0.285 Gagal Tolak H0 15 70 19.5 66.5 0 21 1.5 38.5 0.043 H0 ditolak 0.086 0.058 0.379 Gagal Tolak H0 Gagal Tolak H0 Gagal Tolak H0 Pada Tabel IX dipaparkan mengenai hasil uji Wilcoxon dari hasil evaluasi OVA dan OVO. Tabel IX memperlihatkan hasil uji Wilcoxon berdasarkan nilai F1-Score dan nilai G-Mean untuk masing-masing algoritma SVM OVA dan SVM OVO. Berdasarkan jumlah rank OVA dan OVO pada Tabel IX , dapat disimpulkan bahwa jumlah rank OVA lebih mendominasi dibandingkan jumlah rank OVO , hal ini menunjukkan bahwa teknik binerisasi OVA memiliki hasil yang lebih baik di banyak kasus dataset dan berbagai teknik resampling dibandingkan teknik binerisasi OVO. Berdasarkan hasil p-value yang dihasilkan pada Tabel IX , dapat disimpulkan bahwa antara teknik binerisasi OVA dan OVO , tidak terdapat perbedaan nilai yang signifikan , kecuali pada nilai F1-Score pada model data original dan model data Tomek link , dan pada nilai G-Mean pada model data original. E. Studi Kasus KAI TABEL X EVALUASI MODEL MENGGUNAKAN DATA KAI Evalu asi Algorit ma Ker nel F1- score Origi nal SMO TE Tomek Link SMOTTo mek F1- Score G- Mean SVM OVA SVM OVO SVM OVA SVM OVO RBF 0.548 0.598 0.563 Line ar 0.568 0.612 0.592 RBF 0.545 0.585 0.552 Line ar 0.568 0.612 0.592 RBF 0.649 0.682 0.658 Line ar 0.66 0.702 0.678 RBF 0.649 0.67 0.654 Line ar 0.66 0.702 0.678 0.59 0.606 0.566 0.605 0.674 0.697 0.659 0.695 7 / 9 Berdasarkan hasil pada Tabel X , dapat disimpulkan bahwa model terbaik untuk mengklasifikasikan data sentimen KAI yang tidak seimbang adalah dengan menerapkan teknik resampling SMOTE pada data , serta penggunaan kernel linier pada algoritma , baik pada SVM OVA maupun SVM OVO. Nilai performa tertinggi yang dihasilkan melalui model adalah 61.2 % untuk F1-Score dan 70.2 % untuk G-Mean. Untuk melihat apakah algoritma SMOTE sudah cukup mengatasi permasalahan ketidakseimbangan pada dataset KAI , berikut Gambar 13 dan Gambar 14 ditampilkan nilai sensitivity dan specificity yang dihasilkan oleh algoritma SMOTE. Sensitivity Data KAI 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Original Negatif SMOTE Negatif Original Netral SMOTE Netral Original Positif SMOTE Positif RBF Linear RBF Linear SVM OVA SVM OVO Gambar 6. Sensitivity dari hasil data SMOTE dan Original Pada Gambar 6 , terlihat bahwa nilai sensitivity yang dihasilkan oleh teknik resampling SMOTE ( garis titik-titik ) berhasil memberikan keseimbangan performa disetiap kelas. Hal ini terlihat dari kelas yang mengalami dampak overfitting , yaitu kelas Positif ( minor ) yang mengalami peningkatan nilai sensitivity ketika dilakukan proses SMOTE , artinya pada kelas jumlah data yang Positif diklasifikasikan dengan benar. Sedangkan , pada kelas netral ( mayor ) , mengalami penurunan sensitivity. Hal ini menandakan bahwa indikasi overfitting pada model berkurang ketika menggunakan berhasil mengklasifikasikan data latih secara merata , tidak hanya mengklasifikasikan pada kelas mayor saja. terjadi peningkatan SMOTE , ( minor ) karena model Specificity Data KAI 1.2 1 0.8 0.6 0.4 0.2 0 RBF Linear RBF Linear SVM OVA SVM OVO Original Negatif SMOTE Negatif Original Netral SMOTE Netral Original Positif SMOTE Positif Gambar 7. Specificity dari hasil data SMOTE dan Original Pada Gambar 14 ditampilkan nilai Specificity yang dihasilkan model terhadap data KAI. Dari Gambar terlihat bahwa nilai specificity untuk kelas Netral ( mayor ) mengalami peningkatan , artinya terdapat kenaikan jumlah data yang Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik diprediksi dengan benar pada kelas lain ( Positif dan Negatif ) . Dari hal ini dapat disimpulkan pula bahwa model mengalami peningkatan keseimbangan dalam memprediksi kelas pada dataset. VII. PENUTUP Kesimpulan : 1. Berdasarkan hasil dari perbandingan teknik resampling , teknik resampling terbaik ketika diterapkan pada klasifikasi teks Twitter multikelas berbahasa Indonesia yang tidak seimbang adalah SMOTE , diikuti oleh SMOTTomek , dan Tomek Link. Namun , dari beberapa teknik resampling tersebut , teknik resampling yang memberikan nilai yang signifikan terhadap SVM OVA adalah SMOTE , sedangkan terhadap SVM OVO adalah SMOTE dan SMOTTomek , Ketiga teknik resampling terbukti dapat menaikkan performa model di banyak kasus data teks tidak seimbang. 2. Berdasarkan hasil dari perbandingan kernel antara kernel RBF dan linier , kernel terbaik yang digunakan pada model klasifikasi SVM ketika melakukan klasifikasi teks Twitter multikelas berbahasa Indonesia yang tidak seimbang adalah kernel linier. Di banyak kasus data , performa model yang dihasilkan menggunakan kernel linier memiliki nilai yang lebih baik dibandingkan ketika menggunakan kernel RBF. Hal ini terlihat dari perbandingan jumlah ranking yang didominasi oleh kernel linier. Namun , kami menemukan bahwa antara kernel linier dan RBF , tidak terdapat perbedaan nilai yang signifikan , kecuali pada model data Original dan model data Tomek Link. Pada SMOTE dan SMOTTomek , tidak terdapat perbedaan nilai yang signifikan antara kedua kernel ini. 3. Berdasarkan hasil dari perbandingan teknik binerisasi , teknik binerisasi OVA memberikan performa yang lebih baik dibandingkan teknik binerisasi OVO di berbagai kasus data teks Twitter multikelas tidak seimbang ketika diterapkan pada algoritma klasifikasi SVM. Hal ini terlihat dari perbandingan jumlah rank yang dihasilkan oleh teknik binerisasi OVA yang mendominasi dibandingkan dengan teknik binerisasi OVO. Namun , antara kedua teknik binerisasi , tidak terdapat perbedaan nilai yang signifikan , kecuali pada nilai F1-Score pada model data Original dan Tomek Link , serta nilai G- Mean pada model data Original. 4. Model terbaik pada studi kasus klasifikasi data sentimen multikelas KAI yang tidak seimbang adalah dengan menerapkan SMOTE pada data , baik pada model SVM OVA maupun SVM OVO. Nilai performa terbaik yang dihasilkan adalah 61.2 % untuk F1-Score dan 70.2 % untuk geometric mean. Model ini meningkatkan sekitar 4 % -5 % dari model data Original ( tanpa resampling ) . Saran : 1. Sejak pada penelitian teknik resampling untuk mengatasi ketidakseimbangan data , selanjutnya untuk disarankan untuk penelitian ini menggunakan 8 / 9 Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik classification using SVM : A comparative study , ” Decis. Support Syst. , doi : no. 10.1016 / j.dss.2009.07.011. 191–201 , 2009 , vol. pp. 48 , 1 , [ 10 ] [ 11 ] [ 12 ] [ 13 ] R. Moraes , J. F. Valiati , and W. P. Gavião Neto , “Unbalanced sentiment classification : an assessment of ANN in the context of sampling the majority class , ” PeerJ , vol. 6 , pp. 1–15 , 2018 , doi : 10.7287 / peerj.preprints.26618. B. Krawczyk , B. T. McInnes , and A. Cano , “Sentiment classification from multi-class imbalanced twitter data using binarization , ” Lect. Notes Comput. Sci. ( including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics ) , vol. 10334 LNCS , pp. 26–37 , 2017 , doi : 10.1007 / 978-3-319-59650-1_3. H. Sain and S. W. Purnami , “Combine Sampling Support Vector Machine for Imbalanced Data Classification , ” Procedia Comput. Sci. , vol. 72 , pp. 59–66 , 2015 , doi : 10.1016 / j.procs.2015.12.105. J. Demšar , “Statistical comparisons of classifiers over multiple data sets , ” J. Mach. Learn. Res. , vol. 7 , pp. 1–30 , 2006. penggunaan melakukan ketidakseimbangan data ensambel ( algorithmic sensitive learning. teknik penanganan lainnya , seperti metode level ) dan metode cost- 2. Pada penelitian ini , penggunaan teknik binerisasi yang digunakan adalah OVA dan OVO , di mana kedua teknik ini merupakan dua dari tiga teknik binerisasi yang ada saat ini. Oleh karenanya , penelitian selanjutnya disarankan untuk menggunakan teknik binerisasi directed acyclic graph SVM ( DAGSVM ) ketika memetakan kelas multikelas ke dalam bentuk biner. 3. Pada penelitian ini , kami berfokus pada kajian membandingkan metode yang diterapkan pada SVM ketika menghadapi kasus dataset Twitter multikelas berbahasa Indonesia yang tidak seimbang. Pada penelitian di masa depan , disarankan untuk melakukan studi untuk melihat apakah model terbaik yang mengatasi ketidakseimbangan dan mangatasi indikasi overfitting yang diakibatkan data tidak seimbang. didapat sudah dapat terdiri dari 4. Pada penelitian ini , jumlah kelas pada dataset yang digunakan tiga kelas. penelitian selanjutnya disarankan untuk menggunakan dataset dengan jumlah kelas lebih dari tiga , untuk melihat bagaimana perbandingan hasil yang dihasilkan untuk setiap model. DAFTAR PUSTAKA M. Lango , “Tackling the Problem of Class Imbalance in Multi-class Sentiment Classification : An Experimental Study , ” Found. Comput. Decis. Sci. , vol. 44 , no. 2 , pp. 151–178 , 2019 , doi : 10.2478 / fcds- 2019-0009. A. Sharma and U. Ghose , “Sentimental Analysis of Twitter Data with respect to General Elections in India , ” Procedia Comput. Sci. , vol. 173 , no. 2019 , pp. 325–334 , 2020 , doi : 10.1016 / j.procs.2020.06.038. A. Mountassir , H. Benbrahim , and I. Berrada , “An empirical study to address in sentiment classification , ” Conf. Proc. - IEEE Int. Conf. Syst. Man Cybern. , pp. 3298–3303 , 2012 , doi : 10.1109 / ICSMC.2012.6378300. the problem of unbalanced data sets S. Li , G. Zhou , Z. Wang , S. Y. M. Lee , and R. Wang , “Imbalanced sentiment classification , ” Int. Conf. Inf. Knowl. Manag. Proc. , no. October , pp. 2469–2472 , 2011 , doi : 10.1145 / 2063576.2063994. A. Estabrooks , T. Jo , and N. Japkowicz , “A multiple resampling method for learning from imbalanced data sets , ” Comput. Intell. , vol. 20 , no. 1 , pp. 18–36 , 2004 , doi : 10.1111 / j.0824-7935.2004.t01-1- 00228.x. A. Fernández , V. López , M. Galar , M. J. Del Jesus , and F. Herrera , “Analysing the classification of imbalanced data-sets with multiple classes : Binarization approaches , ” Knowledge-Based Syst. , vol. 42 , pp. 97–110 , 2013 , doi : 10.1016 / j.knosys.2013.01.018. techniques ad-hoc and A. Indrawati , H. Subagyo , A. Sihombing , W. Wagiyah , and S. Afandi , “Analyzing the Impact of Resampling Method for Imbalanced Data Text in Indonesian Scientific Articles Categorization , ” Baca J. Dokumentasi Dan Inf. , vol. 41 , no. 2 , p. 133 , 2020 , doi : 10.14203 / j.baca.v41i2.702. W. Wijanarto and S. P. Brilianti , “Peningkatan Performa Analisis Sentimen Dengan Resampling dan Hyperparameter pada Ulasan Aplikasi BNI Mobile , ” J. Eksplora Inform. , vol. 9 , no. 2 , pp. 140– 153 , 2020 , doi : 10.30864 / eksplora.v9i2.333. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] A. Sun , E. P. Lim , and Y. Liu , “On strategies for imbalanced text 9 / 9
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O B-METODE I-METODE O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik Kajian Perbandingan pada Klasifikasi Sentimen Twitter Multi-kelas Berbahasa Indonesia yang Tidak Seimbang dengan Support Vector Machine ( SVM ) M. Rizki ( 221709863 , 4SD1 ) Dosen Pembimbing : Budi Yuniarto , SST , M.Si Ringkasan— Analisis sentimen Twitter telah menjadi penelitian yang penting dan menarik banyak pihak , baik dibidang keilmuan maupun non keilmuan. Hal ini dikarenakan Twitter merupakan salah satu penyedia data teks mentah terbesar saat ini di mana orang bebas beropini mengenai suatu hal. Namun , permasalahan ketidakseimbangan data pada analisis ini cenderung jarang diatasi. Membangun model pada data yang tidak seimbang akan menghasilkan performa yang bias , karena hanya akan cenderung mengklasifikasi data pada kelas dengan data yang lebih banyak ( mayor ) . Oleh karenanya , pada penelitian ini , kami bertujuan untuk menghubungkan pembelajaran mengenai ketidakseimbangan data dengan analisis sentimen. Penelitian ini meliputi tiga metode resampling : SMOTE , Tomek Link , SMOTTomek ; algoritma klasifikasi Multi-kelas SVM dengan pendekatan One vs Rest ( OVR ) dan One vs One ( OVO ) ; Kernel RBF dan Linier ; dan penggunaan beberapa dataset Twitter multi-kelas berbahasa Indonesia , termasuk dataset sentimen masyarakat di Twitter mengenai pelayanan PT Kata Kunci— Imbalance data , Multi-kelas SVM , SMOTE , Tomek Link , SMOTTomek.
VII. PENUTUP Kesimpulan : 1. Berdasarkan hasil dari perbandingan teknik resampling , teknik resampling terbaik ketika diterapkan pada klasifikasi teks Twitter multikelas berbahasa Indonesia yang tidak seimbang adalah SMOTE , diikuti oleh SMOTTomek , dan Tomek Link. Namun , dari beberapa teknik resampling tersebut , teknik resampling yang memberikan nilai yang signifikan terhadap SVM OVA adalah SMOTE , sedangkan terhadap SVM OVO adalah SMOTE dan SMOTTomek , Ketiga teknik resampling terbukti dapat menaikkan performa model di banyak kasus data teks tidak seimbang. 2. Berdasarkan hasil dari perbandingan kernel antara kernel RBF dan linier , kernel terbaik yang digunakan pada model klasifikasi SVM ketika melakukan klasifikasi teks Twitter multikelas berbahasa Indonesia yang tidak seimbang adalah kernel linier. Di banyak kasus data , performa model yang dihasilkan menggunakan kernel linier memiliki nilai yang lebih baik dibandingkan ketika menggunakan kernel RBF. Hal ini terlihat dari perbandingan jumlah ranking yang didominasi oleh kernel linier. Namun , kami menemukan bahwa antara kernel linier dan RBF , tidak terdapat perbedaan nilai yang signifikan , kecuali pada model data Original dan model data Tomek Link. Pada SMOTE dan SMOTTomek , tidak terdapat perbedaan nilai yang signifikan antara kedua kernel ini. 3. Berdasarkan hasil dari perbandingan teknik binerisasi , teknik binerisasi OVA memberikan performa yang lebih baik dibandingkan teknik binerisasi OVO di berbagai kasus data teks Twitter multikelas tidak seimbang ketika diterapkan pada algoritma klasifikasi SVM. Hal ini terlihat dari perbandingan jumlah rank yang dihasilkan oleh teknik binerisasi OVA yang mendominasi dibandingkan dengan teknik binerisasi OVO. Namun , antara kedua teknik binerisasi , tidak terdapat perbedaan nilai yang signifikan , kecuali pada nilai F1-Score pada model data Original dan Tomek Link , serta nilai G- Mean pada model data Original. 4. Model terbaik pada studi kasus klasifikasi data sentimen multikelas KAI yang tidak seimbang adalah dengan menerapkan SMOTE pada data , baik pada model SVM OVA maupun SVM OVO. Nilai performa terbaik yang dihasilkan adalah 61.2 % untuk F1-Score dan 70.2 % untuk geometric mean. Model ini meningkatkan sekitar 4 % -5 % dari model data Original ( tanpa resampling ) . Saran : 1. Sejak pada penelitian teknik resampling untuk mengatasi ketidakseimbangan data , selanjutnya untuk disarankan untuk penelitian ini menggunakan 8 / 9 Makalah Seminar Skripsi – Program Studi D-IV Komputasi Statistik classification using SVM : A comparative study , ” Decis. Support Syst. , doi : no. 10.1016 / j.dss.2009.07.011. 191–201 , 2009 , vol. pp. 48 , 1 , [ 10 ] [ 11 ] [ 12 ] [ 13 ] R. Moraes , J. F. Valiati , and W. P. Gavião Neto , “Unbalanced sentiment classification : an assessment of ANN in the context of sampling the majority class , ” PeerJ , vol. 6 , pp. 1–15 , 2018 , doi : 10.7287 / peerj.preprints.26618. B. Krawczyk , B. T. McInnes , and A. Cano , “Sentiment classification from multi-class imbalanced twitter data using binarization , ” Lect. Notes Comput. Sci. ( including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics ) , vol. 10334 LNCS , pp. 26–37 , 2017 , doi : 10.1007 / 978-3-319-59650-1_3. H. Sain and S. W. Purnami , “Combine Sampling Support Vector Machine for Imbalanced Data Classification , ” Procedia Comput. Sci. , vol. 72 , pp. 59–66 , 2015 , doi : 10.1016 / j.procs.2015.12.105. J. Demšar , “Statistical comparisons of classifiers over multiple data sets , ” J. Mach. Learn. Res. , vol. 7 , pp. 1–30 , 2006. penggunaan melakukan ketidakseimbangan data ensambel ( algorithmic sensitive learning. teknik penanganan lainnya , seperti metode level ) dan metode cost- 2. Pada penelitian ini , penggunaan teknik binerisasi yang digunakan adalah OVA dan OVO , di mana kedua teknik ini merupakan dua dari tiga teknik binerisasi yang ada saat ini. Oleh karenanya , penelitian selanjutnya disarankan untuk menggunakan teknik binerisasi directed acyclic graph SVM ( DAGSVM ) ketika memetakan kelas multikelas ke dalam bentuk biner. 3. Pada penelitian ini , kami berfokus pada kajian membandingkan metode yang diterapkan pada SVM ketika menghadapi kasus dataset Twitter multikelas berbahasa Indonesia yang tidak seimbang. Pada penelitian di masa depan , disarankan untuk melakukan studi untuk melihat apakah model terbaik yang mengatasi ketidakseimbangan dan mangatasi indikasi overfitting yang diakibatkan data tidak seimbang. didapat sudah dapat terdiri dari 4. Pada penelitian ini , jumlah kelas pada dataset yang digunakan tiga kelas. penelitian selanjutnya disarankan untuk menggunakan dataset dengan jumlah kelas lebih dari tiga , untuk melihat bagaimana perbandingan hasil yang dihasilkan untuk setiap model.
: Budi Yuniarto , SST , M.Si Ringkasan— Analisis sentimen Twitter telah menjadi penelitian yang penting dan menarik , pada penelitian ini , kami bertujuan untuk menghubungkan pembelajaran mengenai ketidakseimbangan data dengan analisis sentimen. Penelitian ini meliputi tiga metode resampling : SMOTE , Tomek Link , SMOTTomek ; algoritma klasifikasi Multi-kelas SVM dengan pendekatan One vs Rest ( perbedaan nilai yang signifikan , kecuali pada nilai F1-Score pada model data Original dan Tomek Link , nilai G- Mean pada model data Original. 4. Model terbaik pada studi kasus klasifikasi data sentimen multikelas KAI yang tidak seimbang adalah dengan menerapkan SMOTE pada data , baik pada model SVM OVA maupun SVM OVO. Nilai performa terbaik yang dihasilkan adalah 61.2 % untuk F1-Score dan 70.2 % untuk geometric mean. Model ini meningkatkan sekitar 4 % -5 % dari model data Original ( tanpa resampling ) . Saran : 1. Sejak pada penelitian teknik resampling
O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O B-METODE I-METODE O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O