Deteksi Hate Speech Berbahasa Indonesia pada Imbalanced Dataset
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Deteksi Hate Speech Berbahasa Indonesia pada Imbalanced Dataset ( Studi Kasus : Komentar pada kompas.com Seputar Covid-19 ) Almira Diva Sanya ( 221810155 , 4SD1 ) Dosen Pembimbing : Dr. Eng. Lya Hulliyyatus Suadaa , SST. , MT. Ringkasan—Di era teknologi saat ini , masyarakat bisa mem- peroleh informasi secara cepat , up to date , serta dalam jumlah banyak dengan mengakses berita secara online. Kolom komentar biasanya disediakan sebagai fitur dalam online news untuk menyampaikan kritik , saran , dan pendapat terhadap suatu berita. Kemudahan ini merupakan bentuk kebebasan berek- spresi dan berpendapat bagi setiap orang. Namun , hal tersebut dapat meningkatkan peluang pengguna untuk mengekspresikan kebencian mereka pada kolom komentar. Maraknya postingan berisi hate speech perlu diatasi dengan pendeteksian hate speech secara otomatis. Namun , ada ketidakseimbangan antara jumlah komentar yang memuat hate speech dengan komentar yang bukan merupakan hate speech. Oleh karena itu , dalam penelitian ini pendeteksian hate speech berbahasa Indonesia pada komentar dilakukan dengan beberapa kondisi imbalanced dataset. Model yang digunakan dalam penelitian ini adalah model SVM , SVM dengan berbagai metode resampling , fine-tuned IndoBERT , dan fine-tuned mBERT. Berdasarkan hasil yang diperoleh , keadaan imbalanced dapat menurunkan kinerja SVM dan model fine- tuned. Selain itu , pada kondisi imbalanced dataset , fine-tuned IndoBERT dapat menangkap konteks kalimat lebih baik dari pada SVM. Kemudian , dengan penerapan strategi oversampling pada SVM dapat meningkatkan kinerja SVM untuk kondisi imbalanced dataset. Kombinasi model SVM dan SMOTE mem- berikan performa terbaik dalam menangani masalah imbalanced dataset. Kata Kunci—Bahasa Indonesia , Imbalanced Dataset , Hate Speech , Komentar Online News , Klasifikasi Teks I. LATAR BELAKANG Perkembangan internet yang pesat telah mengubah gaya hidup manusia , termasuk dalam hal memproduksi dan men- gonsumsi berita [ 1 ] . Internet mempercepat penyebaran berita melalui media online , serta orang dapat dengan mudah mem- baca berita kapan saja dari berbagai sumber [ 2 ] . Terdapat fitur-fitur yang disediakan bagi pengguna dalam menggunakan online news , seperti kolom komentar. Kolom komentar dapat digunakan untuk menyampaikan kritik , saran atau pendapat tentang berita tertentu. Namun , kemudahan pengguna dalam berkomentar di media online memberikan peluang untuk melakukan hate speech di kolom komentar. Beberapa tahun terakhir terjadi wabah yang disebut Covid- 19 , dimana dampak dari wabah ini membuat aktivitas masyarakat atau sosial cenderung dilakukan secara online. Konsumsi media massa dan media sosial sangat tinggi , se- hingga hal ini bisa menjadi salah satu pendorong adanya hate speech [ 3 ] . Selain itu , maraknya informasi terkait Covid-19 yang beredar di media massa dan media sosial berdampak negatif sehingga dapat berujung pada hate speech [ 4 ] . Selama masa pandemi , selain krisis kesehatan Covid-19 yang men- dunia , masalah lain juga terjadi , seperti krisis hubungan sosial , yang menimbulkan permasalahan antar kelompok sosial , serta dalam beberapa kasus , pandemi yang berlangsung cukup lama menimbulkan kesenjangan yang besar dalam memberikan per- awatan [ 5 ] . Salah satu contoh dampak Covid-19 di media sosial yaitu tindak pelecehan terhadap etnis tertentu seperti etnis Asia , serta pelecehan terhadap orang tua diakibatkan korelasi antara kematian yang lebih tinggi pada orang tua yang terinfeksi Covid-19 , di mana hal ini dikenal dengan istilah ”boomer remover” [ 6 ] . Hate speech adalah bentuk ujaran yang berisi kebencian , bersifat menyerang serta berkobar-kobar dengan maksud untuk menimbulkan dampak secara aktual atau hanya berhenti pada ini akan menginspirasi orang lain untuk niat , dimana hal melakukan kekerasan maupun menyakiti individu atau suatu kelompok [ 7 ] . Segala bentuk hate speech yang disebarkan melalui media sosial atau media online dengan sengaja atau tidak sengaja akan berdampak merugikan orang lain [ 8 ] . Di In- donesia , berekspresi atau berpendapat diatur sebagai hak asasi manusia , sebagaimana tercantum dalam Pasal 28F UUD 1945. Meski demikian , ada batasan mengenai kebebasan berekspresi dan berpendapat , sebagaimana tercantum dalam Pasal 28 UUD 1945 ayat 1 dan ayat 2. Selain itu , berdasarkan ayat 2 pasal 28 undang-undang No. 11 Tahun 2008 , salah satu perbuatan yang dilarang adalah ”Setiap orang dengan sengaja dan tanpa hak menyebarkan informasi yang ditujukan untuk menimbulkan rasa kebencian atau permusuhan individu dan / atau kelompok masyarakat tertentu berdasarkan atas suku , agama , ras , dan antargolongan ( SARA ) ”. Contoh berita dan komentar pada online news yang mengandung hate speech diilustrasikan pada Gambar 1. Sudah banyak penelitian sebelumnya mengenai pendetek- sian hate speech di media sosial atau media online. Pende- teksian dilakukan dengan menggunakan berbagai pendekatan machine learning seperti Random Forest [ 9 ] [ 10 ] , Na¨ıve Bayes [ 9 ] [ 11 ] , dan SVM [ 9 ] [ 10 ] [ 11 ] . Pada beberapa penelitian sebelumnya terkait klasifikasi menggunakan SVM [ 9 ] , model ini memiliki akurasi yang cukup baik dalam mendeteksi hate speech , dan memiliki akurasi yang lebih baik dibandingkan Na¨ıve Bayes dan Random Forest. Selain itu , model deep learning seperti CNN [ 12 ] [ 13 ] [ 14 ] , RNN [ 13 ] , dan LSTM [ 15 ] [ 13 ] juga digunakan dalam deteksi 1 / 8 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik III. PENELITIAN TERKAIT Terdapat beberapa penelitian sebelumnya dalam mendeteksi hate speech menggunakan berbagai model machine learning. Ramdhani [ 18 ] mempelajari algoritma Linear Support Vector Machine untuk pendeteksian hate speech. Hasil penelitian menunjukkan bahwa algoritma linear SVM dengan fitur word unigram menggunakan 10-fold cross-validation menghasilkan akurasi sebesar 86.55 % dan memiliki performa yang cukup baik. Selain itu , Suarno dan Kusnadi [ 19 ] membandingkan model SVM , XGBoost , dan Neural Network pada klasifikasi hate speech. Dari hasil tersebut diperoleh model SVM lebih unggul dari XGBoost dan Neural Network , dengan F1-score sebesar 83 % . Dalam penelitian Rahman [ 20 ] , diperoleh akurasi sebesar 0.92 dengan menggunakan SVM untuk mengklasi- fikasikan hate speech di media sosial twitter. Karena keung- gulan SVM , penelitian ini menggunakan SVM sebagai salah satu model yang diusulkan. Beberapa penelitian telah menerapkan transfer learning dari pre-trained model untuk melakukan klasifikasi teks , termasuk deteksi hate speech Berbahasa Indonesia. Marpaung dkk. [ 21 ] membandingkan model machine learning dan transfer learn- ing dalam mendeteksi hate speech di twitter. Dari hasil eksper- imen , pre-trained model IndoBERT tanpa stopword removal menggunakan metode BIGRU menghasilkan performa terbaik dibandingkan dengan SVM , RFDT , dan BIGRU model tanpa pre-trained model IndoBERT dengan akurasi 84.77 % . Peneli- tian lain dilakukan oleh Putra dkk. [ 22 ] tentang pendeteksian penggunaan kalimat kasar dalam bahasa Indonesia. Hasilnya , IndoBERT mampu mendeteksi dengan cukup baik , dengan rata-rata F1-score disetiap kelas sebesar 76.32 % . Selain itu , transfer learning dari mBERT multilingual juga bekerja den- gan baik dalam skenario pendeteksi hate speech pada satu bahasa , termasuk Bahasa Indonesia [ 23 ] . Mengikuti studi se- belumnya , kami mengusulkan transfer learning menggunakan IndoBERT dan mBERT yang telah dilatih sebelumnya. Vedhika dkk. [ 24 ] melakukan penelitian yang berangkat dari imbalanced dataset dimana peneliti kesulitan dalam mene- mukan teks kebencian yang mengakibatkan data train tidak seimbang , sehingga peneliti membandingkan hasil pengklasi- fikasian kebencian menggunakan metode oversampling seba- gai solusi dari imbalanced dataset. Berdasarkan hasil tersebut , metode SMOTE dapat menyelesaikan masalah imbalanced dataset dengan lebih baik daripada metode oversampling lain- nya , yaitu dengan peningkatan kinerja klasifikasi sebesar 2.6 % . Kemudian , kami mengusulkan untuk mempelajari metode re- sampling dalam menangani imbalanced dataset dalam pende- teksian hate speech di Indonesia. Metode undersampling dan oversampling digunakan untuk perbandingan pada penelitian ini. Singgalen [ 25 ] melakukan kajian literatur sistematis pada analisis sentimen di media sosial. Berdasarkan kajian liter- atur , pandemi Covid-19 merupakan isu populer yang dikaji dalam analisis sentimen di media sosial pada tahun 2021. Dalam penelitian ini , kami menyusun dataset hate speech yang dikumpulkan dari komentar pada online news tentang Covid- 2 / 8 Gambar 1. Contoh Berita dan Komentar pada Online News. hate speech. Namun , karena keterbatasan dalam membangun model yang dilatih dari awal dengan kumpulan data yang ter- batas serta kendala waktu dalam melakukan komputasi , lebih disarankan untuk melakukan transfer learning dari model deep learning yang telah dilatih sebelumnya ( pre-trained ) [ 16 ] . Model pre-trained telah dilatih pada korpus teks yang besar , sehingga model tersebut dapat mempelajari representasi bahasa universal yang menangkap makna semantik kata [ 17 ] . Penelitian tentang pendeteksian hate speech yang berfokus pada penanganan imbalanced dataset masih terbatas. Pada umumnya , ujaran pada komentar sering dijumpai di me- dia sosial. Namun , jumlah komentar yang mengandung hate speech cukup sedikit dibandingkan dengan jumlah komentar yang tidak mengandung hate speech. Oleh karena itu , ada ketidakseimbangan antara jumlah komentar yang mengandung hate speech dan yang tidak mengandung hate speech , dimana disebut sebagai imbalanced dataset. Pada penelitian ini dilakukan deteksi hate speech komentar online news berbahasa Indonesia pada imbalanced dataset. Terdapat dua kelas yang digunakan yaitu ”hate” dan ”no hate”. Secara khusus , penelitian ini diterapkan untuk mendeteksi komentar hate speech pada online news mengenai Covid-19. II. TUJUAN PENELITIAN Berdasarkan rumusan masalah , tujuan dari penelitian ini yaitu sebagai berikut : 1 ) Membangun dataset untuk pendeteksian hate speech pada komentar di online news. 2 ) Membangun model machine learning dan deep learn- ing dengan pre-trained model untuk pendeteksian hate speech pada komentar terhadap online news berbahasa Indonesia dengan pendekatan beberapa kondisi ketidak- seimbangan dataset. Untuk mengatasi permasalahan im- balanced dataset , beberapa teknik resampling diterapkan dalam model machine learning yang dibangun. 3 ) Melakukan evaluasi hasil eksperimen pada model pen- deteksian hate speech dan menentukan model terbaik. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 19. C. Pelabelan Dataset IV. METODE PENELITIAN A. Ruang Lingkup Penelitian Cakupan penelitian yang dilakukan oleh penulis adalah melakukan deteksi hate speech pada komentar terhadap online news berbahasa Indonesia terkait Covid-19 dengan beberapa perbandingan terhadap beberapa kondisi ketidakseimbangan pada imbalanced dataset. Penelitian dilakukan dengan alur pengerjaan seperti diilustrasikan pada gambar 2. Komentar yang telah dikumpulkan diberi label menggu- nakan dua kelas , yaitu ”hate” untuk komentar yang men- gandung hate speech dan ”no hate” untuk komentar yang tidak mengandung hate speech. Pelabelan dataset pada setiap komentar dilabeli oleh minimal dua anotator dan maksimal tiga anotator. Panduan tentang proses pelabelan diberikan , termasuk definisi dan contoh komentar ”hate” dan ”no hate”. Setelah pelabelan dilakukan , proses majority voting dilakukan untuk membangun dataset akhir. TABEL I CONTOH DATASET YANG TELAH DILABELI Judul Artikel LaporCovid-19 Dapat Laporan soal Booster Vaksin Covid-19 un- tuk Keluarga Pejabat di DKI Jokowi : RI Berhasil Stok Amankan yang Vaksin Diperebutkan 220 Negara LaporCovid-19 Dapat Laporan soal Booster Vaksin Covid-19 PPKM Level 4 Resmi Diperpanjang hingga 2 Agustus 2021 , Ini Aturan dan Wilayah- nya Komentar miris , disaat masih banyak yang mem- butuhkan vaksin namun sebagai pe- jabat yang dipilih oleh rakyat malah memikirkan keegoisan sendiri diband- ing mementingkan kebutuhan rakyat yang memilihnya. luar biasa pak jokowi hanya saja banyak rakyat yg kurang mengerti tdk apa anggaplah spt anak kecil yg waktu mau disuntik teriak ayah jahat yg penting rakyat sehat gubernur nya br*ngs*k & penipu , anak buahnya pasti punya mental sama2 b*j*ngan ! rakyat makin menderita pemerintah *nj*ng g ad ahlak Label no hate no hate hate hate Setelah dilakukan majority voting , dilakukan pengecekan annotator agreement untuk melihat tingkat kepercayaan dari hasil pelabelan dengan menggunakan metode Krippendorff alpha coefficient yang menghasilkan nilai alpha yang berada dalam rentang 0 sampai dengan 1 , dimana semakin tinggi nilai alpha maka semakin tinggi tingkat kepercayaan data yang telah dilabeli [ 26 ] . Pada penelitian ini diperoleh nilai alpha 0.469 yang berarti bahwa data yang telah dilabeli mencapai inter-rater-agreement yang sufficient atau memadai. D. Preprocessing Data Sebelum melakukan klasifikasi teks , dilakukan beberapa langkah preprocessing sebagai berikut : 1 ) Case folding / lower casing 2 ) Menghapus kalimat setelah simbol $ / / $ yang pertama pada data komentar karena merupakan komentar lain yang dirujuk sebagai balasan. 3 ) Menghapus komentar duplikat atau spam 4 ) Menghapus punctuation dan angka 5 ) Menghapus whitespace dan spasi berlebih 6 ) Stemming Stemming adalah menghilangkan imbuhan dari sebuah kata dalam menghasilkan kata dasar [ 27 ] . Pada tahap ini , kami melakukan stemming menggunakan library sastrawi 3 / 8 Gambar 2. Alur Penelitian. B. Metode Pembangunan Dataset Dataset dibangun dengan web scraping menggunakan li- brary scrapy dan request pada kompas.com , yaitu salah satu situs online news di Indonesia. Dalam penelitian ini , scraping berita dilakukan dengan menggunakan kata kunci terkait Covid-19 antara lain ”covid” , ”vaksin” , ”ppkm” , ”pcr” , ”omicron” , ”karantina”. Setelah itu , komentar terkait Covid- 19 dikumpulkan. Jumlah komentar yang berhasil dikumpulkan adalah 11,553 komentar. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 7 ) Tokenization G. Metode Resampling untuk Imbalanced Dataset Pada tahap ini , dilakukan pemisahan terhadap sekumpu- lan karakter dalam sebuah teks menjadi unit-unit yang lebih kecil seperti kata atau sub kata. Pada penelitian ini digunakan library NLTK untuk tokenisasi. E. Kondisi Imbalanced Dataset Untuk mengevaluasi performa model pada berbagai kondisi ketidakseimbangan dataset , maka dataset dibagi menjadi be- berapa kondisi berikut : 1 ) Balanced Dataset Perbandingan antara label ”hate” dan ”no hate” pada komentar adalah 1:1. Pada kondisi ini digunakan persen- tase kelas hate sebesar 50 % dari total keseluruhan ko- mentar dataset untuk masing-masing artikel berita. 2 ) Slightly Imbalanced Dataset Perbandingan antara label ”hate” dan ”no hate” pada komentar adalah 1:2. Pada kondisi ini digunakan persen- tase kelas hate sebesar 33.33 % dari total keseluruhan komentar dataset untuk masing-masing artikel berita. 3 ) Imbalanced Dataset Perbandingan antara label ”hate” dan ”no hate” pada komentar adalah 1:9. Pada kondisi ini digunakan persen- tase kelas hate sebesar 10 % dari total keseluruhan ko- mentar dataset untuk masing-masing artikel berita. F. Klasifikasi Text 1 ) SVM Support Vector Machine atau disingkat SVM merupakan model klasifikasi populer yang digunakan untuk mem- bangun jenis aturan tertentu yang dapat disebut sebagai klasifikasi linier [ 28 ] . Term Frequency Inverse Document Frequency atau disingkat TF-IDF , adalah metode pem- bobotan yang digunakan dalam text mining yang berguna untuk membandingkan query vector dengan document vector menggunakan fungsi jarak seperti fungsi cosine similarity [ 29 ] . Pada penelitian ini dilakukan ekstraksi fitur teks menggunakan TF-IDF dan memasukkannya ke model SVM. 2 ) IndoBERT IndoBERT merupakan model deep learning dengan pre-trained model dimana model ini merupakan versi BERT yang dilatih dengan kosakata bahasa Indonesia menggunakan masked language model dengan kerangka huggingface , serta mengikuti bentuk dari BERT-based ( uncased ) , IndoBERT dilatih menggunakan kosa kata bahasa Indonesia [ 30 ] . 3 ) mBERT mBERT atau BERT multilingual merupakan model deep learning dengan pre-trained model dimana model ini merupakan versi dari BERT yang dilatih dalam 102 bahasa ( uncased ) dan 104 bahasa ( cased ) di Wikipedia. mBERT sebelumnya dilatih dengan metode yang sama dengan model BERT [ 31 ] . Ada beberapa metode resampling untuk imbalanced dataset yang digunakan pada penelitian-penelitian sebelumnya , yaitu : 1 ) Random oversampling Random oversampling adalah metode dalam pengam- bilan sampel ulang dengan pendekatan yang sederhana dengan cara memilih anggota dari minority class secara acak kemudian dilakukan penduplikasian serta ditam- bahkan pada data train yang baru [ 32 ] . 2 ) SMOTE The Synthetic Minority Oversampling Technique atau bisa disingkat SMOTE merupakan metode resampling dimana untuk setiap class minoritas dalam data train , maka akan dipilih 5 nearest neighbors ( tetangga ter- dekat ) dari kelas minoritas. Untuk membuat data train baru maka algoritma ini secara acak akan memilih salah satu dari kelima neighbors yang terdekat [ 32 ] . 3 ) ADASYN Adaptive Synthetics Sampling Approach for Imbalanced learning yang disingkat dengan ADASYN merupakan suatu metode dimana dapat memperoleh data sintesis pada class minoritas secara adaptif [ 33 ] . 4 ) Random undersampling Random undersampling merupakan metode sederhana dengan menghapus secara acak anggota kelas mayoritas pada dataset train [ 32 ] . 5 ) Tomek Link Removal Tomek Link merupakan metode undersampling yang menghilangkan boundary instance antar kelas sehingga menghasilkan dataset yang balanced [ 34 ] . H. Evaluasi Model Semua model yang diusulkan dievaluasi untuk memband- ingkan kinerjanya. Dalam penelitian ini , terdapat beberapa metrik evaluasi model yang digunakan , yaitu sebagai berikut : 1 ) Presisi Presisi merupakan perbandingan antara true positive dengan total data yang diprediksi positive. Secara matematis dapat dituliskan sebagai berikut : presisi = T P T P + F P ( 1 ) 2 ) Recall Recall merupakan perbandingan antara true positive den- gan total data yang sebenarnya positive. Secara matem- atis dapat dituliskan sebagai berikut : recall = T P T P + F N ( 2 ) 3 ) Akurasi Akurasi merupakan rasio prediksi yang benar / true untuk keseluruhan data. akurasi = T P + T N T P + F P + F N + T N ( 3 ) 4 / 8 4 ) F1 score F1 score merupakan rata-rata harmonik dari recall dan presisi. F 1score = 2 ∗ ( recall ∗ presisi ) recall + presisi ( 4 ) Evaluasi model dilakukan dengan menerapkan cross vali- dation. Cross-validation merupakan metode yang digunakan untuk mengevaluasi model , dimana terdapat dua segmen data yaitu data train dan data test yang harus didistribusikan secara berurutan sesuai jumlah k-fold yang digunakan [ 35 ] . Dalam penelitian ini , kami menggunakan 5-fold cross-validation. V. KERANGKA PIKIR Penelitian ini berfokus pada pendeteksian hate speech masih untuk kasus imbalanced dataset , dimana data antara label hate dan no hate tidaklah seimbang. Gambar 3 menunjukkan kerangka pikir yang digunakan pada penelitian ini. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik berasal dari 199 berita , dengan 268 komentar berlabel ”hate” dan 3,406 komentar berlabel ”no hate”. Setelah dilakukan preprocessing data , total data yang tersisa adalah sebanyak 3,452 komentar dari 199 berita , dengan 268 komentar berlabel ”hate” dan 3,189 komentar berlabel ”no hate”. B. Klasifikasi Teks Tabel II menunjukkan hasil eksperimen yang telah di- lakukan dengan menggunakan model SVM. Perbandingan hasil model SVM tanpa pemberian metode resampling pada tiga kondisi imbalanced dataset , diperoleh hasil bahwa SVM pada kondisi balanced memiliki nilai F1-score untuk klasi- fikasi label hate tertinggi sebesar 0.7052. Kemudian F1-score pada label hate turun menjadi 0.5917 pada kondisi slightly im- balanced dataset dan 0.3550 pada kondisi imbalanced dataset yang mana pada kondisi ini nilai dari label hate menurun karena efek dari label hate yang merupakan kelas minoritas. Hal ini mengindikasikan bahwa keadaan imbalanced dataset dapat menurunkan kinerja dari label hate speech. Dilihat dari evaluasi model untuk label hate dan no hate , pada kondisi slightly imbalanced diperoleh nilai F1-score tert- inggi dibandingkan dua kondisi lainnya yaitu sebesar 0.7094 , berbeda 0.0118 dengan kondisi balanced. Hal ini dikarenakan pada kondisi slightly imbalanced , nilai F1-score untuk mengk- lasifikasikan label no hate meningkat seiring bertambahnya data latih untuk label no hate. TABEL II HASIL MODEL SVM MENGGUNAKAN 5-FOLD CROSS VALIDATION Model Label Presisi Recall F1 Akurasi Kondisi Imbal- anced Balanced SVM Slightly Imbalanced SVM Imbalanced SVM SVM+ ROS SVM+ SMOTE no hate hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate no hate SVM+ ADASYN hate score 0.6943 0.6900 0.7031 0.7052 0.6987 0.6976 0.6991 0.9073 0.8271 0.4944 0.5917 0.7008 0.7094 0.7578 0.9908 0.9234 0.2279 0.3550 0.6097 0.6399 0.8632 0.9319 0.9552 0.9809 0.9574 0.9564 0.9563 0.9564 0.9334 0.9580 0.9847 0.9600 0.9591 0.9590 0.9591 0.9296 0.9536 0.9802 0.9561 0.9549 0.9549 0.9549 0.8061 0.7706 0.7144 0.7487 0.7604 0.7597 0.7605 0.9913 0.9242 0.2622 0.4009 0.6136 0.6451 0.8655 0.6907 0.7128 0.7017 0.7617 0.7584 0.7601 0.8646 0.8369 0.8503 0.9802 0.9354 0.9578 0.9842 0.9367 0.9604 0.9793 0.9332 0.9563 0.7394 0.7885 0.7640 0.8657 0.8593 0.8430 Gambar 3. Kerangka Pikir Penelitian. SVM+ RUS SVM+ TMR hate+no hate no hate hate hate+no hate no hate hate hate+no hate VI. HASIL DAN PEMBAHASAN A. Pembangunan Dataset Dataset final dibangun dengan suara mayoritas dari lima anotator. Dataset tersebut terdiri dari 3,674 komentar yang Pada kondisi imbalanced , peneliti menerapkan berbagai teknik resampling imbalanced dataset untuk meningkatkan kinerja model. Random Oversampling ( ROS ) , SMOTE , dan ADASYN diklasifikasikan sebagai metode oversampling , 5 / 8 sedangkan Random Undersampling ( RUS ) dan Tomek Link Removal ( TMR ) merupakan metode undersampling. Seperti yang ditunjukkan pada tabel II , semua metode oversampling mencapai skor yang lebih baik dari pada SVM tanpa menggu- nakan metode resampling imbalanced dataset. SMOTE meraih nilai F1-score tertinggi sebesar 0.9590. Skor ini sedikit lebih tinggi dari Random Oversampling , dengan selisih 0.0027. Hal ini menunjukkan bahwa penambahan jumlah data pada dataset yang terbatas dapat membantu mengatasi masalah imbalanced dataset. Sebaliknya , meskipun metode undersampling pada Tomek Link Removal mencapai skor yang lebih baik daripada metode SVM tanpa metode resampling imbalanced , Tomek Link Removal menghasilkan skor F1-score yang lebih rendah dibandingkan metode oversampling. Hal ini menunjukkan bahwa tidak direkomendasikan untuk melakukan pengurangan data ( undersampling ) pada dataset terbatas. Kemudian , kami melakukan transfer learning menggu- nakan pre-trained IndoBERT dan mBERT. Dalam eksperi- men ini , peneliti melakukan fine-tuning IndoBERT-BASE dan IndoBERT-LARGE ( uncased ) serta mBERT ( uncased dan cased ) . Hyperparameter yang digunakan dalam fine-tuning IndoBERT dan mBERT ditunjukkan pada tabel III. TABEL III HYPERPARAMETERS UNTUK FINE-TUNED INDOBERT DAN MBERT Model IndoBERT mBERT Hyperparameter Learning Rate Batch Size Num Worker Model Learning Rate Batch Size Num Worker Model 3e-6 32 16 “indobenchmark / indobert-base-p1” “indobenchmark / indobert-large-p1” 3e-6 32 16 “bert-base-multilingual-cased” “bert-base-multilingual-uncased” Tabel IV menunjukkan hasil eksperimen model fine-tuned IndoBERT-BASE , IndoBERT-LARGE , dan mBERT. Mirip dengan kinerja SVM tanpa metode resampling imbalanced , se- mua model pada kondisi imbalanced dataset untuk evaluasi la- bel hate memperoleh kinerja lebih buruk. Untuk hasil F1-score pada setiap kondisi untuk label hate , diperoleh hasil bahwa semakin imbalanced dataset tersebut maka semakin kecil F1- score pada label hate yang dihasilkan. Berdasarkan hasil terse- but , model fined-tuned IndoBERT-BASE , IndoBERT-LARGE , dan mBERT masih sensitif terhadap imbalanced datasets pada label minoritas. Selain itu , jika dilihat dari hasil evaluasi pada keseluruhan label hate dan no hate , diperoleh bahwa model fine-tuned IndoBERT-BASE memiliki hasil yang paling baik dari model lainnya pada setiap kondisi dataset , yaitu nilai tertinggi di peroleh pada kondisi slightly imbalanced , kemudian disusul imbalanced , dan balanced dimana dengan nilai 0.7744 , 0.7686 , dan 0.7153 berturut-turut. Akan tetapi , perbedaan yang di- hasilkan dengan model fine-tuned IndoBERT-LARGE 0.0023 , 0.0164 , dan 0.0172 pada kondisi slightly imbalanced , bal- anced , dan imbalanced berturut-turut. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik TABEL IV HASIL FINE-TUNED MODEL INDOBERT-BASE , INDOBERT-LARGE , DAN MBERT MENGGUNAKAN 5-FOLD CROSS VALIDATION Model Label Presisi Recall F1 Akurasi score Kondisi Imbal- anced Balanced IndoBERT no hate LARGE hate hate+no hate IndoBERT no hate BASE 0.7523 0.6247 0.6795 0.7002 0.8035 0.7465 0.7262 0.7141 0.7130 0.7255 0.7372 0.6506 0.6897 0.7013 0.7891 0.7408 0.7193 0.7198 0.7153 0.7216 0.6601 0.6141 0.6302 0.6582 0.7018 0.6728 0.6591 0.6580 0.6515 0.6589 0.6437 0.5131 0.5558 0.6047 0.7217 0.6473 0.6242 0.6174 0.6015 0.6078 0.8163 0.8601 0.8358 0.7180 0.6565 0.6803 0.7671 0.7583 0.7580 0.7835 0.8229 0.8863 0.8503 0.7598 0.6646 0.6985 0.7914 0.7754 0.7744 0.8000 0.7649 0.7586 0.7585 0.5680 0.5840 0.5675 0.6665 0.6713 0.6630 0.7020 0.7743 0.7535 0.7492 0.5862 0.5894 0.5553 0.6802 0.6715 0.6523 0.6822 0.9075 0.9446 0.9254 0.6674 0.5198 0.5775 0.7875 0.7322 0.7514 0.8732 0.9135 0.9480 0.9300 0.6875 0.5618 0.6071 0.8005 0.7549 0.7686 0.8815 0.8819 0.9691 0.9232 0.7111 0.3546 0.4551 0.7965 0.6618 0.6891 0.8662 0.8855 0.9367 0.9103 0.5587 0.4023 0.4657 0.7221 0.6695 0.6880 0.8472 Slightly Imbalanced LARGE IndoBERT no hate hate hate+no hate IndoBERT no hate BASE Imbalanced IndoBERT no hate LARGE hate hate+no hate IndoBERT no hate BASE mBERT cased mBERT uncased mBERT cased mBERT uncased mBERT cased mBERT uncased hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate hate hate+no hate no hate hate hate+no hate no hate hate hate+no hate C. Analisis Error Tabel V menunjukkan contoh komentar dengan label prediksi menggunakan model SVM+SMOTE dan IndoBERT- BASE yang dibandingkan dengan label gold atau label manual oleh anotator. Pada contoh hasil model SVM+SMOTE , beber- apa kesalahan terjadi karena konteks kalimat tidak memuat hate speech , akan tetapi terkandung kata-kata bernuansa hate speech. Namun , kesalahan ini dapat ditangani oleh model IndoBERT-BASE , seperti yang terlihat pada contoh kedua dan ketiga dari Tabel V. Berdasarkan contoh tersebut , fine- tuned IndoBERT dapat menangkap konteks kalimat lebih baik 6 / 8 TABEL V CONTOH KOMENTAR DENGAN LABEL PREDIKSI DAN GOLD MENGGUNAKAN SVM+SMOTE DAN INDOBERT-BASE No. Komentar 1. 2. 3. 4. tong , ternyata makan sekolahan , tidak menjadikan orang tidak b*go. cuma bagusnya kalo b*go , buat diri mu sendiri saja & keluarga mu , nggak usah ajak orang lain. bahasa yg sopan. jgn pake anj*ng2 mahasiswa. katanya kita bangsa be- radab. kritik terhadap rejim siapa pun perlu , agar tata kelola tetap terkontrol yang jelas jokowi bukan pengecut seperti ormas imam teroris pecinta b*kep seperti sudh seharusnya : semua anggota yg terhormat=t*lol. Prediksi Label untuk SVM+ SMOTE hate Prediksi Label untuk Indo BERT BASE hate hate no hate Label Gold no hate no hate no hate hate hate no hate no hate hate daripada SVM , karena telah dilatih sebelumnya pada dataset dengan vocabulary yang lebih besar. VII. PENUTUP Berdasarkan hasil dan pembahasan dalam penelitian ini , terdapat beberapa kesimpulan yang diperoleh : 1 ) Telah dibangun dataset untuk mendeteksi hate speech pada online news berbahasa Indonesia. 2 ) Telah dilakukan pembangunan model deteksi hate speech menggunakan SVM , fine-tuned indoBERT , dan mBERT pada pendekatan beberapa kondisi imbalanced dataset. Beberapa teknik resampling pada SVM telah diterapkan untuk mengatasi permasalahan imbalanced tersebut. 3 ) Telah dilakukan evaluasi kinerja model pendeteksian hate speech menggunakan SVM , fine-tuned IndoBERT imbalanced dan mBERT dengan beberapa kondisi dataset. Berdasarkan hasil evaluasi , kondisi imbalanced dapat menurunkan kinerja model SVM , fine-tuned In- doBERT dan mbERT. Selain itu , fine-tuned IndoBERT dapat menangkap konteks kalimat lebih baik daripada SVM , karena telah dilatih pada dataset dengan vocab- ulary yang lebih besar. Berdasarkan hasil eksperimen sebelum pembangunan model SVM , penerapan metode oversampling dan undersampling dapat menangani per- masalahan imbalanced dataset. Penggunaaan SMOTE sebagai strategi dari oversampling menunjukkan per- forma terbaik , dengan F1-score sebesar 0.9590 sehingga teknik SMOTE telah bagus dijadikan sebagai metode resampling untuk mengatasi permasalahan imbalanced dataset pada pendeteksian hate speech. Disisi lain , Tomek Link Removal menghasilkan F1-score terburuk sebagai tanda bahwa penurunan jumlah data dalam im- balanced dataset tidak dianjurkan. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Penelitian ini menggunakan pengambilan sampel acak untuk memenuhi beberapa kondisi imbalanced dataset dengan men- gurangi jumlah total kumpulan data. Namun , proses ini hanya dapat mewakili metode random undersampling yang berkin- erja lebih buruk dari metode oversampling dalam eksperimen ini. Saran pada penelitian selanjutnya , untuk mendapatkan dataset yang seimbang , disarankan untuk melakukan over- sampling dengan prosedur augmentasi khusus untuk teks data , seperti parafrase untuk menambah jumlah data pada kelas mi- noritas dengan memanfaatkan text generation untuk mengatasi kasus imbalanced dataset. DAFTAR PUSTAKA [ 1 ] S. Kusuma , “Posisi media cetak di tengah perkembangan media online di indonesia , ” InterAct Program Studi Ilmu Komunikasi FIABIKOM Unika Atmajaya Jakarta , vol. 5 , no. 1 , pp. 56–71 , 2016. [ 2 ] I. P. Hadi , “Perkembangan Teknologi Komunikasi Dalam Era Jurnalistik Modern , ” Scriptura , vol. 3 , no. 1 , pp. 69–84 , 2010. [ 3 ] V. Cotik , N. Debandi , F. Luque , P. Miguel , A. Moro , J. Manuel P´erez , P. Serrati , J. Zajac , and D. Zayat , “A study of Hate Speech in Social Media during the COVID-19 outbreak , ” ACL 2020 Workshop NLP- COVID Submission , no. 1 , 2020. [ 4 ] N. W. Melna Mareta , “Pola Komunikasi Ujaran Kebencian Pemberitaan Covid-19 di Media Sosial Instagram @ detikcom , ” Jurnal ilmu Komu- nikasi , vol. Vol 4 , 2021. [ 5 ] J. Uyheng and K. M. Carley , “Bots and online hate during the COVID- 19 pandemic : case studies in the United States and the Philippines , ” Journal of Computational Social Science , vol. 3 , no. 2 , pp. 445–468 , 2020. [ 6 ] N. Vishwamitra , R. R. Hu , F. Luo , L. Cheng , M. Costello , and Y. Yang , “On Analyzing COVID-19-related Hate Speech Using BERT Attention , ” Proceedings - 19th IEEE International Conference on Machine Learning and Applications , ICMLA 2020 , pp. 669–676 , 2020. [ 7 ] L. S. Widayati , “Ujaran Kebencian : batasan pengertian dan larangan- nya , ” Info Singkat , pp. 1–6 , 2018. [ 8 ] D. J. Ningrum , S. Suryadi , and D. E. Chandra Wardhana , “Kajian Ujaran Kebencian Di Media Sosial , ” Jurnal Ilmiah KORPUS , vol. 2 , no. 3 , pp. 241–252 , 2019. [ 9 ] S. Abro , S. Shaikh , Z. Ali , S. Khan , G. Mujtaba , and Z. H. Khand , “Automatic hate speech detection using machine learning : A compara- tive study , ” International Journal of Advanced Computer Science and Applications , vol. 11 , no. 8 , pp. 484–491 , 2020. [ 10 ] N. Aulia and I. Budi , “Hate speech detection on Indonesian long text documents using machine learning approach , ” ACM International Conference Proceeding Series , pp. 164–169 , 2019. [ 11 ] Asogwa DC , Chukwuneke CI , Ngene CC , and Anigbogu GN , “Hate Speech Classification Using SVM and Naive BAYES , ” Journal of Mobile Computing Application ( IOSR-JMCA ) , vol. 9 , no. 1 , pp. 27– 34 , 2022. [ 12 ] D. A. N. Taradhita and I. K. G. D. Putra , “Hate speech classification in Indonesian language tweets by using convolutional neural network , ” Journal of ICT Research and Applications , vol. 14 , no. 3 , pp. 225–239 , 2021. [ 13 ] N. Adina , Sentimen Analisis Multi-Label Pada Ujaran Kebencian Dan Umpatan Di Twitter Indonesia Menggunakan Pendekatan Deep Learn- ing , 2020. [ 14 ] W. N. Dewani , P. S. Asih , and Y. Azhar , “Klasifikasi Multi-label Ujaran Kasar dan Kebencian ( Hate Speech Abusive ) Pada Media Sosial Twitter di Indonesia.” [ 15 ] P. Kohatsu , J. Carlos , L. Quijano-S´anchez , F. Liberatore , and M. Camacho-Collados , “Detecting and monitoring hate speech in twit- ter , ” Sensors ( Switzerland ) , vol. 19 , no. 21 , pp. 1–37 , 2019. [ 16 ] L. Mathew and V. R. Bindu , “A Review of Natural Language Processing Techniques for Sentiment Analysis using Pre-trained Models , ” Proceed- ings of the 4th International Conference on Computing Methodologies and Communication , ICCMC 2020 , no. Iccmc , pp. 340–345 , 2020. [ 17 ] X. P. Qiu , T. X. Sun , Y. G. Xu , Y. F. Shao , N. Dai , and X. J. Huang , “Pre-trained models for natural language processing : A survey , ” Science China Technological Sciences , vol. 63 , no. 10 , pp. 1872–1897 , 2020. 7 / 8 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik [ 18 ] A. Ramdhani , “Studi Algoritma Linear Support Vector Machine pada Deteksi Ujaran Kebencian Berbahasa Indonesia , ” Prosiding Seminar Nasional Teknoka , vol. 3 , no. 2502 , p. 42 , 2019. [ 19 ] R. K. Suwarno , “Comparative Analysis of SVM , XGBoost and Neural Network on Hate Speech Classification , ” Jurnal RESTI ( Rekayasa Sistem dan Teknologi Informasi ) , vol. 5 , no. 5 , pp. 896–903 , 2021. [ 20 ] O. H. Rahman , G. Abdillah , and A. Komarudin , “Klasifikasi Ujaran Kebencian pada Media Sosial Twitter Menggunakan Support Vector Machine , ” Jurnal RESTI ( Rekayasa Sistem dan Teknologi Informasi ) , vol. 5 , no. 1 , pp. 17–23 , 2021. [ 21 ] A. Marpaung , R. Rismala , and H. Nurrahmi , “Hate Speech Detection in Indonesian Twitter Texts using Bidirectional Gated Recurrent Unit , ” KST 2021 - 2021 13th International Conference Knowledge and Smart Technology , pp. 186–190 , 2021. [ 22 ] H. K. Putra , M. Arif Bijaksana , and A. Romadhony , “Deteksi Peng- gunaan Kalimat Abusive Pada Teks Bahasa Indonesia Menggunakan Metode IndoBERT , ” e-Proceeding of Engineering , vol. 8 , no. 2 , pp. 3028–3038 , 2021. [ 23 ] S. S. Aluru , B. Mathew , P. Saha , and A. Mukherjee , “Deep Learning Models for Multilingual Hate Speech Detection , ” pp. 1–16 , 2020. [ 24 ] N. A. Verdikha , T. B. Adji , and A. E. Permanasari , “Komparasi Metode Oversampling Untuk Klasifikasi Teks Ujaran Kebencian , ” Seminar Na- sional Teknologi Informasi dan Multimedia 2018 , pp. 85–90 , 2018. [ 25 ] Y. A. Singgalen , “Pemilihan Metode dan Algoritma dalam Analisis Sentimen di Media Sosial : Sistematic Literature Review , ” Journal of Information Systems and Informatics , vol. 3 , no. 2 , pp. 278–302 , 2021. [ 26 ] M. Poesio and R. Artstein , “The reliability of anaphoric annotation , reconsidered : Taking ambiguity into account , ” Proceedings of the Work- shop on Frontiers in Corpus Annotations II : Pie in the Sky @ ACL 2005 , no. June , pp. 76–83 , 2005. [ 27 ] D. Wahyudi , T. Susyanto , and D. Nugroho , “Implementasi Dan Anal- isis Algoritma Stemming Nazief Adriani Dan Porter Pada Dokumen Berbahasa Indonesia , ” Jurnal Ilmiah SINUS , vol. 15 , no. 2 , 2017. [ 28 ] Y. Shi , Y. Tian , G. Kou , Y. Peng , and J. Li , “Support vector machines for classification problems , ” Advanced Information and Knowledge Processing , pp. 3–13 , 2011. [ 29 ] W. Z. Tao Peng , Lu Liu , “PU text classification enhanced by term fre- quency–inverse document frequency-improved weighting , ” Concurrency and Computation : Practice and Experience , vol. 22 , no. 6 , pp. 685–701 , 2010. [ 30 ] B. Wilie , K. Vincentio , G. I. Winata , S. Cahyawijaya , X. Li , Z. Y. Lim , S. Soleman , R. Mahendra , P. Fung , S. Bahar , and A. Purwarianti , “IndoNLU : Benchmark and Resources for Evaluating Indonesian Natural Language Understanding , ” 2020. [ Online ] . Available : http : / / arxiv.org / abs / 2009.05387 [ 31 ] J. Devlin , M. W. Chang , K. Lee , and K. Toutanova , “BERT : Pre- training of deep bidirectional transformers for language understanding , ” NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies - Proceedings of the Conference , vol. 1 , no. Mlm , pp. 4171–4186 , 2019. [ 32 ] B. Alexander Yun-chung Liu , “The Effect of Oversampling and Under- sampling on Classifying Imbalanced Text Datasets , ” no. August , p. 303 , 2004. [ 33 ] S. He , H. , Bai , Y. , Garcia , E. , Li , “ADASYN : Adaptive synthetic sampling approach for imbalanced learning. In IEEE International Joint Conference on Neural Networks , 2008 , ” IJCNN 2008. ( IEEE World Congress on Computational Intelligence ) ( pp. 1322– 1328 ) , no. 3 , pp. 1322– 1328 , 2008. [ 34 ] D. Devi , S. kr Biswas , and B. Purkayastha , “Redundancy-driven mod- ified Tomek-link based undersampling : A solution to class imbalance , ” Pattern Recognition Letters , vol. 93 , pp. 1339–1351 , 2017. [ 35 ] P. Refaeilzadeh , L. Tang , H. Liu , L. Angeles , and C. D. Scientist , “Cross- Validation , ” Encyclopedia of Database Systems , 2016. 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Deteksi Hate Speech Berbahasa Indonesia pada Imbalanced Dataset ( Studi Kasus : Komentar pada kompas.com Seputar Covid-19 ) Almira Diva Sanya ( 221810155 , 4SD1 ) Dosen Pembimbing : Dr. Eng. Lya Hulliyyatus Suadaa , SST. , MT. Ringkasan—Di era teknologi saat ini , masyarakat bisa mem- peroleh informasi secara cepat , up to date , serta dalam jumlah banyak dengan mengakses berita secara online. Kolom komentar biasanya disediakan sebagai fitur dalam online news untuk menyampaikan kritik , saran , dan pendapat terhadap suatu berita. Kemudahan ini merupakan bentuk kebebasan berek- spresi dan berpendapat bagi setiap orang. Namun , hal tersebut dapat meningkatkan peluang pengguna untuk mengekspresikan kebencian mereka pada kolom komentar. Maraknya postingan berisi hate speech perlu diatasi dengan pendeteksian hate speech secara otomatis. Namun , ada ketidakseimbangan antara jumlah komentar yang memuat hate speech dengan komentar yang bukan merupakan hate speech. Oleh karena itu , dalam penelitian ini pendeteksian hate speech berbahasa Indonesia pada komentar dilakukan dengan beberapa kondisi imbalanced dataset. Model yang digunakan dalam penelitian ini adalah model SVM , SVM dengan berbagai metode resampling , fine-tuned IndoBERT , dan fine-tuned mBERT. Berdasarkan hasil yang diperoleh , keadaan imbalanced dapat menurunkan kinerja SVM dan model fine- tuned. Selain itu , pada kondisi imbalanced dataset , fine-tuned IndoBERT dapat menangkap konteks kalimat lebih baik dari pada SVM. Kemudian , dengan penerapan strategi oversampling pada SVM dapat meningkatkan kinerja SVM untuk kondisi imbalanced dataset. Kombinasi model SVM dan SMOTE mem- berikan performa terbaik dalam menangani masalah imbalanced dataset. Kata Kunci—Bahasa Indonesia , Imbalanced Dataset , Hate Speech , Komentar Online News , Klasifikasi Teks
VII. PENUTUP Berdasarkan hasil dan pembahasan dalam penelitian ini , terdapat beberapa kesimpulan yang diperoleh : 1 ) Telah dibangun dataset untuk mendeteksi hate speech pada online news berbahasa Indonesia. 2 ) Telah dilakukan pembangunan model deteksi hate speech menggunakan SVM , fine-tuned indoBERT , dan mBERT pada pendekatan beberapa kondisi imbalanced dataset. Beberapa teknik resampling pada SVM telah diterapkan untuk mengatasi permasalahan imbalanced tersebut. 3 ) Telah dilakukan evaluasi kinerja model pendeteksian hate speech menggunakan SVM , fine-tuned IndoBERT imbalanced dan mBERT dengan beberapa kondisi dataset. Berdasarkan hasil evaluasi , kondisi imbalanced dapat menurunkan kinerja model SVM , fine-tuned In- doBERT dan mbERT. Selain itu , fine-tuned IndoBERT dapat menangkap konteks kalimat lebih baik daripada SVM , karena telah dilatih pada dataset dengan vocab- ulary yang lebih besar. Berdasarkan hasil eksperimen sebelum pembangunan model SVM , penerapan metode oversampling dan undersampling dapat menangani per- masalahan imbalanced dataset. Penggunaaan SMOTE sebagai strategi dari oversampling menunjukkan per- forma terbaik , dengan F1-score sebesar 0.9590 sehingga teknik SMOTE telah bagus dijadikan sebagai metode resampling untuk mengatasi permasalahan imbalanced dataset pada pendeteksian hate speech. Disisi lain , Tomek Link Removal menghasilkan F1-score terburuk sebagai tanda bahwa penurunan jumlah data dalam im- balanced dataset tidak dianjurkan. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Penelitian ini menggunakan pengambilan sampel acak untuk memenuhi beberapa kondisi imbalanced dataset dengan men- gurangi jumlah total kumpulan data. Namun , proses ini hanya dapat mewakili metode random undersampling yang berkin- erja lebih buruk dari metode oversampling dalam eksperimen ini. Saran pada penelitian selanjutnya , untuk mendapatkan dataset yang seimbang , disarankan untuk melakukan over- sampling dengan prosedur augmentasi khusus untuk teks data , seperti parafrase untuk menambah jumlah data pada kelas mi- noritas dengan memanfaatkan text generation untuk mengatasi kasus imbalanced dataset.
, dalam penelitian ini pendeteksian hate speech berbahasa Indonesia pada komentar dilakukan dengan beberapa kondisi imbalanced dataset. Model yang digunakan dalam untuk kondisi imbalanced dataset. Kombinasi model SVM dan SMOTE mem- berikan performa terbaik dalam menangani masalah imbalanced dataset. Kata Kunci—Bahasa Indonesia , SMOTE sebagai strategi dari oversampling menunjukkan per- forma terbaik , dengan F1-score sebesar 0.9590 sehingga teknik speech. Disisi lain , Tomek Link Removal menghasilkan F1-score terburuk sebagai tanda bahwa
O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O B-METODE O O O O O O B-METODE O O O O O O O O B-METODE I-METODE I-METODE O B-METODE O O O O