Klasifikasi Flaming pada Kasus Cyberbullying di Twitter Menggunakan Algoritma Naïve Bayes Classifier
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Klasifikasi Flaming pada Kasus Cyberbullying di Twitter Menggunakan Algoritma Naïve Bayes Classifier Rivaldi ( 16.9389 , 4SI1 ) Dosen Pembimbing : Farid Ridho , S.S.T , M.T. sosial sebagai Ringkasan— Media salah satu sarana komunikasi saat ini telah menjadi suatu kebutuhan untuk saling berkomunikasi di zaman sekarang. Berbagai platform tersedia untuk berkomunikasi dalam media sosial , salah satunya adalah Twitter. Penggunaan Twitter yang beragam oleh berbagai pengguna tidak diikuti oleh etika-etika yang baik dalam bersosial di dunia maya , hal ini dapat dilihat ketika semakin maraknya cyberbullying. Salah satu bentuk yang cyberbullying yang paling sering ditemukan dalam platform twitter adalah flaming. Penggunaan kata-kata kasar dalam interaksi sering ditemukan sehari-hari dalam twitter. Dengan maraknya ditemukan bentuk-bentuk flaming dalam platform twitter , ingin membangun sebuah model klasifikasi dengan peneliti menggunakan dalam algoritma Naïve Bayes Classifier mengklasifikasikan suatu tweet yang mengandung unsur flaming. Tahapan yang dilakukan dalam penelitian ini meliputi Data Collection , Pre-Processing , Pembentukan Model Klasifikasi , dan ialah model Evaluasi. Kesimpulan yang dapat diketahui klasifikasi dengan menggunakan algoritma Naïve Bayes Classifier dalam mengklasifikasikan tweet yang mengandung flaming mendapatkan nilai akurasi sebesar 56,2 % dengan metode evaluasi K-Fold Cross Validation. Selain itu perbandingan yang dilakukan dengan algoritma lain dari sisi akurasi serta runtime menghasilkan kesimpulan bahwa Naive Bayes Classifier lebih baik daripada algoritma lain yang menjadi perbandingan. Kata Kunci— Twitter , Cyberbullying , Flaming , Naïve Bayes Classifier. I. LATAR BELAKANG Dalam sebagian dekade terakhir , orang sudah memakai Internet serta media sosial selaku bagian dari komunikasi tiap hari mereka selaku media buat bertukar data. Dengan memakai media sosial , pengguna bisa membuat profil pribadinya buat dilihat pengguna lain baik secara individu sosial , pengguna bisa maupun publik. Dengan media berhubungan satu sama lain. Penggunaan media sosial sangat berkembang mengingat akses mudah dan murah ke Internet pada satu dekade terakhir. Orang-orang menggunakan media sosial sebagai bagian dari media komunikasi baik dari sekunder maupun primer untuk saling bertukar informasi kepada orang-orang yang mereka kenal maupun yang tidak mereka kenal. Dengan memakai media sosial , pengguna dapat membuat profil pribadinya untuk dilihat oleh pengguna lain baik secara individu maupun secara publik. Salah satu media sosial yang populer di Indonesia ialah Twitter. Twitter sendiri adalah salah satu layanan media sosial dan penggunanya bisa menulis dimana berinteraksi menggunakan pesan teks dengan pengguna lain yang biasanya tweet. Pada dasarnya suatu tweet dapat disebut sebagai mengandung teks hingga 140 karakter , penggunaan yang sederhana dan cenderung singkat seperti menggunakan layanan SMS dari twitter itu sendiri yang menjadi daya tarik mengapa twitter cukup populer untuk digunakan sebagai media sosial di Indonesia. Sebagai media komunikasi online tempat orang-orang berinteraksi satu sama lain dalam jarak pendek atau jauh , media sosial menyampaikan informasi dalam teks , gambar , dan video untuk mengekspresikan dan mengkomunikasikan ide-ide penggunanya. Namun , interaksi sosial di antara orang-orang di media sosial dapat mengarah ke arah yang berbeda , baik untuk meningkatkan hubungan di antara mereka atau perbedaan ide , pemikiran , dan pendapat. Ekspresi ide dan opini yang berbeda dapat memberikan hasil yang positif. Hal tersebut memungkinkan orang menjadi lebih menerima , menghormati , dan toleran terhadap orang lain sambil memperkaya pengetahuan , mempelajari keragaman , dan pemahaman dari perspektif yang berbeda. Namun , jika orang tidak toleran dan tidak dapat menghormati perbedaan orang lain , ini dapat menimbulkan masalah sosial seperti bullying , intoleransi , pelecehan , dll. Media sosial juga dapat digunakan oleh orang-orang yang sering secara anonim mempublikasikan komentar yang penuh kebencian atau diskriminatif dan mengintimidasi dan melecehkan korban yang ditargetkan [ 1 ] . Karenanya , penyalahgunaan media sosial untuk merugikan orang lain ini perlu ditanggapi dengan serius. Cyberbullying dipahami sebagai tindakan yang disengaja biasanya dilakukan berulang kali terhadap korban yang tidak berdaya oleh individu atau kelompok dengan menggunakan teknologi media komunikasi. Selain itu , banyak cyberbullies ( predator ) percaya bahwa tindakan tercela semacam itu menghibur , tidak menyadari bahwa perilaku mereka pada akhirnya dapat mempengaruhi para korban. Cyberbullying juga dapat menimbulkan kerusakan yang signifikan pada korbannya , terutama remaja yang menjadi sasaran [ 2 ] .Secara umum Cyberbullying merupakan suatu bentuk bullying yang memakai teknologi media komunikasi semacam ponsel pintar , e-mail , media sosial , serta website yang terhubung ke jaringan internet dimana dalam fiturnya dapat memposting ataupun mengirim pesan-pesan yang mengusik , menghina , mengecam , serta mempermalukan yang dimaksudkan untuk menyakiti 1 / 8 sendiri Indonesia secara keseluruhan , orang atau pengguna yang dikenal maupun tidak dikenal lainnya. Di informasi Indonesia susah ditemui. permasalahan cyberbullying di Tetapi informasi dari Polda Metro Jaya menyebutkan sedikitnya 25 kasus cyberbullying dilaporkan setiap harinya. Tidak hanya itu , data Komisi Perlindungan Anak Indonesia tahun 2018 menyebutkan jumlah anak korban bullying mencapai 22,4 % [ 3 ] . Tingginya angka tersebut dipicu oleh konsumsi internet pada anak-anak. Pelaporan yang masih kurang mengenai kasus Cyberbullying mengisyaratkan masih sosial yang kurang menaruh banyak pengguna media perhatian pada cyberbullying yang sebenarnya banyak kita temukan setiap harinya di media sosial , tidak terkecuali twitter. Selain itu , para pelaku atau pengirim pesan yang mengandung cyberbullying di media sosial cenderung tidak menyadari akan perbuatan mereka. Kebebasan bermedia sosial yang tidak diiringi oleh etika yang baik dalam bermedia sosial membuat rasa bersalah dari para pelaku cyberbullying tidak muncul ketika para korban menderita secara mental akibat perbuatan mereka. Berbagai dampak negatif atau potensi risiko mengalami penyakit mental bagi korban cyberbullying antara lain depresi , gangguan kecemasan , menarik diri dari lingkungan sosial , penurunan kualitas akademis bagi korban yang masih pelajar , penggunaan obat-obatan terlarang , bahkan keinginan untuk bunuh diri. flaming , harassment ( pelecehan ) , Cyberbullying sendiri memiliki berbagai macam bentuk impersonation yaitu ( penyamaran ) , denigration , exclusion ( pengucilan ) , Outing dan trickery , dan cyberstalking [ 4 ] . Flaming adalah penggunaan bahasa yang cenderung kasar dalam interaksi kedua individu , dimana hal ini menimbulkan situasi memanas di antara keduanya , hal ini juga dapat meliputi kata-kata yang tidak sopan bahkan dapat mengarah ke penghinaan dan juga ancaman. Harassment adalah bentuk pelecehan yang dimaksudkan untuk membuat malu individu yang menjadi target. Denigration merupakan pencemaran nama baik terhadap individu yang menjadi target yang bertujuan menyebarkan kebohongan mengenai korban. Exclusion sebuah dengan mengeluarkan individu dari berkaitan trickery dan dan mengucilkannya. Outing kelompok merupakan tindakan penyebaran informasi pribadi dari korban yang bertujuan untuk mempermalukannya secara publik. Cyberstalking merupakan tindakan penguntitan di dunia maya yang mana biasanya melakukan pelacakan terhadap target dengan bertujuan melecehkannya [ 5 ] . Di twitter sendiri banyak ditemukan bentuk-bentuk cyberbullying di sepanjang waktu , salah satunya adalah Flaming. Para pengguna twitter , khususnya di Indonesia , yang sangat mudah mengetik mengandung kata-kata kasar didalamnya. Jika dilihat lebih seksama , penggunaan kata-kata kasar tersebut ada yang mengarah ke dalam sebuah bentuk cyberbullying namun ada juga yang hanya mengekspresikan rasa kesal , kagum , atau curahan hati si pengguna itu sendiri. atau mengirim tweet Text mining merupakan suatu teknik dalam bidang teknologi informasi dimana di dalamnya merupakan proses Makalah Skripsi – Program Studi D-IV Komputasi Statistik menambang data berupa teks dari sebuah dokumen yang nantinya akan dianalisa untuk dilakukan ekstraksi informasi yang berguna untuk tujuan tertentu. Text mining dapat memberikan solusi dari permasalahan seperti pemrosesan , pengorganisasian dan menganalisis unstructured text dalam jumlah besar text mining [ 6 ] . Dalam penggunaannya mengkombinasikan beberapa teknik lain seperti Natural Language Processing , Information Retrieval , Visualization , Machine Learning , dan sebagainya untuk menghasilkan suatu informasi yang berguna. serta Dalam Penelitian ini penggunaan text mining dibutuhkan untuk menganalisa suatu tweet apakah mengandung Flaming atau tidak. Karakteristik teks tweet yang merupakan unstructured text akan menghasilkan data yang berjumlah besar merupakan alasan teknik ini dilakukan. tahapan pada Dalam text mining preprocessingnya yaitu Tokenizing yaitu proses pemisahan teks menjadi token-token , Filtering merupakan proses penyaringan kata , Case Folding merupakan proses untuk mengubah semua huruf besar dalam dokumen menjadi huruf kecil , dan Analyzing merupakan proses untuk menentukan hubungan antara kata-kata dengan dokumen yang sudah ada. beberapa terdapat apakah mengandung unsur Dalam menentukan suatu tweet mengandung unsur flaming atau tidak dibutuhkan metode untuk mengklasifikasikannya. Dalam penelitian ini akan dibahas mengenai klasifikasi sebuah tweet flaming atau tidak didalamnya dengan menggunakan algoritma Naive Bayes. Naive Bayes merupakan metode klasifikasi statistik yang menggunakan teorema Bayes [ 7 ] . Metode naive bayes dapat mengklasifikasikan dataset yang berukuran besar sehingga cocok untuk mengklasifikasikan ribuan hingga ratusan ribu tweet hasil dari pengumpulan data. II. TUJUAN PENELITIAN Berdasarkan latar belakang yang sudah dipaparkan sebelumnya , tujuan penelitian yang ingin dicapai adalah membuat model klasifikasi dengan menggunakan algoritma Naïve Bayes Classifier untuk mengklasifikasikan tweet Bahasa Indonesia apakah mengandung unsur flaming atau tidak , serta mengevaluasi performa model klasifikasi dalam mengklasifikasikan tweet tersebut. III. PENELITIAN TERKAIT Penelitian [ 8 ] menunjukkan penggunaan metode klasifikasi Random Forest cyberbullying. untuk mengidentifikasi Penggunaan Random Forest dalam penelitian ini di optimasi dengan pertimbangan dari rules yang umum dari penelitian sebelumnya dengan beberapa penyesuaian yang dibutuhkan. Dalam penelitian lainya menganalisis kata-kata bullying bahasa Indonesia di Twitter untuk menemukan pola bullying juga membahas cara mining di kata-kata bullying bahasa Indonesia di Twitter dengan menggunakan teknik text mining [ 2 ] . Indonesia. Penelitian ini Alhamda dalam penelitiannya membuat sebuah sistem yang dapat mengklasifikasi komentar apakah mengandung elemen dari cyberbullying atau tidak dalam platform media sosial Instagram. Hasil dari klasifikasi akan digunakan untuk 2 / 8 komentar cyberbullying. Algoritma mendeteksi yang digunakan untuk klasifikasi adalah Naïve Bayes Classifier [ 9 ] . Selain pendeteksian konten , Nurrahmi dalam penelitiannya mampu mendeteksi aktor atau pelaku dari cyberbullying dengan pendekatan Text Classification dan analisis kredibilitas dari pengguna. Data dikumpulkan dari twitter , dan karena data tidak memiliki label , dalam penelitiannya dibuatlah web-based labelling tweet menjadi untuk mengklasifikasi cyberbullying dan non-cyberbullying tweet [ 10 ] . tool IV. METODE PENELITIAN A. Pengumpulan data Data yang digunakan dalam penelitian ini diperoleh dengan menggunakan metode scraping pada situs www.twitter.com dengan menggunakan library twint pada bahasa pemrograman python. Penggunaan library pada twint pada metode scraping dalam penelitian ini didasari oleh keterbatasan penggunaan API Twitter dalam mengambil data tweet. Library twint yang tidak perlu menggunakan akses API Twitter mampu melakukan scraping data tanpa batasan tertentu sehingga data yang diambil dapat berjumlah banyak. Proses scraping dilakukan dengan melakukan pencarian tweet berdasarkan kata kunci kata-kata kasar Bahasa Indonesia yang dalam penelitian sebelumnya digunakan untuk mencari pola bullying di Twitter. Kata kunci yang digunakan untuk proses scraping dapat dilihat pada Tabel 1. TABEL I Kata-kata kasar Bahasa Indonesia Klasifikasi Berkaitan dengan binatang Berkaitan psikologi dengan kebodohan dan Berkaitan dengan cacat Umum Kata-kata kasar -B*ngsat -A*jing -A*u -B*bi -M*nyet -K*nyuk -G*blok -Id*ot -G*blek -G*la -T*lol -S*rap -Ud*k -K*mpungan -B*ta -B*dek -Jel*k -Set*n -Ibl*s -Kep*rat -Gemb*l -Br*ngsek Makalah Skripsi – Program Studi D-IV Komputasi Statistik -S*mpret -Baj*ngan Pencarian berdasarkan kata kunci tersebut dilakukan dalam rentang waktu antara 1 Desember 2020 hingga 31 Desember 2020 kemudian data hasil scraping disimpan dalam format file csv. B. Filtrasi Data proses Setelah scraping melakukan dengan menggunakan library twint pada python , terdapat data yang tidak sesuai atau tidak diinginkan untuk selanjutnya dilakukan analisis sehingga harus dilakukan filtrasi dari data tweet yang berhasil dikumpulkan. Filtrasi data bertujuan untuk menghapus atau menghilangkan data yang tidak sesuai untuk dilakukan proses selanjutnya. Dalam proses ini dilakukan penghapusan data tweet yang duplikat , tweet yang bukan berbahasa Indonesia , serta tweet yang tidak mengandung kata kasar di dalamnya. C. Manual Labelling Setelah melakukan proses filtrasi , akan dilakukan proses labelling untuk selanjutnya dilakukan proses manual secara manual dengan pre-processing. Data dilabeli pandangan subjektif dari peneliti. Manual labelling dilakukan untuk mengubah data unsupervised menjadi supervised. Dalam penelitian ini , data tweet akan dilabeli menjadi 2 kategori. ‘NB’ untuk tweet yang tidak memiliki unsur flaming di dalamnya , ‘B’ untuk tweet yang memiliki unsur flaming di dalamnya. Untuk menilai suatu tweet apakah termasuk ke dalam tweet yang memiliki unsur flaming atau tidak , peneliti menentukan beberapa kriteria yang dapat digunakan pada tweet berbahasa Indonesia : 1. Kombinasi kata pertama , ganti kata / emosi negatif , dan kata ganti orang kedua ( Contoh : Aku benci kamu ) orang 2. Kombinasi kata ganti orang kedua dengan kata-kata kasar ( Contoh : Kamu anjing ) 3. Kombinasi kata pertama , ganti kata / emosi negatif , dan kata ganti orang ketiga ( Contoh : Aku benci dia ) orang 4. Kombinasi kata ganti orang ketiga dengan kata-kata kasar ( Contoh : Dia anjing ) Dari kriteria tersebut , peneliti menentukan suatu tweet mengandung unsur flaming atau tidak dimana secara keseluruhan tweet harus merujuk kepada suatu individu bukan terhadap objek atau benda mati. D. Preprocessing Data yang telah dilabeli akan dilakukan tahap preprocessing sebelum masuk ke dalam tahap klasifikasi. Preprocessing dilakukan untuk mendapatkan data bersih sehingga proses analisis dapat dilakukan lebih mudah. Selain itu preprocessing bertujuan untuk mengubah data yang dikumpulkan yang sebelumnya tidak terstruktur dikarenakan merupakan bahasa alami menjadi data yang 3 / 8 terstruktur. Preprocessing yang dilakukan dalam penelitian antara lain : 1. 2. 3. 4. 5. contoh , kata mempelajari , Case folding , merupakan proses untuk mengubah semua huruf dalam dokumen teks menjadi huruf kecil. Cleaning , merupakan proses untuk membersihkan dokumen dari kata atau karakter yang tidak diperlukan untuk mengurangi noise pada proses klasifikasi. Seperti penghapusan url , username , hashtags. Stemming , stemming merupakan suatu proses mengurangi atau menghilangkan infleksi kata ( atau turunan kata ) menjadi bentuk kata dasarnya. Sebagai belajar , pengajar , akan distem ke root wordnya yaitu “ajar”. Dalam penelitian ini digunakan library sastrawi pada python untuk melakukan proses stemming pada teks berbahasa indonesia. Stopword removal , merupakan proses untuk menghilangkan kata-kata yang tidak memiliki kontribusi untuk dilakukan ekstraksi informasi pada isi dokumen. Kata-kata yang termasuk dalam stopword untuk selanjutnya dihilangkan adalah kata-kata yang tidak penting dalam proses ‘tetapi’ , klasifikasi seperti kata : ‘dengan’ , ‘di’ , dan sebagainya. Tokenization , merupakan proses pemisahan teks menjadi potongan-potongan yang disebut sebagai token untuk kemudian dianalisis. ‘yang’ , ‘ke’ , E. Tahap Klasifikasi Pada tahap klasifikasi , dilakukan dengan menggunakan algoritma Naive Bayes Classifier. Metode klasifikasi dengan menggunakan Naive Bayes adalah algoritma yang menggunakan teorema Bayes mengasumsikan semua atribut independen atau tidak saling ketergantungan yang diberikan oleh nilai pada variabel kelas. Hasil dari manual labelling akan dibagi menjadi dua , yaitu data training dan testing. Proporsi pembagian data dilakukan sebanyak 70 % untuk data training dan 30 % untuk data testing. Proses pembagian data dilakukan secara acak sampai memenuhi proporsi pembagian data. Setelah proses pembagian data , data training dilakukan metode klasifikasi dengan Naive Bayes Classifier dengan menggunakan bantuan library sklearn pada python. Dari proses klasifikasi menggunakan data training , model akan disimpan untuk selanjutnya digunakan klasifikasi pada data testing. Proses selanjutnya adalah mengklasifikasi data testing dengan menggunakan model dari klasifikasi data training sebelumnya. Setelah itu hasil klasifikasi data testing akan dinilai performanya dalam tahap evaluasi. F. Evaluasi Dalam tahap ini dilakukan evaluasi bagaimana performa dan klasifikasi dengan dalam proses menggunakan algoritma Naive Bayes Classifier yang telah dilakukan. Untuk mengevaluasi kinerja classifier dalam pembelajaran Makalah Skripsi – Program Studi D-IV Komputasi Statistik penelitian dilakukan dengan menggunakan cross validation. Hasil evaluasi dari pengujian set data individu kemudian dihitung rata-ratanya untuk mendapatkan hasil akurasi keseluruhan yang secara statistik lebih dapat diandalkan daripada hasil tunggal yang dikumpulkan dari satu set. Dalam penelitian ini dilakukan metode K-Cross Validation sebanyak 10 ( K=10 ) . Adapun tahapan dalam cross validation dalam penelitian ini adalah sebagai berikut : Shuffle dataset secara acak 1. 2. Pisahkan dataset menjadi 10 bagian 3. Untuk setiap K bagian : a. Bagi menjadi set data training dan data testing b. Buat model dari set data training dan lakukan evaluasi dengan menggunakan set data testing c. Hitung nilai evaluasi dan singkirkan model 4. Rangkum evaluasi model menggunakan rata-rata skor evaluasi model. Dari setiap K bagian dataset dilakukan evaluasi dengan bantuan confusion matrix sehingga dapat mengetahui nilai performanya seperti presisi , recall , f1-score , dan akurasi. Dari proses K-Cross Validation ini , selain dapat mengetahui rata-rata keseluruhan dari model klasifikasi , metode ini juga dapat diketahui nilai akurasi tertinggi dari setiap model sehingga model untuk tersebut menjadi menggunakan proses prediksi selanjutnya. acuan V. KERANGKA PIKIR Gambar 1. Bagan Kerangka Pikir Alur pemikiran dalam penelitian ini dapat dilihat pada Gambar 1. Pemikiran penelitian dimulai dengan semakin 4 / 8 maraknya penggunaan media sosial terutama di Indonesia yang dipakai oleh berbagai kalangan dari usia muda hingga tua. Penggunaan media sosial yang masif ini sayangnya tidak diikuti dengan penggunaan etika dalam bermedia sosial sehingga menimbulkan beberapa masalah terkait penggunaannya yang mengarah kepada hal negatif , salah satunya adalah cyberbullying. kasar negatif dalam interaksi dalam twitter. Dampak Banyak ditemukan kasus cyberbullying pada media sosial , tidak terkecuali pada platform Twitter. Salah satu bentuk yang cyberbullying yang paling sering ditemukan adalah flaming. Penggunaan dalam platform twitter ditemukan sering kata-kata sehari-hari dari cyberbullying mulai dari depresi , gangguan kecemasan , hingga keinginan ingin bunuh diri pada korbannya merupakan daya Tarik peneliti untuk melakukan penelitian. Dengan maraknya ditemukan bentuk-bentuk flaming dalam platform twitter , peneliti ingin membangun sebuah model klasifikasi dengan menggunakan algoritma Naïve Bayes Classifier dalam mengklasifikasikan suatu tweet yang mengandung unsur flaming. Dari model yang dihasilkan , dilakukan evaluasi agar mengetahui nilai akurasi model tersebut sehingga menjadi acuan untuk penelitian-penelitian yang berkaitan dengan cyberbullying dengan menggunakan algoritma Naïve Bayes Classifier. VI. HASIL DAN PEMBAHASAN A. Pengumpulan Data Dari proses scraping dengan menggunakan library twint , data tweet yang terambil sebanyak 481648 tweet / baris. Data yang dihasilkan dari proses scraping tidak hanya berupa teks tweet saja melainkan atribut-tribut mengenai suatu tweet juga terambil seperti : tweet id , date , username , user id , mentions , language , dan sebagainya. Adapun contoh data tweet yang dikumpulkan dapat dilihat pada Tabel 2 berikut. Username ad******13 lem********yy ze****o TABEL II Kata-kata kasar Bahasa Indonesia Tweet yang b*ngsat disayang-sayang , yang tulus malah disia-siakan haha ( n ) tp ini trus2an.. sampe gw yg selalu mencoba positif ini capek.. a*jing gw jg capek oi.. g cuma lu.. g usah pake banding2in n lomba2 dlm ngesusahan lah.. GW JUGA CAPEK B*NGSAT nyalahin member @ nctzenbase Udh macam ordal aja kau pula. Buat ya , boygrupmu sendirilah , terus kau atur sendiri. Kalo ko mo nyalahin , serahmu. Ini kau ngasih makan jwoo enggak , ko maki pula. Kan a*u Makalah Skripsi – Program Studi D-IV Komputasi Statistik B. Filtrasi Data Dari data mentah yang telah didapatkan dari hasil scraping , ditemukan data tweet yang tidak sesuai dengan yang diinginkan untuk dilanjutkan ke proses preprocessing setelah tersebut menunjukkan bahwa ada kelemahan dalam proses scraping dengan menggunakan library twint pada python. Berikut beberapa data yang tidak sesuai untuk dilakukan proses preprocessing : data. Hal eksplorasi dilakukan TABEL III CONTOH DATA YANG DUPLIKAT row / index Tweet 78 1252 kaum y / n lah kaum bim lah kaum solo stan lah B*NGSAT KELEN SMUA A*JING kaum y / n lah kaum bim lah kaum solo stan lah B*NGSAT KELEN SMUA A*JING Tabel III menunjukkan adanya data tweet yang duplikat sehingga salah satu data tweet tersebut harus dihapus. Apabila terdapat lebih dari dua duplikat tweet yang terambil dari proses scraping , maka tweet lainnya dihapus dan menyisakan satu data tweet yang unik. TABEL IV CONTOH DATA YANG TIDAK BERBAHASA INDONESIA username h***_asu Tweet リキッドムースさん お母さんらのご要望で下に 敷いてほしいあったからケーキ敷いたり フル グラ敷いたりしてみた｡ 次はカレーやんね ……大丈夫か ( ˙-˙ ) Tabel IV menunjukkan data tweet yang tidak berbahasa indonesia. Data tweet tersebut terambil karena dalam proses scraping , target pencarian berdasarkan kata kunci ternyata tidak hanya pada teks tweet saja melainkan kata dari username juga termasuk dalam variabel pencarian dalam scraping menggunakan library twint. TABEL V CONTOH DATA YANG TIDAK MENGANDUNG KATA KASAR Tweet @ akkiiss25 Tadii udah sarapann , jangan lupa sarapn jugaa ! Kucing jalanan yg suka mampir minta jatah preman , pas matanya sakit parah dirawat adik. Aku lebih suka manggil dia mbambang. Pas mudik liat dia sekali doang n dia sptnya ga ngenalin , galak cuma mau dielus atas kpala. Besoknya himðŸˆ ga grimis https : / / t.co / eFLCBQ63H2 x. Miss nongol krn Tabel V juga menunjukkan kelemahan dari scraping menggunakan library twint. Proses pencarian berdasarkan kata kunci ternyata menargetkan kata yang berada pada kata lain. Misalnya , pada kata kunci ‘sarap’ yang terdapat pada kata juga termasuk ke target pencarian , begitu juga ‘sarapan’ dengan kata kunci ‘udik’ pada kata ‘mudik’ , dan lain sebagainya. Selain itu , terdapat data tweet yang sama sekali ini tidak terdapat kata kunci dari proses scraping. Hal 5 / 8 disebabkan oleh seperti masalah sebelumnya , yaitu username yang mengandung kata kunci juga terambil dalam proses scraping dengan tweet berbahasa Indonesia. C. Manual Labelling Untuk keperluan proses klasifikasi yang menggunakan algoritma naive bayes classifier yang merupakan supervised learning , data tweet akan dilabeli secara manual dengan subjektivitas dari peneliti. Tweet akan dikategorikan menjadi dua kategori. ‘B’ untuk tweet yang mengandung unsur flaming , dan ‘NB’ untuk tweet yang tidak mengandung unsur flaming di dalamnya. Contoh pelabelan tweet terdapat pada tabel berikut. Dalam proses pelabelan ini , peneliti menentukan label dari setiap tweet berdasarkan pandangannya mengenai tweet tersebut. Pada umumnya , penentuan label terhadap tweet yang memiliki unsur flaming atau tidak berdasarkan tujuan atau intensi dari sebuah tweet apakah bertujuan untuk menyerang atau menunjukkan rasa negatif terhadap individu lain atau hanya sekedar melampiaskan amarah terhadap objek benda mati tanpa ditujukan kepada individu lain. Konsekuensi dalam proses pelabelan ini adalah kesalahan interpretasi dari peneliti yang bukan ahli dalam bidang bahasa sehingga kemungkinan pelabelan terhadap suatu tweet bisa saja salah. Berikut contoh hasil pelabelan dari data tweet hasil filtrasi sebelumnya. TABEL VI CONTOH DATA HASIL MANUAL LABELLING tweet @ tanyainrl f b*ngsat r lebih b*ngsat. m baik , n juga ehhe @ akumaumsksurga @ lfrhmh HAHHAHAHA BARU SADAR N WORD B*NGSAT BGT GARE mau lu kaya gimana pun.. lu bakal salah n hina dimata mereka.. jadi GA USAH SOK2AN MO JADI BENER.. A*JING YA TETEP A*JING SADAR DIRI LO B*NGSAT iyah maap.. w lupa klo w b*ngsat.. w nya aja yg terlalu maksa berbaur sama orang2 suci kaya mereka T*LOL A*jing B*adab Silup smoga hidup kau tidak berkah siksa dunia n akhirat klasifikasi NB NB B B Manual labelling akan mengkategorikan tweet menjadi dua yaitu tweet berlabel ‘NB’ ada sebanyak 1500 dan tweet berlabel ‘B’ ada sebanyak 1500. Dari proses pelabelan ini , data tersebut akan digunakan untuk keperluan data testing dan training pada proses klasifikasi dan evaluasi selanjutnya. D. Preprocessing Sebelum masuk ke dalam proses klasifikasi , data tweet akan melalui tahap preprocessing. Tujuan dari tahap preprocessing ini adalah untuk menghilangkan noise dari data tweet yang tidak memiliki bahasa yang terstruktur. Selain itu tahap Makalah Skripsi – Program Studi D-IV Komputasi Statistik preprocessing ini dilakukan guna memperbaiki kualitas data. Berikut tahapan preprocessing pada penelitian ini : Contoh tweet : [ @ z_ze @ myjourney2020 @ La_FarEast @ armanamin330 Yg ada otak jadi tukang anggok lobai jual agama utk hidup lgi bangsat ... Allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang ... 😡😡😡😡😡manifesto jadi kertas jamban bila dah jilat penyamung n pengkhianat konon maufakat penyamung.ptuii ! https : / / t.co / algj5511Yk ] 1. Mengonversi seluruh tweet menjadi @ myjourney2020 lowercase , mengubah seluruh karakter huruf dari tweet menjadi huruf kecil. [ @ z_ze @ la_fareast @ armanamin330 yg ada otak jadi tukang anggok lobai jual agama utk hidup lgi bangsat ... allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang ... 😡😡😡😡😡manifesto jadi kertas jamban bila dah jilat penyamung n pengkhianat penyamung.ptuii ! konon https : / / t.co / algj5511yk ] maufakat 2. Menghapus alamat link dari suatu web baik HTML @ myjourney2020 maupun URL. @ la_fareast [ @ z_ze @ armanamin330 yg ada otak jadi tukang anggok lobai jual agama utk hidup lgi bangsat ... allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang ... 😡😡😡😡😡manifesto jadi kertas jamban bila dah jilat penyamung n pengkhianat konon maufakat penyamung.ptuii ! ] 3. Menghapus mentions atau tanda @ beserta usernamenya serta menghapus tanda hashtags dari tweet. [ yg ada otak jadi tukang anggok lobai jual agama utk hidup lgi bangsat ... allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang ... 😡😡😡😡😡manifesto kertas jamban bila dah jilat penyamung n pengkhianat konon maufakat penyamung.ptuii ! ] jadi 4. Menghapus karakter lain baik emotikon maupun tanda baca dalam tweet , menyisakan karakter huruf a-z saja. [ yg ada otak jadi tukang anggok lobai jual agama utk hidup lgi bangsat allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang manifesto jadi kertas jamban bila dah jilat penyamung n pengkhianat konon maufakat penyamung ptuii ] 5. Proses stemming , seperti dijelaskan pada metodologi sebelumnya merupakan suatu proses mengurangi atau ( atau turunan kata ) menghilangkan infleksi kata menjadi bentuk kata dasarnya. [ yg ada otak jadi tukang anggok loba jual agama utk hidup lgi bangsat allah bgi otak suruh fikir bkn jadi bahlol ustaz lahanat dpt kuasa buang semua kitab kelongkang manifesto jadi kertas jamban bila dah jilat penyamung n khianat konon maufakat penyamung ptuii ] 6 / 8 6. Proses tokenisasi , merupakan proses pemisahan teks menjadi potongan-potongan yang disebut sebagai token. [ 'yg ' , 'ada ' , 'otak ' , 'jadi ' , 'tukang ' , 'anggok ' , 'loba ' , 'jual ' , 'agama ' , 'utk ' , 'hidup ' , 'lgi ' , 'bangsat ' , 'allah ' , 'bgi ' , 'otak ' , 'suruh ' , 'fikir ' , 'bkn ' , 'jadi ' , 'bahlol ' , 'ustaz ' , 'lahanat ' , 'dpt ' , 'buang ' , 'kuasa ' , 'kelongkang ' , 'jadi ' , 'kertas ' , 'jamban ' , 'bila ' , 'dah ' , 'jilat ' , 'manifesto ' , 'penyamung ' , 'maufakat ' , 'konon ' , 'n ' , 'penyamung ' , 'ptuii ' ] 'khianat ' , 'semua ' , 'kitab ' , 'otak ' , 7. Menghapus stopword , menghilangkan kata-kata yang tidak memiliki kontribusi untuk dilakukan ekstraksi informasi pada isi dokumen. [ 'yg ' , 'jual ' , 'agama ' , 'utk ' , 'hidup ' , 'lgi ' , 'bangsat ' , 'allah ' , 'bgi ' , 'otak ' , 'suruh ' , 'dpt ' , 'bahlol ' , 'manifesto ' , 'kuasa ' , 'kertas ' , 'jamban ' , 'dah ' , 'jilat ' , 'penyamung ' , 'n ' , 'khianat ' , 'konon ' , 'maufakat ' , 'penyamung ' , 'ptuii ' ] 'ustaz ' , 'kelongkang ' , 'fikir ' , 'buang ' , 'anggok ' , 'lahanat ' , 'tukang ' , 'kitab ' , 'loba ' , 'bkn ' , 'jadi ' , Makalah Skripsi – Program Studi D-IV Komputasi Statistik merangkai langkah-langkah sebelumnya mulai dari ekstraksi fitur , pembobotan kata , sampai pembentukan model yang dapat diatur penggunaan parameternya. Dalam proses pengklasifikasian dalam penelitian ini , proporsi pembagian data dilakukan sebanyak 70 % untuk data training dan 30 % untuk data testing. Proses pembagian data dilakukan secara acak sampai memenuhi proporsi pembagian data. Setelah proses pembagian data tersebut dilakukan , maka model klasifikasi dapat dibentuk dengan memanggil class pipeline yang telah dibentuk sebelumnya serta pembentukan model prediksi untuk dihitung performa dari algoritma yang digunakan. TABEL VII Hasil Uji Coba Model Klasifikasi Precision B NB 0.72 0.52 Recall 0.58 0.67 F1-Score 0.64 0.59 Akurasi 0.62 8. Mengonversi kata slang maupun singkatan ke bentuk indonesia yang normal / baku serta mengembalikan tweet ke bentuk semula ( bukan dalam token ) . Hasil akhir tweet dari tahapan preprocessing : [ yang otak tukang anggok loba jual agama untuk hidup lagi bangsat allah bagi otak suruh fikir bikin bahlol ustaz lahanat dapat kuasa buang kitab kelongkang manifesto kertas jamban deh jilat penyamung n khianat konon maufakat penyamung ptuii ] akurasi Dari hasil perhitungan berdasarkan confusion matrix yang dihasilkan , nilai akurasi yang didapatkan dari pengujian model yang telah dibuat seperti pada Tabel VII adalah sebesar 62 % . Nilai ini didapat berdasarkan pembagian data sebelumnya yang membagi data training dan data testing sebesar 70:30. Hal ini tentu saja belum dapat menentukan keterwakilan dari nilai akurasi sebenarnya pada model yang telah dibuat , oleh karena itu akan dilakukan evaluasi terhadap model dengan metode K-Fold Cross Validation. D. Ekstraksi Fitur dan Pembobotan Kata E. Evaluasi Model Pada tahapan ekstraksi fitur ini , dilakukan penggunaan guna package library CountVectorizer mengekstraksi fitur pada dataset dengan mengubahnya menjadi suatu representasi berbentuk vektor. Sebagai contoh pelaksanaan proses ekstraksi fitur , dipilih tiga data tweet sebagai berikut : sklearn pada ● Dokumen 1 : “enggak beres gara gara laptop bangsat” ● Dokumen 2 : “bangsat sih enggak” ● Dokumen 3 : “iya anjg corona bangsat” Dari ketiga dokumen tersebut dibentuk vocabulary yang mengandung kata dari setiap dokumen. Kata yang terbentuk dari ketiga kalimat tersebut adalah “enggak” , “beres” , “gara” , “laptop” , “bangsat” , “sih” , “anjg” , “corona”. Dari ketiga dokumen tersebut yang telah diubah ke dalam bentuk vektor selanjutnya akan dilakukan perhitungan dengan menggunakan formula TF-IDF. Dengan menggunakan TF-IDF maka vektor yang sudah terbentuk akan memiliki nilai yang sudah terbobot. E. Pembentukan Model Klasifikasi Setelah tahap preprocessing selesai dilakukan , tahap berikutnya adalah tahap pembelajaran dari data training serta klasifikasi. Dalam proses ekstraksi fitur , pembobotan kata , serta pembentukan model klasifikasi digunakan dengan bantuan class Pipeline yang disediakan oleh library sklearn pada python. Penggunaan class Pipeline ini bertujuan untuk Untuk memaksimalkan evaluasi model , dilakukan metode K-Fold Cross Validation dengan menggunakan nilai K sebanyak 10 , atau dengan kata lain memisahkan dataset sebanyak 10 bagian dimana setiap bagian akan menjadi data testing sedangkan sisanya menjadi data training. Pada proses k-fold cross validation ini digunakan library StratifiedKFold dimana penggunaan cross validation akan menggunakan distribusi uniform sehingga data testing yang dibagi akan mewakili keseluruhan dataset. Dari setiap fold akan dihitung nilai evaluasi seperti sebelumnya serta akurasinya. Perhitungan nilai evaluasi setiap fold dataset dapat dilihat dalam Tabel VIII berikut. seperti precision , f-1 score , recall , TABEL VIII Nilai Evaluasi Cross Validation Fold B Precision Recall 1 2 3 4 5 6 7 8 9 10 0.79 0.60 0.61 0.41 0.64 0.68 0.80 0.60 0.67 0.71 0.54 0.56 0.48 0.45 0.60 0.56 0.60 0.58 0.59 0.57 NB Precision 0.32 0.52 0.33 0.50 0.57 0.47 0.47 0.56 0.54 0.45 F1-Sc ore 0.64 0.58 0.54 0.43 0.62 0.61 0.69 0.59 0.63 0.63 Akurasi Recall 0.61 0.57 0.46 0.46 0.61 0.59 0.70 0.58 0.62 0.61 F1-Sc ore 0.42 0.54 0.38 0.48 0.59 0.52 0.56 0.57 0.58 0.52 0.56 0.56 0.47 0.46 0.61 0.57 0.63 0.58 0.60 0.58 7 / 8 Dari keseluruhan data tersebut untuk melihat keseluruhan nilai evaluasi maka setiap nilai yang dihasilkan akan dirata-rata evaluasi yang maksimal. Hasil rata-rata metode cross validation dapat dilihat pada Tabel IX berikut. sehingga menghasilkan nilai TABEL IX Nilai Rata-rata Evaluasi Cross Validation F1-Score 0.596 0.516 Recall 0.553 0.581 Klasifikasi Precision B NB 0.651 0.473 Akurasi 0.562 Dari hasil evaluasi model dengan menggunakan metode cross validation yang dapat dilihat pada Tabel VII , nilai precision atau tingkat ketepatan informasi yang diinginkan dibandingkan dengan yang dihasilkan oleh model untuk kategori data tweet berlabel ‘B’ sebesar 65,1 % dan untuk berlabel NB sebesar 47,3 % . Sedangkan untuk nilai recall atau tingkat keberhasilan model untuk menemukan kembali sebuah informasi untuk data tweet berlabel ‘B’ sebesar 55,3 % dan untuk data tweet berlabel ‘NB’ sebesar 58,1 % . Sedangkan untuk akurasi dari keseluruhan model yang diuji hanya dapat berkisar di rata-rata sebesar 56,2 % . E. Perbandingan dengan Algoritma Lain Selain hasil evaluasi , dilakukan juga perbandingan dengan algoritma lain seperti Logistic Regression , Support Vector Machine , dan Random Forest , algoritma Logistic Regression tingkat akurasi yang paling tinggi dengan nilai memiliki 57,7 % , sedangkan Random Forest memiliki tingkat akurasi terendah dengan nilai 54,9 % . Dan untuk perbandingan runtime ketika memproses klasifikasi , Algoritma Naive Bayes mampu melakukan proses klasifikasi yang cepat daripada algoritma lain , sedangkan untuk algoritma yang cukup lama dalam melakukan proses klasifikasi adalah algoritma Random Forest. VII. PENUTUP Berdasarkan hasil dan pembahasan yang didapatkan sebelumnya , maka kesimpulan yang dapat diambil dalam penelitian ini adalah bahwa pembentukan model klasifikasi dengan algoritma Naïve Bayes Classifier berdasarkan data tweet yang sudah dilabeli dengan proporsi data training dan testing sebesar 70:30 menghasilkan nilai akurasi sebesar 62 % . Sedangkan dari hasil evaluasi model yang dibuat dengan menggunakan metode K-Fold Cross Validation sebanyak K=10 menghasilkan nilai evaluasi optimal dengan nilai akurasi sebesar 56,2 % . Dari nilai F-1 Score dapat dilihat bahwa model klasifikasi lebih baik dalam mengklasifikasikan tweet yang tidak mengandung unsur flaming ( 64 % ) daripada yang mengandung unsur flaming ( 44 % ) . Hal ini menunjukkan model dalam mengklasifikasikan tweet yang mengandung flaming. Selain itu , dari hasil perbandingan dengan algoritma lain seperti Logistic Regression , Support Vector Machine , dan Random Forest , algoritma Logistic Regression memiliki tingkat akurasi yang paling tinggi dengan nilai 57,7 % , sedangkan Random belum cukup dibuat andal yang Makalah Skripsi – Program Studi D-IV Komputasi Statistik Forest memiliki tingkat akurasi terendah dengan nilai 54,9 % .. Dari kedua hasil perbandingan dimana dilihat dari sisi akurasi dan runtime masing-masing algoritma , algoritma Naive Bayes cukup yang menjadi perbandingan dalam penelitian ini. algoritma daripada baik lain kesimpulan Berdasarkan peneliti untuk memberikan penelitian-penelitian yang berkaitan dengan topik penelitian ini di masa depan sebagai berikut : didapatkan , acuan sebagai untuk saran yang 1. Menambah data label dalam supervised learning sebagai acuan model klasifikasi untuk menambah akurasi model. 2. Menambah tahapan dalam preprocessing seperti pembobotan adanya pengaruh emotikon dalam unsur flaming dalam suatu tweet. dikarenakan emotikon 3. Menerapkan imbalance class pada jumlah data training untuk lebih memfokuskan kepada kelas atau kategori yang krusial atau yang diinginkan. 4. Menggunakan klasifikasi. algoritma lain dalam model DAFTAR PUSTAKA [ 1 ] Keith Cortis and Siegfried Handschuh. 2015. Analysis of cyberbullying tweets in trending world events. In Proceedings of the 15th International Conference on Knowledge Technologies and Data-driven Business ( i-KNOW '15 ) . Association for Computing Machinery , New York , NY , USA , Article 7 , 1–8.P. Shakarian , A. Bhatnagar , A. Aleali , E. Shaabani , and R. Guo , The Independent Cascade and Linear Threshold Models. Cham : Springer International Publishing , 2015 , pp. 35–48. [ 2 ] H. Margono , X. Yi , and G. K. Raikundalia , ”Mining Indonesian in Thirty-Seventh Cyberbullying Patterns Australasian Computer Science Conference , Auckland , 2014. in Social Networks , ” [ 3 ] Aminef. ( 2021 , 6 ) Merunut lemahnya hukum cyberbullying di Indonesia. [ Online ] . Available : https : / / www.aminef.or.id / merunut_lemahnya_hukum_cyberbullying_di_i ndonesia / [ 4 ] Willard , N. ( 2007 ) . Cyberbullying and cyberthreats. Washington : U.S. Department of Education. [ 5 ] Tjitjik Hamidah. ( 2020 , 6 ) . Perilaku Cyber Bullying : Bentuk dan Available : Penyebabnya. https : / / buletin.k-pin.org / index.php / arsip-artikel / 278-perilaku-cyberbullyin g-bentuk-dan-penyebabnya [ 6 ] D. , Ruth Mega Ulina ( 2014 ) PEMBANGUNAN APLIKASI PENCARIAN DOKUMEN MENGGUNAKAN TEXT MINING BERBASIS WEB. S1 thesis , UAJY. [ Online ] . [ 7 ] M. kabir hasan dkk. Baby & T.,2012.”Data mining Implementasi Regresi Linier Untuk Prediksi Nilai Ujian”. Foundation For Statistical Conmputing. [ 8 ] N. Novalita , A. Herdiani , I. Lukmana , and D. Puspandari , “Cyberbullying identification on twitter using random forest classifier , ” in The 2nd International Conference on Data and Information Science 15–16. November 2018 , UK : IOP Publishing Ltd , Nov 2018. [ 9 ] M. Z. Naf’an , A. A. Bimantara , A.Larasati , E. M. Risondang , and N. A. S. Nugraha , “Sentiment Analysis of Cyberbullying on Instagram User Comments , ” Journal of Data Science and Its Applications , vol. 2 , pp. 38-48. [ 10 ] H. Nurrahmi and D. Nurjanah , “Indonesian Twitter Cyberbullying Detection using Text Classification and User Credibility , ” in 2018 International Conference and Communications Technology ( ICOIACT ) , 2018 , pp. 543-548. Information on 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O B-METODE O O O O B-METODE O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN O O O O O O B-METODE I-METODE O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Klasifikasi Flaming pada Kasus Cyberbullying di Twitter Menggunakan Algoritma Naïve Bayes Classifier Rivaldi ( 16.9389 , 4SI1 ) Dosen Pembimbing : Farid Ridho , S.S.T , M.T. sosial sebagai Ringkasan— Media salah satu sarana komunikasi saat ini telah menjadi suatu kebutuhan untuk saling berkomunikasi di zaman sekarang. Berbagai platform tersedia untuk berkomunikasi dalam media sosial , salah satunya adalah Twitter. Penggunaan Twitter yang beragam oleh berbagai pengguna tidak diikuti oleh etika-etika yang baik dalam bersosial di dunia maya , hal ini dapat dilihat ketika semakin maraknya cyberbullying. Salah satu bentuk yang cyberbullying yang paling sering ditemukan dalam platform twitter adalah flaming. Penggunaan kata-kata kasar dalam interaksi sering ditemukan sehari-hari dalam twitter. Dengan maraknya ditemukan bentuk-bentuk flaming dalam platform twitter , ingin membangun sebuah model klasifikasi dengan peneliti menggunakan dalam algoritma Naïve Bayes Classifier mengklasifikasikan suatu tweet yang mengandung unsur flaming. Tahapan yang dilakukan dalam penelitian ini meliputi Data Collection , Pre-Processing , Pembentukan Model Klasifikasi , dan ialah model Evaluasi. Kesimpulan yang dapat diketahui klasifikasi dengan menggunakan algoritma Naïve Bayes Classifier dalam mengklasifikasikan tweet yang mengandung flaming mendapatkan nilai akurasi sebesar 56,2 % dengan metode evaluasi K-Fold Cross Validation. Selain itu perbandingan yang dilakukan dengan algoritma lain dari sisi akurasi serta runtime menghasilkan kesimpulan bahwa Naive Bayes Classifier lebih baik daripada algoritma lain yang menjadi perbandingan. Kata Kunci— Twitter , Cyberbullying , Flaming , Naïve Bayes Classifier.
VII. PENUTUP Berdasarkan hasil dan pembahasan yang didapatkan sebelumnya , maka kesimpulan yang dapat diambil dalam penelitian ini adalah bahwa pembentukan model klasifikasi dengan algoritma Naïve Bayes Classifier berdasarkan data tweet yang sudah dilabeli dengan proporsi data training dan testing sebesar 70:30 menghasilkan nilai akurasi sebesar 62 % . Sedangkan dari hasil evaluasi model yang dibuat dengan menggunakan metode K-Fold Cross Validation sebanyak K=10 menghasilkan nilai evaluasi optimal dengan nilai akurasi sebesar 56,2 % . Dari nilai F-1 Score dapat dilihat bahwa model klasifikasi lebih baik dalam mengklasifikasikan tweet yang tidak mengandung unsur flaming ( 64 % ) daripada yang mengandung unsur flaming ( 44 % ) . Hal ini menunjukkan model dalam mengklasifikasikan tweet yang mengandung flaming. Selain itu , dari hasil perbandingan dengan algoritma lain seperti Logistic Regression , Support Vector Machine , dan Random Forest , algoritma Logistic Regression memiliki tingkat akurasi yang paling tinggi dengan nilai 57,7 % , sedangkan Random belum cukup dibuat andal yang Makalah Skripsi – Program Studi D-IV Komputasi Statistik Forest memiliki tingkat akurasi terendah dengan nilai 54,9 % .. Dari kedua hasil perbandingan dimana dilihat dari sisi akurasi dan runtime masing-masing algoritma , algoritma Naive Bayes cukup yang menjadi perbandingan dalam penelitian ini. algoritma daripada baik lain kesimpulan Berdasarkan peneliti untuk memberikan penelitian-penelitian yang berkaitan dengan topik penelitian ini di masa depan sebagai berikut : didapatkan , acuan sebagai untuk saran yang 1. Menambah data label dalam supervised learning sebagai acuan model klasifikasi untuk menambah akurasi model. 2. Menambah tahapan dalam preprocessing seperti pembobotan adanya pengaruh emotikon dalam unsur flaming dalam suatu tweet. dikarenakan emotikon 3. Menerapkan imbalance class pada jumlah data training untuk lebih memfokuskan kepada kelas atau kategori yang krusial atau yang diinginkan. 4. Menggunakan klasifikasi. algoritma lain dalam model
Dengan maraknya ditemukan bentuk-bentuk flaming dalam platform twitter , ingin membangun sebuah model klasifikasi dengan peneliti menggunakan dalam algoritma Naïve Bayes Classifier mengklasifikasikan suatu tweet yang mengandung unsur flaming. Tahapan yang dilakukan dalam penelitian ini meliputi Data Collection , Pre-Processing , Pembentukan Model Klasifikasi , dan ialah model Evaluasi. Kesimpulan yang dapat diketahui klasifikasi dengan menggunakan algoritma Naïve Bayes Classifier dalam mengklasifikasikan tweet yang mengandung flaming mendapatkan nilai akurasi sebesar 56,2 % dengan metode evaluasi K-Fold Cross Validation. Selain Cross Validation sebanyak K=10 menghasilkan nilai evaluasi optimal dengan nilai akurasi sebesar 56,2 % . Dari nilai F-1 Score dapat dilihat bahwa model klasifikasi lebih baik dalam mengklasifikasikan tweet yang tidak mengandung unsur flaming ( 64 % ) daripada yang mengandung unsur flaming ( 44 % ) . Hal ini menunjukkan model dalam mengklasifikasikan tweet yang mengandung flaming. Selain itu , dari hasil perbandingan dengan algoritma lain seperti Logistic Regression , Support Vector Machine , dan Random Forest , algoritma Logistic Regression memiliki tingkat akurasi yang paling tinggi dengan nilai 57,7 % , sedangkan Random belum cukup dibuat andal yang Makalah Skripsi
O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O B-METODE O O O O B-METODE O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O B-TEMUAN O O O O O O B-METODE I-METODE O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O