Sentiment Analysis dan Topic Modeling terhadap Ulasan Aplikasi PeduliLindungi menggunakan Transformer-based Model 
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Sentiment Analysis dan Topic Modeling terhadap Ulasan Aplikasi PeduliLindungi menggunakan Transformer-based Model Aldias Irvan Nugraha ( 221810138 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , S.ST. , M.Si. Ringkasan— PeduliLindungi merupakan alat pendukung pelacakan kontak yang menjadi komponen utama dari strategi komprehensif untuk mengendalikan penyebaran COVID-19 di Indonesia. Atas dasar inilah , penting dilakukan evaluasi dan peningkatan kualitas aplikasi melalui berbagai metode ekstraksi informasi , seperti sentiment analysis dan topic modeling. Model ekstraksi informasi yang populer digunakan masih memiliki kekurangan sehingga peneliti menggunakan model BERT dengan berbagai perbedaan perlakuan data preprocessing dan teknik BERTopic sebagai solusi pemetaan topik yang ramai dibicarakan pengguna. Hasil penelitian memperlihatkan bahwa perlakuan data preprocessing terbaik mencapai nilai tertinggi di setiap matriks evaluasi , tetapi perlakuan data preprocessing yang berlebihan justru berdampak negatif pada kinerja model. Light preprocessing pada dataset bahasa Inggris memberikan accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1-score 89,79 % , sedangkan dataset Indonesia mendapatkan accuracy 84,01 % , precision 83,67 % , recall 84,42 % , dan f1-score 83,83 % . Sementara itu , hasil topic modeling menunjukkan bahwa meskipun ada pendapat positif tentang aplikasi , masih ditemukan ketidak puasan pengguna terhadap beberapa masalah terkait baterai dan lokasi , sertifikat vaksin , kode OTP , update aplikasi , input tanggal lahir , performa lambat , dan ketersediaan versi internasional. Kata Kunci— Sentiment Analysis , Topic Modeling , PeduliLindungi , BERT , BERTopic. I. LATAR BELAKANG implementasi pelacakan kontak , Menurut World Health Organization ( WHO ) , pelacakan kontak menjadi komponen utama dari strategi komprehensif untuk mengendalikan penyebaran COVID-19 [ 1 ] . Selain keterlibatan masyarakat dan dukungan publik , sistem informasi yang dirancang dengan baik memegang peran sebagai unsur penting saja pengadopsian teknologi inovatif seperti aplikasi kesehatan seluler yang terintegrasi dengan bluetooth , global positioning system ( GPS ) , social graph , contact details , artificial intelligence ( AI ) , machine learning ( ML ) dan teknologi canggih ini , Kementerian Komunikasi dan Informasi ( Kominfo ) bekerjasama dengan Kementerian Kesehatan dan Kementrian Badan Usaha Milik Negara ( BUMN ) meluncurkan aplikasi PeduliLindungi pada bulan April 2020 sebagai alat pendukung pelacakan kontak. lainnya [ 2 ] . Menanggapi hal sebut Pentingnya PeduliLindungi dalam pengendalian COVID-19 tentunya perlu diikuti dengan upaya peningkatan kualitas aplikasi itu sendiri melalui evaluasi yang dapat diperoleh salah satunya dari ulasan pengguna. Ulasan pengguna dinilai sebagai sumber pengetahuan berharga bagi pengembang aplikasi karena berisi laporan bug , informasi penting , seperti permintaan fitur , dan pengalaman pengguna [ 3 ] , [ 4 ] . Terbukti sudah banyak aplikasi yang berhasil meningkatkan peluang kesuksesannya dengan cara mengamati dan memperhatikan ulasan pengguna [ 4 ] . Masalahnya , informasi dari ulasan pengguna tidak dapat diekstrak secara langsung [ 5 ] . Pendekatan seperti sentiment analysis dan topic modeling dapat membantu memetakan pandangan pengguna terhadap aplikasi dan menilai faktor- faktor apa saja yang berperan untuk meningkatkan kualitas aplikasi di masa depan. Sentiment analysis dikenal juga dengan opinion mining , akan mengklasifikasikan opini pengguna berdasarkan polaritas. Penelitian terkait sentiment analysis sendiri telah banyak dilakukan terutama dengan metode machine learning tradisional seperti Support Vector Machine ( SVM ) , Naïve Bayes , dan sejenisnya [ 6 ] , [ 7 ] . Namun , model- model di atas masih memiliki kekurangan pada masalah pemahaman terhadap semantik kata [ 8 ] . Selanjutnya , topic modeling digunakan untuk mendapatkan ide-ide sesuai dengan opini publik. Sampai sekarang , Latent Dirichlet Allocation ( LDA ) masih menjadi model yang paling banyak digunakan untuk topic modeling [ 9 ] . Terlepas dari popularitasnya , LDA memiliki sejumlah kelemahan yang sama diantaranya ketergantungan pada representasi Bag-of-Words ( BoW ) dari teks dan mengabakan urutan serta semantik kata [ 10 ] . ( NLP ) , adalah Metode deep learning seperti model Recurrent Neural Networks ( RNNs ) bisa lebih baik mengeksplorasi pola data yang lebih kompleks sehingga menangkap konteks kalimat lebih baik [ 11 ] . Selain itu , dalam beberapa tahun terakhir muncul terobosan baru dalam dunia Natural Language yakni Processing transformer-based model. Transformer arsitektur model pertama yang mengandalkan sepenuhnya pada mekanisme perhatian bernama self-attention untuk menghubungkan tiap-tiap single sequence [ 12 ] . Dengan kata lain , transformer ini merupakan model deep learning yang dapat mengatasi data sequential tetapi tidak memerlukan data sequential untuk diproses secara urut , tidak seperti Recurrent Neural Networks ( RNNs ) . Model lebih efisien dan cepat transformer dibandingkan salah satu tipe RNNs , yakni Long-Short Term Memory ( LSTM ) maupun model Convolutional Neural Network ( CNN ) [ 13 ] . terbukti sudah Dari beberapa transformer-model , model Bidirectional Encoder Representations ( BERT ) tergolong populer dan dinobatkan sebagai best-performing from Transformers 1 / 8 karena kemampuannya model dalam meningkatkan pemahaman pada konteks [ 13 ] . Sejalan dengan hal itu , pada penelitian-penelitian sebelumnya nilai akuransi sentiment analysis yang diperoleh BERT lebih tinggi dibanding beberapa model lain , yakni Logistic Regression ( LR ) , Random Forest , Naïve Bayes , SVM , dan Long-Short Term Memory ( LSTM ) [ 14 ] . Kelebihan BERT mengatasi masalah di atas sekaligus membuka pintu inovasi penerapannya di dunia topic modeling , salah satu hasilnya adalah teknik BERTopic. BERTopic terbukti cukup baik dibandingkan dengan metode konvensional Latent Dirichlet Allocation ( LDA ) dan Non-Negative Matric Factorization ( NMF ) dalam menghasilkan topik yang koheren dan kompetitif di berbagai pengukuran [ 15 ] , [ 16 ] . Peneliti menemukan beberapa perbedaan perlakuan dalam proses sentiment analysis atau klasifikasi menggunakan BERT pada sejumlah penelitian. Beberapa diantaranya berpendapat bahwa BERT tidak memerlukan preprocessing , tetapi sebagian lainnya menerapkan preprocessing. Di lain sisi , masih sedikit penelitian yang mengaplikasikan teknik BERTopic untuk topic modeling khususnya terhadap data berbahasa Indonesia yang peneliti temukan. Dengan demikian , peneliti beranggapan bahwa implementasi transformer-based model BERT untuk sentiment analysis dengan berbagai perlakuan data preprocessing dan topic modeling pada ulasan aplikasi PeduliLindungi penting untuk dikaji lebih lanjut. II. TUJUAN PENELITIAN Berdasarkan uraian latar belakang di atas , tujuan dilakukannya penelitian ini adalah sebagai berikut : 1 ) Membandingkan performa data preprocessing dalam sentiment analysis data ulasan aplikasi PeduliLindungi menggunakan transformer- based model BERT. perbedaan 2 ) Mengidentifikasi topik pembicaraan dari sentimen topic transformer-based model pengguna aplikasi PeduliLindungi melalui modeling menggunakan BERT. III. PENELITIAN TERKAIT Berikut ini daftar penelitian terkait yang dijadikan sebagai referensi peneliti. TABEL I JURNAL TERKAIT TOPIK PENELITIAN Tertulis Penulis , Publikasi Judul A Comparison of Support Vector Machine and Naïve Bayes Classifier in Binary Sentiment Reviews for PeduliLindungi Application BERT Fine-Tuning for Sentiment Analysis on I. Firmansyah , M. H. Asnawi , S. A. Hasanah , R. Novian , and A. A. Pravitasari , 2021 International Conference on Artificial Intelligence and Big Data Analytics Mencari model terbaik dari perbandingan model algoritma Naïve Bayes dan Support Vector Machine pada analisis sentimen biner data ulasan aplikasi PeduliLindungi. Model dengan Support Vector Machine menjadi model terbaik dengan akurasi 84 % dibanding dengan 81 % milik model Naïve Bayes. K. S. Nugroho , A. Y. Sukmadewa , H. Wuswilahaken DW , F. A. Bachtiar , and N. Mengukur efektivitas dari fine-tuning BERT untuk sentiment analysis dengan dua pre-trained model yang berbeda sekaligus dua Makalah Skripsi – Program Studi D-IV Komputasi Statistik Indonesian Mobile Apps Reviews How Different Text- Preprocessing Techniques using the Bert Model Affect the Gender Profiling of Authors Yudistira , 6th International Conference on Sustainable Information Engineering and Technology 2021 E. Alzahrani and L. Jololian , Advances in Machine Learning 2021 pendekatan labeling , score- based dan lexicon-based. Hasilnya akurasi terbaik diperoleh dari pre-trained model yang dilatih pada data Indonesia dan labeling berbasis lexicon dengan akurasi 84 % . Mengaplikasikan lima teknik preprocessing untuk mengukur efeknya saat menggunakan model BERT untuk pekerjaan profiling gender. Hasilnya akurasi tertinggi sebesar 86,67 % ketika data tidak dilakukan preprocessing. BERT for Arabic Topic Modeling : An Experimental Study on BERTopic Technique A. Abuyazed , H. Al-Khalifa , 5th International Conference on AI in Computational Linguistics , ACLing 2021 Membandingkan teknik BERTopic , LDA , dan NMF. Hasilnya , nilai Normalized Pointwise Mutual Information ( NPMI ) BERTopic lebih baik dibanding NMF dan LDA. Berdasarkan referensi di atas , peneliti mengambil objek penelitian yang sama dengan penelitian [ 7 ] yaitu ulasan aplikasi PeduliLindungi pada dengan model BERT penelitian [ 13 ] untuk pekerjaan sentiment analysis namun dengan berbagai perlakuan seperti penelitian [ 15 ] , sedangkan untuk tugas topic modeling menggunakan teknik BERTopic sesuai penelitian [ 17 ] . seperti IV. METODE PENELITIAN A. Ruang Lingkup Penelitian Gambar 1. Alur kerja penelitian Penelitian ini secara garis besar terbagi atas empat tahapan , yakni data collection , data preparation , sentiment analysis , dan topic modeling. Fokus utama penelitian ini adalah transformer-based model BERT untuk mengaplikasikan pekerjaan sentiment analysis dan topic modeling. Keseluruhan komputasi service Google Colaboratory yang menyediakan resource dinamis secara gratis. Data penelitian diambil dari situs Google Play Store menggunakan teknik scraping. Ruang lingkup penelitian dapat dilihat pada Gambar 1 alur kerja di atas. ditunjang dengan cloud 2 / 8 B. Data Collection Scraping data menggunakan library google_play_scraper. Selain karena spesifik ditujukan untuk scraping situs Google Play Store , alasan kemudahan penggunaan dibandingkan library lain juga menjadi pertimbangan. Informasi yang perlu ID aplikasi disiapkan dalam proses scraping adalah PeduliLindungi , yakni com.telkom.tracencare. Selanjutnya , parameter pilihan negara disesuaikan menjadi ‘id’ , sedangkan parameter lain dibiarkan default. C. Data Preparation Aktivitas data preparation yang dilakukan terdiri dari pemilihan atribut dan deteksi bahasa , preprocessing , serta labeling. Berikut penjelasan tiap tahapan : 1 ) Pemilihan atribut dan deteksi bahasa Atribut yang tidak digunakan dalam analisis tidak diikutsertakan dan dihilangkan. Deteksi bahasa dengan bantuan library spacy_fastlang. Penerapan dari FastText dan Spacy ini digunakan karena mampu menghasilkan output yang cukup akurat dengan waktu yang lebih cepat dibanding library sejenis. Output dibatasi hanya mencakup kode ‘id’ dan ‘en’ , sementara data yang tidak terdeteksi keduanya diberi kode ‘xx’ untuk dikoreksi manual. 2 ) Preprocessing Library yang digunakan light preprocessing mencakup re , contraction , inflect , dan terbilang. Light preprocessing hanya melakukan tahapan cleaning terhadap data , diantaranya : a ) Case folding b ) Mengeja angka menjadi tulisan c ) Mengembangkan kata singkatan d ) Mengganti tanda baca dan emoji menjadi spasi e ) Menghilangkan unnecessary repeated letters f ) Menghilangkan whitespaces Library yang digunakan heavy preprocessing mencakup spacy dan nltk. Heavy preprocessing mencakup transformasi data yang prosesnya meliputi : a ) Tokenisasi dan detokenisasi b ) Menghapus stopwords c ) Lemmatisasi d ) Normalisasi Kamus untuk normalisasi dibangun sendiri dengan data dari berbagai sumber diantaranya Colloquial Indonesian Lexicon [ 18 ] , Pujangga-InaNLP [ 19 ] , dan scraping situs noslang.com. 3 ) Labeling Labeling dilakukan dengan tiga pendekatan : manual , score , dan lexicon-rule menggunakan Valence Awere Dictionary and sEntimentReasoner ( VADER ) [ 20 ] . Ulasan negatif diberi nilai ‘0’ , netral ‘1’ , dan reliabilitas positif ‘2’. Untuk melihat tingkat Makalah Skripsi – Program Studi D-IV Komputasi Statistik antarpendekatan melalui statistik Krippendorff’s Alpha [ 21 ] yang mana menghasilkan nilai dalam rentang 0 sampai 1 , semakin mendekati nilai 1 maka kesepakatan antarinstrumen pengukur semakin tinggi pula. Dari ketiga pendekatan dipilih final label berdasarkan majority voting. D. Sentiment Analysis Sebelum dimulai tahap sentiment analysis , peneliti membuat data sebagai perbandingan karena data asli tidak seimbang. Teknik yang digunakan random random oversampling , dan data augmentation dari library nlpaug. ( balanced dataset ) undersampling , alternatif adalah Proses sentiment analysis melalui tahapan sebagai berikut : 1 ) Memuat pretrained model BERT dari library Hugging Face Transformer [ 22 ] : a ) BERT ( bert-base-uncased ) : model ini telah dilatih pada data teks berbahasa Inggris non kapital yakni BooksCorpus ( 800 ribu kata ) dan Wikipedia ( 2,5 juta kata ) [ 23 ] . IndoBERT ( indolem / indobert-base-uncased ) : model ini telah dilatih pada data 220 ribu kata yang dikumpulkan dari Wikipedia ( 74 ribu kata ) , artikel berita ( 55 ribu kata ) , dan situs korpus Indonesia ( 90 ribu kata ) [ 24 ] . b ) 2 ) Melakukan BERT preprocessing dengan bantuan fungsi BertTokenizer lalu data dipisahkan menjadi data train , validation , dan test sesuai perbandingan 80:10:10. 3 ) Membuat PyTorch DataLoaders. 4 ) Membangun dan mengimplementasikan sentiment classifier untuk pelatihan dengan hyperparameter : a ) Batch size : jumlah sampel input yang dimasukkan pada suatu waktu. b ) Learning rate : seberapa banyak nilai koreksi bobot ( weight ) pada waktu pelatihan. c ) Epochs : berapa kali sampel yang sama diulang dan dimasukkan ke model selama pelatihan. 5 ) Menerapkan model yang sudah dilatih pada data test. 6 ) Mengevaluasi model dengan matriks evaluasi. Misalkan 𝑥𝑖𝑗 merupakan jumlah data kelas 𝑗 yang diklasifikasikan sebagai kelas 𝑖 dan 𝑁 adalah total keseluruhan data maka diperoleh persamaan sebagai berikut : a ) Accuracy b ) Precisioni c ) Recalli 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 1 𝑁 ∑ 𝑥𝑖𝑖 𝑖=1 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖 = 𝑥𝑖𝑖 3 𝑗=1 ∑ 𝑥𝑖𝑗 𝑟𝑒𝑐𝑎𝑙𝑙𝑖 = 𝑥𝑖𝑖 3 𝑗=1 ∑ 𝑥𝑗𝑖 3 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik d ) F1-score1 𝐹1𝑖 = 2 × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖 × 𝑟𝑒𝑐𝑎𝑙𝑙𝑖 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖 + 𝑟𝑒𝑐𝑎𝑙𝑙𝑖 E. Topic Modeling Pada tahap ini ketiga data sentimen pada masing-masing bahasa dilakukan proses pemodelan topik. Berikut adalah tahapan dari pemodelan topik BERTopic : 1 ) Membuat document embedding dari kumpulan data ulasan menggunakan sentence-transformers : a ) Berbahasa Inggris ( all-MiniLM-L6-v2 ) : model ini telah dilatih pada data latih lebih dari 1 miliar kalimat [ 16 ] . b ) Multibahasa ( paraphrase-multilingual-MiniLM- L12-v2 ) : model ini merupakan versi multibahasa dari paraphrase-MiniLM-L12-v2 , sangat mirip dengan basis modelnya namun telah dilatih pada data paralel lebih dari 50 bahasa [ 16 ] . 2 ) Mereduksi dimensi dari embedding yang sudah dibuat dengan Uniform Manifold Approximation and Projection ( UMAP ) . melalui pelacakan kontak dengan aplikasi PeduliLindungi. Sebab inilah yang mendorong pentingnya upaya peningkatan kualitas aplikasi tersebut melalui ekstraksi informasi dari ulasan pengguna. Namun , model yang populer digunakan nyatanya masih memiliki kekurangan sehingga peneliti menggunakan model BERT sebagai solusinya. Model ini lalu dinilai dengan indikator evaluasi agar mendapat hasil sesuai dengan sasaran yang ditentukan sebelumnya. VI. HASIL DAN PEMBAHASAN A. Data Collection Data yang dikumpulkan melalui scraping situs Google Play Store adalah data ulasan aplikasi PeduliLindungi dari versi pertama 1.0.1 hingga versi terakhir 4.0.2 dan diambil sekaligus pada tanggal 8 November 2021. Data raw berjumlah 38.892 ulasan yang di dalamnya terkandung data berbahasa Indonesia dan berbahasa Inggris. Data yang diperoleh memiliki atribut : reviewId , userName , userImage , content , score , thumbsUp , reveiwCreatedVersion , at , replyContent , dan repliedAt. clustering 3 ) Melakukan dimensi embedding dengan Hierarchical Density-Based Clustering of Applications with Noise ( HBDSCAN ) . 4 ) Membuat representasi topik menggnakan Class-based reduksi hasil TF-IDF ( c-TF-IDF ) . 5 ) Memilih jumlah topik berdasarkan evaluasi coherence score. 6 ) Model terbaik pada masing-masing banyak topik selanjutnya dibuat plot dan model dengan coherence score tertinggi akan dipilih untuk divisualisasikan. V. KERANGKA PIKIR Alur kerangka pemikiran penelitian dapat dilihat pada Gambar 2. Gambar 2. Kerangka pikir penelitian Penelitian berangkat dari masalah COVID-19 yang semakin merebak di Indonesia dan butuh tindakan , salah satunya Gambar 3. Jumlah ulasan perhari yang terkumpul Selain itu , dari pengambilan data ini dapat diketahui pula bahwa banyaknya ulasan pengguna ternyata sejalan dengan kebijakan yang dikeluarkan pemerintah. Gambar 3 memperlihatkan ulasan sempat melonjak di bulan April tepatnya 22 April 2020 dengan 302 ulasan , dimana pada bulan ini pemerintah resmi mengeluarkan keputusan menteri tentang penetapan PeduliLindungi dalam rangka penanganan Covid- 19. Kondisi ini tidak berlangsung lama karena segera turun dan tidak mencapai angka 100 ulasan perhari hingga bulan Juli tahun 2020. Kemudian , terdapat peningkatan kembali sampai akhirnya di titik puncak pada 8 September 2021 dengan total 798 ulasan tepat ketika pemerintah dalam bulan ini mewajibkan penggunaan PeduliLindungi pada berbagai kegiatan saat Pemberlakuan Pembatasan Kegiatan Masyarakat ( PPKM ) . B. Data Preparation Tahap pertama data preparation , yaitu pemilihan atribut yang akan dipakai. Atribut utama penelitian ini adalah content yang memuat teks ulasan , score untuk keperluan labeling , dan tanggal ulasan pada atribut at. Selanjutnya , deteksi bahasa dilakukan secara otomatis dan disimpan pada atribut lang. Hingga tahap ini telah diperoleh dataset pertama sementara ( content_raw ) . Tahap kedua , preprocessing yang terdiri dari light dan heavy preprocessing. Dari proses ini didapat dataset sesudah 4 / 8 ( content_pp1 ) dan sesudah heavy light preprocessing preprocessing data ( content_pp2 ) . Hasilnya , keseluruhan berkurang 347 ulasan sehingga total data yang akan digunakan sebanyak 38.546 ulasan dengan rincian 25.263 ( 65,54 % ) data berbahasa Indonesia dan 13.283 ( 34,46 % ) sisanya berbahasa Inggris. jumlah Gambar 4. Jumlah sentimen data tiap metode labeling Berdasarkan hasil labeling pada Gambar 4 , terlihat metode lexicon-rule memiliki distribusi sentimen yang hampir merata atau seimbang sehingga pengukuran reliabilitas Krippendorff’s alpha ( α ) ketiga metode hanya sebesar 0.36671. Akhirnya , seteleh melalui majority voting hasil akhir yang diperoleh adalah 25.362 ulasan negatif , 7926 positif , dan 5258 netral. Ini berarti dataset cenderung bernuansa negatif dan termasuk imbalanced dataset. C. Sentiment Analysis Peneliti membuat dataset alternatif dari hasil labeling dengan melakukan data balancing sebagai perbandingan dataset asli yang tidak seimbang. Selain teknik resampling , peneliti juga memakai data augmentation melalui pemanfaatan model bahasa BERT di atas untuk mencari kata yang paling sesuai konteks dan ditambahkan ke dalam sampel kalimat sebagai data baru. Peneliti juga menerapkan beberapa aturan diantaranya membatasi tambahan kata tiap kalimat sebanyak maksimal tiga yang paling sesuai , serta mengabaikan kata negasi yang berpotensi merubah makna kalimat. Tujuan adanya aturan ini agar kondisi data tidak berubah jauh dan tetap representatif. Setelah dilakukan BERT preprocessing memakai fungsi BertTokenizer , baik dataset Indonesia maupun Inggris dibagi menjadi tiga bagian yang meliputi train set , test set , dan validation set menggunakan classic train-test split data pada library sklearn. Selanjutnya , proses fine-tuning BERT untuk sentiment analysis dijalankan. Tahap ini terlebih dahulu diawali simulasi penentuan hyperparameter. Selain batch size , peneliti mencoba setiap kombinasi nilai hyperparameter yang direkomendasikan penelitian sebelumnya [ 23 ] . Batch size memiliki keterkaitan dengan sequence length yang apabila nilai salah satu atau keduanya diatur terlalu besar akan mengakibatkan masalah out- of-memory sehingga peneliti menetapkan batch size sebesar 16 dan maksimum sequence length 128. Makalah Skripsi – Program Studi D-IV Komputasi Statistik Untuk mengetahui indikasi overfitting dan underfitting , peneliti juga melihat grafik accuracy dan loss data train dan validation pada Gambar 5. Hasil penelitian menunjukkan bahwa kedua model untuk masing-masing bahasa tidak menunjukkan tanda-tanda underfitting , justru mulai overfitting di epoch ke-5. Akurasi dataset bahasa Inggris ( a ) meningkat cukup pesat pada dua epoch pertama dan stabil hingga akhir , sedangkan dataset Indonesia ( b ) meningkat sedikit demi sedikit tetapi dengan skor titik awal yang lebih tinggi. Akhirnya , peneliti memakai learning rate sebesar 2e-5 untuk semua dataset karena memberikan performa terbaik bagi seluruh dataset kecuali dataset asli berbahasa Inggris dengan hasil tertinggi ketika bernilai 3e-5. Selanjutnya , setiap dataset asli diputuskan memakai 3 epochs , sedangkan dataset alternatif sejumlah 4 epochs. Gambar 5. Accuracy dan lost pada train dan validation set : ( a ) dataset Inggris ; ( b ) dataset Indonesia TABEL I HASIL EVALUASI MODEL BERT PADA DATA TES g n i c n a l a B g n a L en no yes id no yes g n i s s e c o r p e r P raw light heavy raw light heavy raw light heavy raw light heavy y c a r u c c A 0.89391 0.89767 0.88789 0.94056 0.93529 0.92325 0.83657 0.84013 0.81196 0.87416 0.83617 0.79533 n o i s i c e r P 0.89169 0.89864 0.88598 0.94196 0.93660 0.92616 0.83403 0.83667 0.80276 0.87495 0.83892 0.79776 l l a c e R 0.89391 0.89767 0.88789 0.94056 0.93529 0.92325 0.83657 0.84013 0.81196 0.87416 0.83617 0.79533 e r o c s - 1 F 0.89244 0.89793 0.88640 0.94058 0.93553 0.92350 0.83522 0.83826 0.80527 0.87437 0.83708 0.79590 Setelah menerapkan hyperparameter terpilih dan melalui matriks evaluasi pada keenam percobaan di atas , dapat diketahui bahwa seluruh model terbaik memberikan hasil 5 / 8 data atau alternatif dibiarkan terbaik pula pada setiap matriks evaluasi. Terlepas dari perbedaan bahasa , ketika data asli diberi perlakuan light tanpa preprocessing preprocessing maka model mencapai hasil terbaik. Sebaliknya , bila menerapkan heavy preprocessing menghasilkan nilai terburuk diantara perlakuan lainnya baik terhadap data asli maupun data alternatif. Temuan ini sesuai dengan penelitian penggunaan sebelumnya preprocessing terhadap performa model BERT itu sendiri [ 15 ] . yang menyebutkan justru memberikan efek negatif bahwa Selain itu , dataset berbahasa Indonesia cenderung memiliki selisih cukup besar antara hasil matriks evaluasi perlakuan terbaik dan terburuknya bila dibandingkan dengan dataset berbahasa Inggris. Selisih F1-score tertinggi dan terendah dataset berbahasa Inggris , yakni 1,15 % untuk dataset asli dan 1,71 % dataset alternatif , sedangkan dataset berbahasa Indonesia cukup besar senilai 3,30 % dan 7,85 % . Hal ini dapat dijadikan catatan bahwa dataset berbahasa Indonesia cenderung lebih sensitif terhadap perlakuan preprocessing daripada dataset berbahasa Inggris saat data seimbang. Secara keseluruhan pengaruh data balancing dapat dipastikan meningkatkan performa model hingga 4-5 % . Namun yang demikian tidak berlaku pada data asli berbahasa Indonesia ketika sudah diberikan perlakukan preprocessing. Terhitung ada 0,1-2 % penurunan performa model maka dari itu penambahan data pada kelas minoritas dan pengurangan data pada kelas mayoritas masih belum bisa memberikan peningkatan performa model ketika data sudah mengalami perlakuan preprocessing khususnya pada dataset berbahasa Indonesia. D. Topic Modeling Proses topic modeling ini berulang sejumlah 3 kali pada setiap n_topic ( n jumlah topik ) , kemudian berlanjut hingga total 9 topik. Pembatasan jumlah topik ini berkaitan dengan masalah yang sempat timbul ketika eksperimen , yakni terdapat duplikasi n-gram yang terbentuk. Selain alasan itu , pembatasan ini diharapkan mempermudah peneliti menginterpretasikan topik yang ada. Topic modeling pada masing-masing sentimen berhasil dilakukan. Pada sentimen positif , topik yang dibicarakan secara umum adalah ungkapan terima kasih atas aplikasi yang bagus dan berguna , sedangkan sentimen netral dan negatif berisikan pertanyaan maupun keluhan yang relatif sama. Dalam tulisan ini hanya topik dari sentimen negatif yang dipaparkan secara detail. Gambar 6. Plot coherence score sentimen negatif : ( a ) dataset Inggris ; ( b ) dataset Indonesia Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 6 menunjukkan pola coherence score yang terbentuk cenderung menurun seiring bertambahnya jumlah topik. Data berbahasa Inggris ( a ) memperoleh skor tertinggi pada jumlah topik sebanyak 4 dengan coherence score 0.878389 , sedangkan data berbahasa Indonesia ( b ) mencapai skor tertinggi sebesar 0.687574 dengan jumlah topik yang sama. Gambar 7. Intertopic distance map : ( a ) dataset Inggris ; ( b ) dataset Indonesia Bila dilihat dari sebaran antartopik diperoleh hasil seperti pada Gambar 7. Jarak antartopik menunjukkan seberapa kedekatan pembahasan topik , sedangkan besar lingkaran menunjukkan besarnya topik yang dibahas. Kedua gambar sama-sama menampilkan pemetaan topik yang terbagi menjadi dua kelompok yang saling berjauhan. Hanya saja , topik pada data sentimen negatif berbahasa Inggris terlihat saling beririsan satu sama lain , ini mengindikasikan terdapat hubungan semantik yang cukup dekat diantara kedua topik irisan. Lain halnya dengan topik pada data sentimen negatif berbahasa Indonesia yang masih memiliki jarak antar topiknya. Selain itu , besarnya pembahasan topik data sentimen negatif berbahasa Inggris relatif merata bila dibandingkan topik data sentimen negatif berbahasa Indonesia yang condong pada satu topik besar. TABEL III DAFTAR KATA TERATAS DAN BAHASAN TOPIK SENTIMEN NEGATIF Topik ( a ) ( b ) ( c ) ( d ) ( e ) ( f ) ( g ) 10 Kata teratas the , location , to , app , it , is , battery , and , this , not ribet , ga , sampah , batre , bikin , update , boros , mulu , aplikasi , minta certificate , vaccine , the , my , not , to , is , vaccine certificate , app , and otp , the , to , code , email , not , verification , it , my , is vaksin , sertifikat , tidak , sudah , saya , sertifikat vaksin , di , ada , bisa , dan lahir , tanggal , tanggal lahir , bisa , tahun , tidak , isi , tidak bisa , tgl , puluh email , kode , otp , verifikasi , kode otp , tidak , masuk , bisa , ga , ke Bahasan Permasalahan baterai boros akibat masalah lokasi aplikasi Permasalahan aplikasi yang menyusahkan akibat selalu meminta update dan baterai boros Permasalahan pada sertifikat vaksin Permasalahan pengiriman nomor verifikasi OTP dan email pada aplikasi Permasalahan sertifikat vaksin yang tidak muncul Permasalahan tanggal lahir yang tidak dapat diisi Permasalahan kode OTP atau verifikasi yang tidak masuk email 6 / 8 Topik ( h ) 10 Kata teratas baterai , gps , boros , aplikasi , lokasi , boros baterai , terus , dan , ini , harus Bahasan Permasalahan lokasi atau GPS aplikasi yang terus menyala mengakibatkan boros baterai Makalah Skripsi – Program Studi D-IV Komputasi Statistik 5 ) tidak update. Contoh data yang mewakili berbunyi , “boros batre dan sering eror dikit dikit minta update” dan “data tdk update”. Input tanggal lahir : Model interface input tanggal lahir yang tidak ramah pengguna , tidak bisa mengisi tangal lahir. Contoh data yang mewakili berbunyi , “gabisa isi tanggal lahir padahal sudah diisi berkali kali”. Gambar 8. Representasi kata sentimen negatif Berdasarkan daftar sepuluh kata teratas dan representasi kata tiap topik pada Tabel III danGambar 8 Gambar 8 dapat diketahui apa saja yang menjadi pembahasan tiap topiknya. Ketiga topik yang muncul pada data sentimen negatif berbahasa Inggris juga muncul pada data berbahasa Indonesia , yakni permasalahan seputar baterai boros dan lokasi , sertifikat vaksin , serta kode OTP. Topik mengenai masalah update hanya muncul di data berbahasa Inggris namun berbahasa Indonesia , sedangkan masalah input tanggal lahir hanya muncul di data berbahasa Indonesia. Berikut merupakan penjelasan dari topik yang terbentuk : 1 ) Baterai boros dan lokasi : Ulasan di dalam topik ini menyebutkan bahwa akses Global Positioning System ( GPS ) yang selalu aktif membuat daya baterai perangkat pengguna menjadi cepat berkurang atau dengan kata lain boros baterai. Contoh data yang mewakili berbunyi , “selalu meminta gps posisi on harusnya ada pilihan ketika buka aplikasi baru menghidupkan gps ngabisin batrai woy” dan “this apps force you to turn on location all the time can not use the apps with other setting it drains the battery i had to change the permission setting everytime i need to use the apps and after using the apps”. topik 2 ) Sertifikat vaksin : Ulasan di dalam ini menyebutkan bahwa sertifikat vaksin tidak tersedia , tidak dapat diunduh , bahkan bukan milik pengguna. Contoh data yang mewakili berbunyi , “reloud terus setiap mau liat sertifikat backrool terus balik masukin nik walau udh keluar sertifikat tapi pas di clik balik lg tidak ada sertifikat” dan “ can not download certificate even i follow the steps”. 3 ) Kode OTP : Kode verifikasi atau OTP seringkali terlambat dikirim hingga batas waktu yang disediakan aplikasi , bahkan tidak terkirim sama sekali. Contoh data yang mewakili berbunyi , “suruh download peduli lindungi kode otp nya aja gak masuk masuk sungguh parah” dan “i use my phone number to register but they never send the otp even after the time runs out”. 4 ) Update aplikasi : Aplikasi sering melakukan update dalam jangka waktu pendek namun data di dalamnya Gambar 9. Topic over time sentimen negatif : ( a ) dataset Inggris ; ( b ) dataset Indonesia Bila dilihat dari distribusi temporal ulasan tiap topiknya , lonjakan jumlah ulasan terjadi setelah bulan Mei 2021 sehingga topik pembicaraan yang didapat secara garis besar didominasi pada periode tersebut. Masalah lokasi menjadi pembicaraan paling banyak pada data berbahasa Inggris ( a ) , sedangkan data berbahasa Indonesia ( b ) lebih sering membahas masalah sertifikat vaksin. Keduanya mencapai puncak di bulan Agustus 2021 , tetapi permasalahan sertifikat vaksin memiliki frekuensi lebih tinggi akibat jumlah data bahasa Indonesia yang juga lebih banyak. VII. PENUTUP A. Kesimpulan Berdasarkan hasil percobaan yang telah dilakukan , peneliti tujuan penelitian dan memperoleh berhasil menjawab kesimpulan sebagai berikut : 1 ) Hasil perlakuan data preparation terbaik kedua bahasa yang diperoleh memperlihatkan keduanya mencapai nilai tertinggi pada setiap matriks evaluasi , etapi perlakuan data preprocessing yang berlebihan justru berdampak negatif pada kinerja model. Berikut adalah model terbaik yang dihasilkan : a ) Dataset asli berbahasa Inggris dengan light preprocessing yang memperoleh nilai accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1- score 89,79 % , sedangkan dataset berbahasa Indonesia dengan light preprocessing mendapat nilai accuracy 84,01 % , precision 83,67 % , recall 84,42 % , dan f1-score 83,83 % . alternatif tanpa preprocessing yang memperoleh nilai accuracy 94,06 % , precision 94,20 % , recall 94,06 % , dan f1- sedangkan dataset berbahasa score 94,06 % , berbahasa Inggris b ) Dataset 7 / 8 Indonesia tanpa preprocessing mendapat nilai accuracy 87,42 % , precision 87,49 % , recall 87,42 % , dan f1-score 87,44 % . 2 ) Analisis topic modeling dengan teknik BERTopic menunjukkan bahwa meskipun terdapat opini positif terkait aplikasi pada sentimen positif , masih banyak ketidakpuasan ditemukan pengguna atas berbagai permasalahan pada sentimen negatif dan netral meliputi baterai dan lokasi , sertifikat vaksin , kode OTP , update aplikasi , input tanggal lahir , performa lambat , dan ketersediaan versi internasional. pembicaraan tentang B. Saran Berikut adalah beberapa masukan untuk penelitian selanjutnya : 1 ) Penentuan hyperparameter model BERT dapat menggunakan teknik tuning yang lebih advance , salah satunya dengan memanfaatkan library Ray Tune. 2 ) Penggunaan matriks evaluasi yang berbeda seperti Matthew’s correlation coefficient pada sentiment analysis yang ramah terhadap imbalanced data serta Normalized Pointwise Mutual Information ( NPMI ) untuk evaluasi jumlah topik pada topic modeling. 3 ) Pembahasan lebih lanjut mengenai data balancing terutama pada data teks serta deteksi ulasan yang mengandung majas satire. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] DAFTAR PUSTAKA World Helath Organization , “Digital tools for COVID-19 contact tracing , ” 2020. S. Lalmuanawma , J. Hussain , and L. Chhakchhuak , “Applications of machine learning and artificial intelligence for Covid-19 ( SARS- CoV-2 ) pandemic : A review , ” Chaos , Solitons and Fractals , vol. 139. Elsevier Ltd , Oct. 01 , 2020. doi : 10.1016 / j.chaos.2020.110059. B. Fu , J. Lin , L. Li , C. Faloutsos , J. Hong , and N. Sadeh , “Why people hate your app : Making sense of user feedback in a mobile app store , ” Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining , Aug. 2013 , doi : 10.1145 / 2487575.2488202. F. Palomba et al. , “User reviews matter ! Tracking crowdsourced reviews to support evolution of successful apps , ” pp. 291–300 , 2015 , doi : 10.1109 / ICSM.2015.7332475. S. Ranjan and S. Mishra , “Comparative Sentiment Analysis of App Reviews , ” Jun. 2020 , [ Online ] . Available : http : / / arxiv.org / abs / 2006.09739 I. Firmansyah , M. H. Asnawi , S. A. Hasanah , R. Novian , and A. A. Pravitasari , “A Comparison of Support Vector Machine and Naïve Bayes Classifier in Binary Sentiment Reviews for PeduliLindungi Application , ” in 2021 International Conference on Artificial Intelligence and Big Data Analytics , Oct. 2021 , pp. 140–145. doi : 10.1109 / ICAIBDA53487.2021.9689771. A. Mustopa , Hermanto , Anna , E. B. Pratama , A. Hendini , and D. Risdiansyah , “Analysis of User Reviews for the PeduliLindungi Application on Google Play Using the Support Vector Machine and Naive Bayes Algorithm Based on Particle Swarm Optimization , ” Nov. 2020. doi : 10.1109 / ICIC50835.2020.9288655. D. Fimoza , A. Amalia , and T. H. F. Harumy , “Sentiment Analysis for Movie Review in Bahasa Indonesia Using BERT , ” in 2021 International Conference on Data Science , Artificial Intelligence , and Business Analytics ( DATABIA ) , Nov. 2021 , pp. 27–34. doi : 10.1109 / DATABIA53375.2021.9650096. A. Blum , J. Hopcroft , and R. Kannan , Foundations of Data Science. Cambridge : Cambridge University Press , 2020. doi : 10.1017 / 9781108755528. R. Silveira , C. G. O. Fernandes , J. A. M. Neto , V. Furtado , J. Ernesto , and P. Filho , “Topic Modelling of Legal Documents via LEGAL-BERT 1 , ” 2021. Makalah Skripsi – Program Studi D-IV Komputasi Statistik S. Minaee , N. Kalchbrenner , E. Cambria , N. Nikzad , M. Chenaghlu , and J. Gao , “Deep Learning Based Text Classification : A Comprehensive Review , ” CEUR Workshop Proc , vol. 2657 , pp. 1– 9 , Apr. 2020 , [ Online ] . Available : http : / / arxiv.org / abs / 2004.03705 A. Vaswani et al. , “Attention Is All You Need , ” Jun. 2017 , [ Online ] . Available : http : / / arxiv.org / abs / 1706.03762 K. S. Nugroho , A. Y. Sukmadewa , H. Wuswilahaken DW , F. A. Bachtiar , and N. Yudistira , “BERT Fine-Tuning for Sentiment Analysis on Indonesian Mobile Apps Reviews , ” in 6th International Conference on Sustainable Information Engineering and Technology 2021 , Sep. 2021 , pp. 258–264. doi : 10.1145 / 3479645.3479679. N. Chintalapudi , G. Battineni , and F. Amenta , “Sentimental analysis of COVID-19 tweets using deep learning models , ” Infect Dis Rep , vol. 13 , no. 2 , Apr. 2021 , doi : 10.3390 / IDR13020032. E. Alzahrani and L. Jololian , “How Different Text-Preprocessing Techniques using the Bert Model Affect the Gender Profiling of Authors , ” in Advances in Machine Learning , Sep. 2021 , pp. 01–08. doi : 10.5121 / csit.2021.111501. M. Grootendorst , “BERTopic : Neural topic modeling with a class- based TF-IDF procedure , ” Mar. 2022 , [ Online ] . Available : http : / / arxiv.org / abs / 2203.05794 A. Abuzayed and H. Al-Khalifa , “BERT for Arabic Topic Modeling : An Experimental Study on BERTopic Technique , ” in Procedia CIRP , 2021 , vol. 189 , pp. 191–194. doi : 10.1016 / j.procs.2021.05.096. N. Aliyah Salsabila , Y. Ardhito Winatmoko , A. Akbar Septiandri , and A. Jamal , “Colloquial Indonesian Lexicon , ” in 2018 International Conference on Asian Language Processing ( IALP ) , Nov. 2018 , pp. 226–229. doi : 10.1109 / IALP.2018.8629151. A. Purwarianti , A. Andhika , A. F. Wicaksono , I. Afif , and F. Ferdian , “InaNLP : Indonesia natural language processing toolkit , case study : Complaint tweet classification , ” in 2016 International Conference On Advanced Informatics : Concepts , Theory And Application ( ICAICTA ) , Aug. 2016 , pp. 1–5. doi : 10.1109 / ICAICTA.2016.7803103. C. Hutto and E. Gilbert , “Vader : A parsimonious rule-based model for sentiment analysis of social media text , ” in Proceedings of the international AAAI conference on web and social media , 2014 , vol. 8 , no. 1 , pp. 216–225. K. Krippendorff , “Computing Krippendorff’s alpha-reliability , ” 2011. T. Wolf et al. , “HuggingFace’s Transformers : State-of-the-art Natural Language Processing , ” Oct. 2019 , [ Online ] . Available : http : / / arxiv.org / abs / 1910.03771 J. Devlin , M.-W. Chang , K. Lee , and K. Toutanova , “BERT : Pre- training of Deep Bidirectional Transformers for Language Understanding , ” Oct. 2018. F. Koto , A. Rahimi , J. H. Lau , and T. Baldwin , “IndoLEM and IndoBERT : A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP , ” 2020. [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ] [ 24 ] 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O B-METODE O O O B-METODE O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Sentiment Analysis dan Topic Modeling terhadap Ulasan Aplikasi PeduliLindungi menggunakan Transformer-based Model Aldias Irvan Nugraha ( 221810138 , 4SD2 ) Dosen Pembimbing : Robert Kurniawan , S.ST. , M.Si. Ringkasan— PeduliLindungi merupakan alat pendukung pelacakan kontak yang menjadi komponen utama dari strategi komprehensif untuk mengendalikan penyebaran COVID-19 di Indonesia. Atas dasar inilah , penting dilakukan evaluasi dan peningkatan kualitas aplikasi melalui berbagai metode ekstraksi informasi , seperti sentiment analysis dan topic modeling. Model ekstraksi informasi yang populer digunakan masih memiliki kekurangan sehingga peneliti menggunakan model BERT dengan berbagai perbedaan perlakuan data preprocessing dan teknik BERTopic sebagai solusi pemetaan topik yang ramai dibicarakan pengguna. Hasil penelitian memperlihatkan bahwa perlakuan data preprocessing terbaik mencapai nilai tertinggi di setiap matriks evaluasi , tetapi perlakuan data preprocessing yang berlebihan justru berdampak negatif pada kinerja model. Light preprocessing pada dataset bahasa Inggris memberikan accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1-score 89,79 % , sedangkan dataset Indonesia mendapatkan accuracy 84,01 % , precision 83,67 % , recall 84,42 % , dan f1-score 83,83 % . Sementara itu , hasil topic modeling menunjukkan bahwa meskipun ada pendapat positif tentang aplikasi , masih ditemukan ketidak puasan pengguna terhadap beberapa masalah terkait baterai dan lokasi , sertifikat vaksin , kode OTP , update aplikasi , input tanggal lahir , performa lambat , dan ketersediaan versi internasional. Kata Kunci— Sentiment Analysis , Topic Modeling , PeduliLindungi , BERT , BERTopic.
VII. PENUTUP A. Kesimpulan Berdasarkan hasil percobaan yang telah dilakukan , peneliti tujuan penelitian dan memperoleh berhasil menjawab kesimpulan sebagai berikut : 1 ) Hasil perlakuan data preparation terbaik kedua bahasa yang diperoleh memperlihatkan keduanya mencapai nilai tertinggi pada setiap matriks evaluasi , etapi perlakuan data preprocessing yang berlebihan justru berdampak negatif pada kinerja model. Berikut adalah model terbaik yang dihasilkan : a ) Dataset asli berbahasa Inggris dengan light preprocessing yang memperoleh nilai accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1- score 89,79 % , sedangkan dataset berbahasa Indonesia dengan light preprocessing mendapat nilai accuracy 84,01 % , precision 83,67 % , recall 84,42 % , dan f1-score 83,83 % . alternatif tanpa preprocessing yang memperoleh nilai accuracy 94,06 % , precision 94,20 % , recall 94,06 % , dan f1- sedangkan dataset berbahasa score 94,06 % , berbahasa Inggris b ) Dataset 7 / 8 Indonesia tanpa preprocessing mendapat nilai accuracy 87,42 % , precision 87,49 % , recall 87,42 % , dan f1-score 87,44 % . 2 ) Analisis topic modeling dengan teknik BERTopic menunjukkan bahwa meskipun terdapat opini positif terkait aplikasi pada sentimen positif , masih banyak ketidakpuasan ditemukan pengguna atas berbagai permasalahan pada sentimen negatif dan netral meliputi baterai dan lokasi , sertifikat vaksin , kode OTP , update aplikasi , input tanggal lahir , performa lambat , dan ketersediaan versi internasional. pembicaraan tentang B. Saran Berikut adalah beberapa masukan untuk penelitian selanjutnya : 1 ) Penentuan hyperparameter model BERT dapat menggunakan teknik tuning yang lebih advance , salah satunya dengan memanfaatkan library Ray Tune. 2 ) Penggunaan matriks evaluasi yang berbeda seperti Matthew’s correlation coefficient pada sentiment analysis yang ramah terhadap imbalanced data serta Normalized Pointwise Mutual Information ( NPMI ) untuk evaluasi jumlah topik pada topic modeling. 3 ) Pembahasan lebih lanjut mengenai data balancing terutama pada data teks serta deteksi ulasan yang mengandung majas satire. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ]
strategi komprehensif untuk mengendalikan penyebaran COVID-19 di Indonesia. Atas dasar inilah , penting dilakukan evaluasi dan peningkatan kualitas aplikasi melalui berbagai metode ekstraksi informasi , seperti sentiment analysis dan topic modeling. Model ekstraksi informasi yang populer digunakan masih memiliki kekurangan sehingga peneliti menggunakan model , tetapi perlakuan data preprocessing yang berlebihan justru berdampak negatif pada kinerja model. Light preprocessing pada dataset bahasa Inggris memberikan accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1-score 89,79 % , sedangkan dataset Indonesia mendapatkan accuracy 84,01 % , precision 83,67 % , recall 84,42 % , dan f1-score 83,83 % . Sementara itu , hasil topic modeling menunjukkan bahwa meskipun ada pendapat positif tentang aplikasi , masih ditemukan ketidak puasan pengguna terhadap beberapa masalah terkait baterai dan lokasi , sertifikat vaksin , kode OTP , update aplikasi , input tanggal lahir , performa lambat , dan ketersediaan versi internasional. Kata Kunci— Sentiment Analysis , Topic Modeling , PeduliLindungi , BERT , BERTopic. : a ) Dataset asli berbahasa Inggris dengan light preprocessing yang memperoleh nilai accuracy 89,77 % , precision 89,86 % , recall 89,77 % , dan f1- score 89,79 % , sedangkan dataset berbahasa Indonesia dengan light preprocessing mendapat nilai accuracy , recall 87,42 % , dan f1-score 87,44 % . 2 ) Analisis topic modeling dengan teknik BERTopic menunjukkan bahwa meskipun terdapat opini positif terkait aplikasi pada sentimen
O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O B-METODE O O O B-METODE O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O