Evaluasi Layanan Aplikasi PeduliLindungi Berdasarkan Analisis Sentimen Ulasan Pengguna 
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Evaluasi Layanan Aplikasi PeduliLindungi Berdasarkan Analisis Sentimen Ulasan Pengguna Anlisa Armaryama Risardi ( 221810177 , 4SI1 ) Dosen Pembimbing : Nori Wilantika , S.S.T. , M.T.I. Ringkasan— Pengguna aplikasi PeduliLindungi hanya sekitar 18,5 % dari populasi Indonesia , sementara penelitian oleh Hinch et al. menyebutkan bahwa 56 % dari populasi harus menggunakan aplikasi pelacakan kontak digital sehingga pandemi akan berkurang. Untuk meningkatkan penggunaan aplikasi , salah satu cara yang dapat dilakukan adalah dengan melakukan analisis terhadap ulasan pengguna aplikasi. Penelitian ini bertujuan untuk mengetahui layanan aplikasi PeduliLindungi yang perlu ditingkatkan. Untuk mendapatkan informasi yang diinginkan , analisis sentimen dilakukan untuk mendapatkan ulasan dengan sentimen negatif serta pemodelan topik pada ulasan aplikasi PeduliLindungi dengan sentimen negatif. Analisis sentimen menggunakan teknik Semi Supervised Learning. Algoritma Logistic Regression , Support Vector Machine , dan Random Forest dibandingkan untuk mendapatkan model klasifikasi terbaik. Hasil evaluasi menunjukkan Logistic Regression memiliki nilai akurasi dan f1-score terbaik. Pemodelan topik menggunakan Latent Dirichlet Allocation dan menghasilkan model topik terbaik dengan jumlah 10 topik. Layanan aplikasi PeduliLindungi yang membutuhkan peningkatan berdasarkan hasil analisis adalah sertifikat vaksin , fitur Login , fitur Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi PeduliLindungi. Kata Kunci— analisis sentimen , pemodelan topik , PeduliLindungi I. LATAR BELAKANG Wabah Covid-19 adalah wabah virus yang menyerang saluran pernafasan serupa dengan pneumonia. Pada 31 Desember 2019 , wabah Covid 19 ditemukan di Wuhan , China. Virus Covid-19 dapat menyebar melalui kontak langsung dengan pasien atau droplet pernapasan. Selain itu , virus Covid- 19 juga dapat menyebar selama masa inkubasi pada pasien yang tidak bergejala. Tingkat penularan dari virus ini sangat tinggi. Sampai dengan 26 November 2021 , sebanyak 258.830.438 jiwa terkonfirmasi terinfeksi Covid-19 di 226 jiwa negara. Sedangkan , terkonfirmasi positif dan 143.796 jiwa meninggal akibat Covid- 19 [ 1 ] . terdapat 4.255.268 Indonesia tenaga kesehatan World Health Organization ( WHO ) menetapkan virus Covid-19 sebagai pandemi global pada 11 Maret 2020. Pemerintah , serta masyarakat perlu berkolaborasi untuk mencegah penyebaran virus Covid-19. Pemerintah Indonesia menetapkan beberapa kebijakan untuk mencegah penyebaran Covid-19 seperti 3M yaitu memakai masker , mencuci tangan , dan menjaga jarak serta 3T yaitu testing , tracing , dan treatment. 3M dan 3T dilakukan sebagai upaya pemerintah untuk menekan kasus pasien positif. Dengan upaya 3T , kontak erat dengan pasien positif dapat dilacak secara cepat dan dapat mendapatkan penanganan dengan segera. Pemerintah Indonesia mengeluarkan aplikasi pelacakan yang bernama PeduliLindungi guna membantu dalam pelacakan kontak secara digital. Untuk memverifikasi kontak erat dengan orang lain , pelacakan kontak erat menggunakan metode wawancara pasien [ 2 ] . Metode ini memakan waktu cukup lama dan apabila terdapat pasien terkonfirmasi positif tidak kooperatif atau tidak dapat melakukan wawancara karena kondisi kesehatan cukup parah , maka metode pelacakan pasien secara konvensional kurang tracing app memungkinkan pelacakan lebih cepat menggunakan sensor jarak dari smartphone [ 4 ] . Covid-19 contact tracing app dapat melacak pergerakan orang dan memberi notifikasi pasien berpotensi terinfeksi sedini mungkin secara otomatis [ 5 ] . tepat digunakan [ 3 ] . Contact Pemerintah melalui Kementerian Komunikasi dan Informasi mengembangkan aplikasi PeduliLindungi. Berdasarkan penjelasan dari web resmi PeduliLindungi [ 6 ] , aplikasi PeduliLindungi adalah aplikasi yang dikembangkan oleh pemerintah untuk membantu tracking dan tracing guna mencegah penyebaran Covid-19. Dalam menggunakan aplikasi PeduliLindungi , GPS dan bluetooth perlu diaktifkan. PeduliLindungi akan memberi peringatan apabila dekat dengan pasien yang terinfeksi Covid-19 atau Pasien Dalam Pengawasan ( PDP ) . Selain itu , aplikasi PeduliLindungi juga memberi batasan pada masyarakat yang akan menggunakan fasilitas publik dengan melakukan penjaringan kepada masyarakat , hanya orang yang telah menerima vaksin pertama atau kedua yang boleh masuk ke fasilitas publik. Setiap memasuki tempat fasilitas publik seperti tempat perbelanjaan , mall , tempat ibadah , dan lain-lain perlu melakukan pemindaian barcode / QR Code dari aplikasi PeduliLindungi [ 7 ] . Aplikasi PeduliLindungi dapat diunduh di Google Play bagi pengguna Android atau App Store bagi pengguna iOS. Penelitian ini akan mengambil ulasan dari Google Play. laman StatCounter , pengguna android di Berdasarkan Indonesia mencapai 90.78 persen pada November 2021 dari total pangsa pasar sistem operasi seluler di Indonesia. Sementara , pengguna iOS hanya sebanyak 9.09 persen [ 8 ] . Selain jumlah pengguna lebih banyak , jumlah ulasan pada Google Play juga lebih banyak dibanding Apple Store. Berdasarkan penelitian oleh Garousi et al. , aplikasi Android menerima lebih banyak ulasan dibanding aplikasi iOS [ 9 ] . Pada Desember 2021 , aplikasi PeduliLindungi di Google Play menerima ulasan sebanyak 639.089 dan di App Store hanya sebanyak 31.532 ulasan. Pemerintah Indonesia melakukan banyak upaya untuk menghadapi pandemi Covid-19. Salah satunya dengan 1 / 9 et aplikasi PeduliLindungi. Hinch meluncurkan al. menyebutkan bahwa pandemi akan berkurang apabila 56 % dari populasi menggunakan contact tracing app [ 10 ] . Namun , pengguna PeduliLindungi yang mengunduh aplikasi melalui Google Play sebanyak 50 juta orang atau hanya sekitar 18,5 % dari populasi pada Desember 2021 [ 11 ] . Jumlah tersebut lebih sedikit dibanding jumlah ideal yang direkomendasikan oleh Hinch et. al.. Selain target pengguna aplikasi PeduliLindungi yang ditetapkan oleh pemerintah Indonesia adalah 25 % dari pengguna smartphone [ 12 ] . Pengguna smartphone di Indonesia mencapai 271,35 juta jiwa [ 13 ] . Jumlah pengguna PeduliLindungi sekitar 18,43 % dari pengguna smartphone. Angka tersebut terbilang kecil daripada jumlah pengguna smartphone di Indonesia dan masih belum memenuhi target pengguna aplikasi PeduliLindungi. Selain jumlah penggunanya yang cukup sedikit , rating aplikasi PeduliLindungi tergolong rendah , yaitu sebesar 3,3 dari 5. itu , PeduliLindungi membutuhkan partisipasi dari seluruh masyarakat Indonesia agar dapat bekerja secara efektif. Untuk meningkatkan penyerapan dan penggunaan aplikasi secara berkelanjutan , pemerintah perlu memperhatikan respon yang diberikan oleh masyarakat. Salah satu cara yang dapat dilakukan adalah dengan memperhatikan ulasan pengguna aplikasi PeduliLindungi. Analisis terhadap ulasan pengguna dapat membantu pemerintah untuk mengetahui bagaimana kinerja aplikasi saat ini dan bagaimana pengguna ingin aplikasi tersebut berkembang. Sejak peluncuran pertama pada bulan April 2020 , masyarakat menunjukkan berbagai respon terkait aplikasi PeduliLindungi. Respon tersebut dapat dilihat pada kolom ulasan pengguna di Google Play. Selain ulasan , pengguna juga dapat memberi rating dari satu sampai lima di Google Play. Pengguna dapat meninggalkan ulasan positif maupun negatif terkait aplikasi. Ulasan pengguna berupa kepuasan terhadap suatu fitur , permintaan terhadap fitur baru , atau bahkan laporan bug pada fitur aplikasi. Ulasan tersebut sebagai komunikasi antara pengembang dan pengguna. Pengguna aplikasi dapat memberikan informasi untuk pengembang aplikasi dalam melakukan maintenance dan evolusi aplikasi , seperti pengadaan fitur baru , peningkatan fitur atau atau perbaikan bug [ 14 ] . Pengalaman pengguna selama menggunakan aplikasi PeduliLindungi yang tertuang dalam ulasan di Google Play dapat membantu pengembangan aplikasi di masa depan. fungsi yang sudah ada , Evaluasi suatu aplikasi dapat ditemukan dengan cepat dengan hanya melihat rating. Pada rating dengan 1-5 bintang akan menunjukkan rating yang bagus apabila rating mendekati 5 bintang , sedangkan rating yang jelek adalah rating yang mendekati 1 bintang. Akan tetapi , penggunaan rating saja tidak cukup dan kurang tepat. Untuk mendapatkan evaluasi lebih detail dapat dengan memanfaatkan ulasan. Ulasan mengandung sentimen , baik sentimen netral , positif , dan negatif , sehingga dapat membantu mendapatkan evaluasi mengenai aplikasi lebih detail dan representatif. Selain itu , penelitian oleh Setiyawan et al. menemukan bahwa rating dan ulasan tidak selalu selaras [ 15 ] . Pengguna bisa saja memberikan peringkat yang bagus , namun komentar yang dikandung memiliki sentimen negatif. Oleh karena itu untuk mendapat hasil Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik evaluasi yang lebih baik perlu melihat ulasan , tidak hanya melihat rating saja. Penelitian terdahulu menunjukkan bahwa ulasan pengguna mengandung informasi yang berguna bagi pengembang. Penelitian oleh N. Chen et al. membuat AR-Miner untuk menganalisis ulasan pengguna secara komprehensif [ 16 ] . Ulasan pengguna dibersihkan dan disaring , dikelompokkan menjadi ulasan yang informatif menggunakan pemodelan topik , kemudian memberi peringkat pada ulasan yang informatif. Penelitian oleh Carreno dan Winbladh mengolah ulasan pengguna sehingga didapatkan topik utama [ 17 ] . Ulasan pengguna diolah untuk mendapatkan topik-topik yang relevan dengan evolusi persyaratan aplikasi dengan pemodelan topik. Aman et al. melakukan analisis terhadap ulasan pengguna pada dua aplikasi pengendara e-scooter [ 18 ] . Penelitian tersebut menggunakan Latent Dirichlet Allocation ( LDA ) untuk mengidentifikasi topik yang dibahas pada ulasan kedua aplikasi dan Logistic Regression untuk mendapatkan faktor yang signifikan mempengaruhi kepuasan pengguna. Selain itu , analisis ulasan pengguna juga dilakukan oleh Garousi et al. [ 9 ] . Analisis dilakukan terhadap sembilan aplikasi Covid-19 contact-tacing dan menghasilkan ketidakpuasan terhadap 8 aplikasi. Isu yang sering disebutkan adalah penggunaan baterai yang tinggi dan kelancaran penggunaan aplikasi. Hasil dari penelitian tersebut menyatakan bahwa aplikasi perlu diperbaiki oleh tidak hanya developer aplikasi , tetapi juga pengambil keputusan dan ahli kesehatan. Pada penelitian ini , peneliti ingin mengetahui layanan aplikasi yang kurang memuaskan menurut pengguna aplikasi PeduliLindungi. Peneliti akan memanfaatkan ulasan pengguna aplikasi PeduliLindungi versi 4. Aplikasi PeduliLindungi versi 4 dipilih dalam penelitian ini karena versi tersebut merupakan versi terbaru dengan perubahan yang cukup major dari versi sebelumnya. Ulasan pengguna akan diklasifikasikan menjadi sentimen negatif , positif , serta netral. Ulasan pengguna yang termasuk kedalam kelas negatif , yang berisi kritik dan saran terhadap aplikasi , akan dilakukan pemodelan topik. Hasil dari pemodelan topik dapat berguna untuk mengetahui kinerja aplikasi sehingga dapat dijadikan acuan bagi pengguna baru atau pemerintah selaku penyedia aplikasi untuk dapat memperbaiki aspek yang kurang memuaskan. II. TUJUAN PENELITIAN Berdasarkan identifikasi masalah di atas , tujuan dari penelitian ini adalah untuk mendapatkan bahan evaluasi dari aplikasi PeduliLindungi guna meningkatkan layanan aplikasi dengan cara : 1. Melakukan klasifikasi terhadap ulasan pengguna aplikasi PeduliLindungi di Google Play untuk mendapatkan ulasan pengguna dengan sentimen negatif. 2. Melakukan pemodelan topik pada ulasan pengguna bersentimen negatif yang telah diperoleh sebelumnya. sentimen III. PENELITIAN TERKAIT Penelitian yang menjadi dasar dari penelitian ini adalah penelitian yang dilakukan oleh Garousi et al. [ 9 ] . Penelitian 2 / 9 tersebut menambang ulasan pengguna dari 9 aplikasi Covid-19 contact tracing app di Eropa. Hasil dari penelitian tersebut adalah pengguna tidak puas dengan kesembilan aplikasi , selain aplikasi dari Skotlandia yaitu aplikasi Protect Scotland. Isu yang paling banyak di komplain oleh pengguna adalah penggunaan baterai yang tinggi dan keraguan apakah aplikasi dapat bekerja dengan baik. Dari hasil tersebut menunjukkan pemangku kebijakan dari Covid-19 contact tracing app perlu meningkatkan kualitas aplikasi , penggunaan aplikasi oleh publik , dan persepsi publik terhadap aplikasi. Penelitian lain oleh Garousi dan Cutting [ 19 ] mengenai 3 aplikasi Covid-19 contact tracing dari UK. Metode analisis yang digunakan dalam penelitian ini adalah analisis sentimen dan pemodelan topik. Analisis dilakukan terhadap ulasan pengguna dari aplikasi NHS COVID-19 , StopCOVID NI , dan Protect Scotland. Hasil dari analisis menunjukkan pengguna tidak puas terhadap ketiga aplikasi kecuali aplikasi Protect Scotland. Selanjutnya penelitian oleh Rekanar et al. [ 20 ] yaitu analisis sentimen dari masukan pengguna pada aplikasi Covid-19 contract tracing dari negara Irlandia yaitu aplikasi HSE. Analisis sentimen terhadap ulasan pengguna aplikasi HSE dari Google / Apple secara manual , yang memerlukan banyak waktu. Hasil analisis adalah sentimen positif terhadap aplikasi. Peneliti menyatakan bahwa analisis sentimen hanya dapat menganalisis opini dari pengguna , sehingga untuk tambahan mengidentifikasi isu spesifik yang dibahas pengguna. store dilakukan memerlukan analisis Penelitian lain mengenai analisis sentimen terhadap ulasan pengguna dari Covid-19 contact tracing app juga dilakukan oleh Mustopa et al. [ 21 ] . Analisis sentimen terhadap ulasan dari Aplikasi PeduliLindungi menggunakan dua metode yaitu Support Vector Machine ( SVM ) dan Naive Bayes Classifier ( PSO ) . Analisis berbasis Particle Swarm Optimization dilakukan menggunakan evaluasi RapidMiner menggunakan 10-fold cross validation. Hasil dari evaluasi adalah Support Vector Machine ( SVM ) berbasis PSO mempunyai akurasi lebih tinggi sehingga lebih cocok untuk digunakan pada analisis sentimen. dan Selain SVM , Logistic Regression dan Random Forest juga sering digunakan dalam analisis sentimen. Penelitian oleh Prabhat dan Khullar [ 22 ] membandingkan dua algoritma yaitu Logistic Regression dan Naive Bayes untuk klasifikasi. Analisis menggunakan Logistic Regression menghasilkan akurasi dan presisi lebih tinggi. Logistic Regression juga digunakan pada analisis sentimen ulasan pengguna di Play Store oleh Darmaja et al. [ 23 ] . Penelitian ini menggunakan metode TF-IDF dan Logistic Regression untuk mendapatkan ulasan mengandung sentimen positif atau negatif. Penelitian oleh Rustam et al. [ 24 ] melakukan klasifikasi pada ulasan pengguna aplikasi Shopify , membandingkan tiga algoritma yaitu Logistic Regression , Adaboost Classifier , dan Random Forest. Logistic Regression memiliki akurasi dan presisi tertinggi , sedangkan nilai recall dan f1-score Random Forest tertinggi. Pada penelitian oleh Padgaonkar et al. [ 25 ] , Random Forest melakukan klasifikasi lebih baik daripada Naive Bayes pada klasifikasi ulasan pengguna aplikasi. Penelitian oleh Maroco et al. [ 26 ] memprediksi demensia Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik menggunakan metode data mining. Penelitian ini menyebutkan Random Forest memiliki akurasi dan sensitifitas tinggi. beberapa penelitian teknik semi supervised telah terdahulu Selanjutnya , menggunakan learning dengan memanfaatkan pseudo labelling. Penelitian oleh Srikanth et al. [ 27 ] menggunakan pseudo labelling untuk memberi label pada data. Berdasarkan penelitian oleh Srikanth et al. , Pseudo labelling meningkatkan performa klasifikasi. Penelitian oleh Hidayatullah et al. [ 28 ] menggunakan pseudo labelling untuk waktu proses pelabelan data. Berdasarkan kedua penelitian tersebut , pelabelan secara manual mahal dan memakan waktu yang sangat lama , sehingga pseudo labelling digunakan untuk membantu proses pelabelan menjadi lebih cepat. Penelitian oleh Eksa Permana et al. [ 29 ] melakukan analisis sentimen dan pemodelan topik terhadap ulasan aplikasi. Penelitian ini mengidentifikasi sentimen pengguna dan aspek yang perlu ditingkatkan dari aplikasi mobile banking. Data bersumber dari ulasan pengguna di Google Play Store. Analisis sentimen dilakukan menggunakan Naive Bayes dan pemodelan topik menggunakan algoritma LDA. Topik yang mendapatkan sentimen negatif berhubungan dengan sistem login , kode OTP , dan koneksi internet. Sedangkan , topik dengan sentimen positif adalah kemudahan , kesederhanaan , dan kebermanfaatan. Berdasarkan penelitian-penelitian terkait. Penelitian ini akan menggunakan analisis sentimen dan pemodelan topik sebagai metode analisis. Pada penelitian ini , Logistic Regression , Support Vector Machine dan Random Forest dibandingkan untuk mengetahui algoritma klasifikasi yang terbaik untuk analisis sentimen ulasan aplikasi PeduliLindungi. Sedangkan , pemodelan topik menggunakan Latent Dirichlet Allocation ( LDA ) . 3 / 9 IV. TAHAPAN PENELITIAN Gambar 1. Tahapan Penelitian A. Metode Pengumpulan Data Penelitian ini menggunakan data ulasan aplikasi PeduliLindungi berbahasa Indonesia di Google Play. Data diperoleh melalui proses scraping ulasan di Google Play. Proses scraping memanfaatkan package google-play-scraper pada Python. Google-play-scraper adalah suatu package yang menyediakan API untuk memudahkan mengambil data dari Google Play dengan Python [ 30 ] . Google Colaboratory digunakan untuk mengambil data menggunakan package google-play-scraper. Data ulasan disimpan dalam file CSV ( Comma Separated Values ) . Data hasil pengumpulan data akan dibagi menjadi dua data , yaitu data untuk pembentukan model dan data prediksi. Data pembentukan model digunakan untuk membentuk model klasifikasi sentimen. Data prediksi digunakan untuk prediksi menggunakan model yang telah dibentuk menggunakan data pembentukan model. Data pembentukan model dibagi menjadi Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik dua yaitu data yang akan dilakukan pelabelan manual , kemudian akan disebut data berlabel , dan data tidak berlabel. Ulasan aplikasi PeduliLindungi yang digunakan dalam penelitian ini adalah ulasan aplikasi PeduliLindungi versi 4. Sampai tanggal 21 Mei 2022 , aplikasi PeduliLindungi versi 4 terdiri dari 18 sub versi , diantaranya 4.0.2 , 4.0.5 , 4.0.6 , 4.0.7 , 4.0.8 , 4.0.9 , 4.0.91 , 4.1.0 , 4.1.1 , 4.1.16 , 4.2.0 , 4.2.1 , 4.3.0 , 4.4 , 4.4.1 , 4.4.3 , 4.4.3.1 , dan 4.4.3.2. Ulasan yang digunakan untuk data pembentukan model adalah adalah ulasan aplikasi PeduliLindungi versi 4.0.2 , 4.0.5 , dan 4.0.6. Ulasan yang digunakan untuk data prediksi adalah ulasan aplikasi PeduliLindungi versi 4.0.7 , 4.0.8 , 4.0.9 , 4.0.91 , 4.1.0 , 4.1.1 , 4.1.16 , 4.2.0 , 4.2.1 , 4.3.0 , 4.4 , 4.4.1 , 4.4.3 , 4.4.3.1 , dan 4.4.3.2. B. Pelabelan Manual Data yang diberi label secara manual sebanyak 1031 data ulasan. Data tersebut adalah data ulasan PeduliLindungi versi 4.0.6 dari tanggal 5 Desember 2021 sampai tanggal 21 Desember 2021. Label yang diberikan terdapat 3 kelas yaitu netral ( 0 ) , positif ( 1 ) , dan negatif ( 2 ) . Kelas netral adalah kelas yang berisikan data ulasan yang bersifat berita atau pernyataan terkait aplikasi PeduliLindungi dan ulasan yang tidak terkait aplikasi PeduliLindungi. Kelas positif adalah kelas dengan data ulasan yang mengandung kata bermakna positif , dapat berupa pujian maupun dukungan pada aplikasi. Sementara itu , kelas negatif adalah kelas yang berisikan data ulasan yang bersifat kritik aengandung kata bermakna negatif. Pelabelan manual dilakukan secara manual oleh tiga orang anotator. Proses pemilihan label dilakukan dengan memilih label mayoritas dari ketiga anotator. Kriteria yang diperlukan untuk menjadi anotator pada penelitian ini adalah minimal lulusan Sekolah Menengah Atas ( SMA ) atau sederajat , menguasai Bahasa Indonesia dengan baik , dan mengetahui aplikasi PeduliLindungi. Kriteria tersebut diperlukan untuk memastikan bahwa anotator mampu melakukan pelabelan manual terhadap data ulasan pengguna PeduliLindungi. Hasil pelabelan manual dilakukan Interrater Reliability. Interrater reliability digunakan untuk mengukur sejauh mana anotator menetapkan skor yang sama untuk variabel yang sama [ 31 ] . Pada penelitian ini , interrater reliability menggunakan statistik Fleiss’ kappa. Fleiss’ Kappa cocok digunakan untuk mengukur interrater reliability untuk dua atau lebih annotator [ 32 ] . C. Pra Pemprosesan Data Data hasil scraping mengandung noise seperti emoji , kata hubung , angka , dan lain-lain. Preprocessing dilakukan untuk menghilangkan noise agar data menjadi lebih bersih. Preprocessing dilakukan dengan memanfaatkan package yang terdapat pada Python. Pada penelitian tahapan preprocessing adalah sebagai berikut : 1. Case folding ini , Tahap Case folding untuk mengubah setiap huruf menjadi huruf kecil. 2. Data Cleaning Proses data cleaning yang dilakukan adalah menghapus alfabet , menghapus bukan punctuation , menghapus whitespace , menghapus data redundant , dan menghapus single character. karakter 4 / 9 3. Tokenizing Tokenizing yaitu dokumen akan dipecah menjadi kata-kata dengan spasi debagai pembatasnya. 4. Normalization Normalization adalah mengubah kata yang terdapat kesalahan ketik , singkatan , atau kata tidak baku. Proses normalisasi menggunakan kamus Colloquial Indonesian Lexicon oleh Aliyah Salsabila et al. ( 2018 ) . Pada penelitian ini , beberapa kata yang berhubungan dengan aplikasi PeduliLindungi ditambahkan ke dalam kamus Colloquial Indonesian Lexicon , misalnya aplikasi , verifikasi , sertifikat , dan lain-lain. 5. Stopword Removal Pada tahap ini , kata yang termasuk stopword akan dihapus. Contoh kata stopword adalah 'yang ' , 'di ' , 'ke ' , ‘dan’ , ‘dari’ , dan lain-lain. Proses stopword removal menggunakan kamus Indonesian stopword dari library NLTK ( Natural Language ToolKit ) . 6. Stemming Stemming adalah proses mencari kata dasar atau root dari kata yang berimbuhan. Proses stemming dalam Bahasa Indonesia menggunakan library Sastrawi. D. Pembobotan Kata Setelah pra pemprosesan data , selanjutnya dilakukan pembobotan kata. Pembobotan kata dilakukan untuk menghitung frekuensi kemunculan term / kata dalam dokumen. Metode yang digunakan untuk pembobotan kata adalah Term Frequency-Invers Document Frequency ( TF-IDF ) . Hasil dari tahap ini adalah bobot setiap kata yang menggambarkan kemunculan setiap kata dalam dokumen. E. Analisis Sentimen Analisis sentimen pada penelitian ini dilakukan dengan teknik semi supervised learning. Algoritma klasifikasi yang digunakan adalah Support Vector Machine ( SVM ) , Logistic Regression , dan Random Forest. Pertama , analisis sentimen dilakukan pada data hasil pelabelan manual untuk mendapatkan algoritma yang terbaik. k-Fold Cross Validation digunakan untuk menguji data hasil pelabelan manual. Untuk meningkatkan model yang optimal , dilakukan hyperparameter tuning untuk setiap algoritma klasifikasi. Hyperparameter tuning adalah proses mengidentifikasi nilai parameter yang dapat menghasilkan model dengan performa yang paling baik. Selanjutnya , dilakukan evaluasi model klasifikasi. Proses evaluasi dengan mengukur evaluasi klasifikasi yaitu pengukuran akurasi dan f1-score. Langkah kedua dalam pembentukan model klasfikasi adalah klasifikasi data pembentukan model yang belum diberi label secara manual menggunakan metode pseudo labelling. Data pembentukan model yang belum diberi label secara manual adalah data ulasan PeduliLindungi versi 4.0.2 , 4.0.5 , dan 4.0.6 selain data yang telah dilakukan pelabelan manual sebanyak 36.555. Data hasil pelabelan manual dan pseudo labelling digabung menjadi data kombinasi untuk membentuk model final. Proses pseudo labelling yang dilakukan pada penelitian ini dapat dilihat pada Gambar 2 berikut. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Gambar 2. Diagram semantik pseudo labelling Ketiga , prediksi data menggunakan model final yang dibentuk menggunakan data kombinasi. Prediksi dilakukan pada data prediksi. Data prediksi adalah data ulasan PeduliLindungi versi 4.0.7 , 4.0.8 , 4.0.9 , 4.0.91 , 4.1.0 , 4.1.1 , 4.1.16 , 4.2.0 , 4.2.1 , 4.3.0 , 4.4 , 4.4.1 , 4.4.3 , 4.4.3.1 , dan 4.4.3.2 sebanyak 42.611. F. Pemodelan Topik Pada tahap pemodelan topik , data yang digunakan adalah hasil prediksi sentimen yaitu ulasan yang memiliki sentimen negatif. Tahap pemodelan topik adalah sebagai berikut : 1. Membuat dictionary dan corpus. Dictionary mengandung kumpulan kata unik yang diberi indeks. Corpus berisi komposisi kata-kata dan frekuensi kemunculannya. 2. Menentukan jumlah iterasi ( passes ) dengan cara mengukur nilai koherensi. 3. Menentukan jumlah topik dengan cara mengukur nilai koherensi. 4. Implementasi LDA dengan package gensim. 5. Visualisasi topik dengan package pyLDAvis. Evaluasi model pada pemodelan topik dilakukan berdasarkan topic coherence. Model yang baik memiliki nilai koherensi topik yang tinggi. Menghitung nilai koherensi menggunakan package gensim. V. KERANGKA PIKIR Gambar 3. Kerangka Penelitian Masalah dari penelitian ini adalah pengguna aplikasi PeduliLindingi masih tergolong sedikit serta belum memenuhi target pengguna yang ditetapkan oleh pemerintah , Penelitian ini 5 / 9 menggunakan data ulasan pengguna aplikasi PeduliLindungi. Metode yang digunakaan adalah klasifikasi sentimen dan pemodelan topik. Algoritma yang diguanakan adalah Support Vector Machine , Logistic Regression , dan Random Forest untuk mengetahui algoritma yang terbaik untuk melakukan klasifikasi topik menggunakan Latent Dirichlet Allocation. Evaluasi model klasifikasi menggunakan nilai akurasi dan f1-score. Sedangkan , evaluasi pemodelan topik menggunakan nilai koherensi. Hasil yang didapatkan dapat menjadi masukan berupa saran / kritik tentang aplikasi PeduliLindungi untuk pemerintah selaku pengembang aplikasi. Selanjutnya , pemodelan sentimen. VI. HASIL DAN PEMBAHASAN A. Pengumpulan Data Ulasan yang digunakan dalam penelitian ini adalah ulasan berbahasa Indonesia dan dari aplikasi PeduliLindungi versi 4. Ulasan yang berhasil dikumpulkan pada periode 22 Oktober 2021 sampai 21 Mei 2022 adalah sebanyak 83.800 ulasan. Data tersebut kemudian dibagi menjadi data pembentukan model sebanyak 37.587 data ulasan dan data prediksi sebanyak 46.213 data ulasan. Data pembentukan model dibagi menjadi dua yaitu data yang diberikan label secara manual sebanyak 1.031 ulasan dan data tidak diberi label secara manual sebanyak 36.556 data ulasan. B. Pelabelan Manual Tahap ini dilakukan oleh 3 orang dengan masing-masing 1.031 ulasan. Pelabelan manual dilakukan berdasarkan penilaian subjektif anotator terhadap ulasan. Kelas sentimen yang diberikan adalah kelas positif , negatif , dan netral. Hasil dari pelabelan manual adalah ulasan dengan label netral sebanyak 113 , label positif sebanyak 260 , dan label negatif sebanyak 658. Hasil dari interrater reliability menggunakan Fleiss’ Kappa adalah sebesar 0.865. Berdasarkan klasifikasi koefisien Cohen’s Kappa [ 34 ] , nilai koefisian tersebut termasuk sangat bagus karena mendekati nilai 1. Nilai koefisien Kappa yang bagus menunjukkan bahwa terdapat persetujuan antar annotator yang kuat. C. Pra Pemprosesan Data Pra pemprosesan data dilakukan sebelum data diolah dan dianalisis untuk menghasilkan model yang lebih baik. Hasil pra premprosesan data pada data pembentukan model yang diberi label secara manual sebanyak 1.006 data. Data pembentukan model yang tidak diberi label secara manual setelah pra pemprosesan sebanyak 35.842. Sedangkan , data prediksi setelah pra pemprosesan sebanyak 44.940. Hasil pra pemprosesan data dapat dilihat pada Tabel I. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Tahap Pra pemprosesan Ulasan awal Case Folding Data Cleaning Tokenizing Normalization Stopword Removal Stemming TABEL I HASIL PRA PEMPROSESAN DATA Hasil Masih perlu banyak peningkatan keakurasian GPS .karena Indonesia itu luas tidak semua akses internet berjalan di daerah tertentu masih perlu banyak peningkatan keakurasian gps .karena indonesia itu luas tidak semua akses internet berjalan di daerah tertentu masih perlu banyak peningkatan keakurasian gps karena indonesia itu luas tidak semua akses internet berjalan di daerah tertentu [ 'masih ' , 'perlu ' , 'banyak ' , 'peningkatan ' , 'keakurasian ' , 'gps ' , 'karena ' , 'indonesia ' , 'itu ' , 'luas ' , 'tidak ' , 'semua ' , 'akses ' , 'internet ' , 'berjalan ' , 'di ' , 'daerah ' , 'tertentu ' ] [ 'masih ' , 'perlu ' , 'banyak ' , 'peningkatan ' , 'keakurasian ' , 'gps ' , 'karena ' , 'indonesia ' , 'itu ' , 'luas ' , 'tidak ' , 'semua ' , 'akses ' , 'internet ' , 'berjalan ' , 'di ' , 'daerah ' , 'tertentu ' ] [ 'peningkatan ' , 'keakurasian ' , 'gps ' , 'indonesia ' , 'luas ' , 'tidak ' , 'akses ' , 'internet ' , 'berjalan ' , 'daerah ' ] [ 'tingkat ' , 'akurasi ' , 'gps ' , 'indonesia ' , 'luas ' , 'tidak ' , 'akses ' , 'internet ' , 'jalan ' , 'daerah ' ] D. Pembentukan Model Klasifikasi algoritma dilakukan Pembentukan model klasifikasi dilakukan dengan k-fold Cross Validation dengan data hasil pelabelan manual sebagai data masukan. Jumlah nilai k yang digunakan adalah 10. Dalam penentuan pencarian sentimen , hyperparameter yang terbaik. Hasil tuning hyperparameter terbaik digunakan untuk berupa nilai hyperparameter membangun model klasifikasi. Hyperparameter terbaik untuk Logistic Regression yaitu C sebesar 29,76 , penalty L2 , multi_class yaitu multinomial , dan max_iter sebesar 1000. Hyperparameter terbaik untuk Support Vector Machine adalah terbaik untuk kernel Random Forest adalah max_depth sebesar 100 , n_estimators sebesar dan min_sample_split sebanyak 5. linear. Sedangkan hyperparameter 1000 , min_sample sebanyak leaf 1 , Untuk mengetahui performa model dilakukan evaluasi berdasarkan nilai accuracy dan f1-score. Perbandingan performa model klasifikasi dapat dilihat pada Tabel II berikut. 6 / 9 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik G. Hasil Pemodelan Topik Pemodelan topik dilakukan terhadap hasil klasifikasi sentimen pada PeduliLindungi versi 4 menggunakan Latent Dirichlet Allocation. Kelas sentimen yang akan dilakukan pemodelan topik adalah kelas sentimen negatif. Langkah kedua adalah penentuan jumlah iterasi. Percobaan iterasi yang dilakukan sebanyak 10 kali. Jumlah topik mula-mula yang digunakan dalam percobaan topik. Penentuan jumlah iterasi berdasarkan coherence score yang tertinggi. Jumlah iterasi yang terbaik untuk kelas sentimen negatif adalah 100 iterasi. iterasi adalah 3-21 Langkah ketiga adalah penentuan jumlah topik. Jumlah topik yang digunakan dalam percobaan adalah 3-11 , 3-21 , dan 3-31. Penentuan jumlah topik berdasarkan coherence score yang tertinggi. Hasil dari penentuan julah topik dapat dilihat pada Gambar 5. Gambar 5. Nilai koherensi pada jumlah topik 3-11 Berdasarkan visualisasi hasil coherence score , jumlah topik 3-11 , yaitu 10 topik merupakan jumlah topik yang memiliki nilai coherence score tertinggi sebesar 0,48953. Selanjutnya melakukan pemodelan topik untuk kelas sentimen negatif dengan jumlah iterasi dan jumlah topik optimum yang telah ditentukan sebelumnya. Model dengan 10 topik ini cukup bagus karena semua topik tersebar , dan hanya terdapat dua topik yang beririsan yaitu topik 1 dan topik 10. Sebaran topik dapat dilihat pada visualisasi topik yang ditunjukkan pada Gambar 6. TABEL II HASIL EVALUASI MODEL KLASIFIKASI Fold Logistic Regression Akurasi f1- score Support Vector Machine Random Forest Akurasi f1-score Akurasi f1- score 1 2 3 4 5 6 7 8 9 10 0,8316 0,6643 0,8316 0,6264 0,8118 0,6116 0,8514 0,5617 0,8415 0,6613 0,8613 0,5996 0,8613 0,6336 0,8415 0,5530 0,8415 0,5490 0,8118 0,5641 0,8118 0,5541 0,8712 0,6058 0,8316 0,5684 0,8712 0,5750 0,8712 0,6450 0,8415 0,6425 0,8316 0,5748 0,8316 0,5735 0,85 0,91 0,78 0,88 0,7436 0,6175 0,671 0,7972 0,81 0,92 0,76 0,87 0,6553 0,8 0,6068 0,622 0,5767 0,91 0,74 0,6118 0,5495 0,6747 0,870 0,7225 0,832 0,6592 0,8419 0,8509 0,6028 0,5992 Rata -rata Berdasarkan evaluasi di atas , Logistic Regression mempunyai performa yang lebih bagus dibanding Support Vector Machine dan Random Forest. Kesimpulan ini didapat dari nilai f1-score dari Logistic Regression lebih besar daripada kedua algoritma yang lain. Nilai f1-score digunakan sebagai pembanding evaluasi model klasifikasi karena f1-score adalah metrik yang lebih baik untuk data tidak seimbang dibandingkan nilai akurasi [ 35 ] . E. Pseudo Labelling Metode pseudo labelling menggunakan model klasifikasi terbaik yang telah dibangun pada tahap pembentukan model klasifikasi. Hasil prediksi data dengan pseudo labelling digabungkan dengan data hasil pelabelan manual yang kemudian disebut dengan data kombinasi. Data kombinasi terdiri dari data dengan label netral sebanyak 1.244 data ulasan , label positif sebanyak 12.051 data ulasan , dan label negatif sebanyak 23.553 data ulasan. F. Hasil Prediksi Setelah tahap pseudo labelling dilakukan , dilanjutkan prediksi sentimen data ulasan menggunakan algoritma Logistic regression pada data prediksi sebanyak 44.940. Prediksi menghasilkan kelas positif sebesar 21.887 ulasan , kelas negatif sebesar 21.210 ulasan , dan kelas netral sebesar 1.843 ulasan. 47 % 49 % 4 % Netral Positif Negatif Gambar 4. Hasil prediksi data Gambar 6. Intertopic Distance Map 7 / 9 H. Interpretasi Data topik. Interpretasi Setelah mendapatkan model terbaik , selanjutnya dilakukan topik dilakukan untuk interpretasi mengetahui tema dari setiap topik. Hal-hal yang digunakan untuk menentukan tema dari topik adalah kata kunci setiap topik , ulasan yang paling representatif dengan topik , serta 30 topik. Hasil terminologi yang paling interpretasi topik dapat memberi gambaran mengenai layanan aplikasi PeduliLindungi yang perlu ditingkatkan. relevan dengan TABEL III KATA KUNCI TOPIK BESERTA TEMA Topik Kata Kunci Tema 1 2 3 4 5 6 7 8 9 10 vaksin , sertifikat , tidak , aplikasi , muncul , klaim , salah , keluar , kali , nama lahir , tanggal , ribet , tidak , aplikasi , isi , mudah , susah , sulit , tolong tidak , aplikasi , masuk , hp , download , pakai , buka , henti , pedulilindungi , baik tidak , aplikasi , peduli , lindung , vaksin , orang , keluar , data , masuk , baharu aplikasi , tidak , susah , buka , banget , jelek , lemot , scan , masyarakat , update tidak , hasil , daftar , kode , verifikasi , masuk , login , dosis , kirim , email cek , vaksin , out , no , tolong , aplikasi , baik , tidak , tanggal , hp update , vaksin , hilang , tidak , baru , sertifikat , mulu , data , habis , gara error , suka , tidak , aplikasi , captcha , data , buruk , muas , merah , kadang tidak , riwayat , aplikasi , cek , covid , baik , jalan , menu , puas , negara Sertifikat vaksin Pengisian tanggal lahir Login aplikasi Performa aplikasi Performa aplikasi Login aplikasi Status vaksinasi di aplikasi PeduliLindungi Sertifikat vaksin Login aplikasi Menu riwayat Check In Jumlah Ulasan 5295 2218 2220 1548 2425 1466 1305 1146 1337 2250 Berdasarkan tema per topik di atas , dapat disimpulkan layanan aplikasi PeduliLindungi yang perlu ditingkatkan kembali menurut ulasan pengguna , diantaranya adalah : 1. Sertifikat vaksin 2. Fitur Login 3. Menu riwayat Check In 4. Pengisian tanggal lahir 5. Status vaksinasi 6. Performa aplikasi PeduliLindungi VII. PENUTUP Berdasarkan hasil dan pembahasan pada bab sebelumnya , berikut kesimpulan dari penelitian ini : 1. Logistic Regression lebih baik dalam melakukan klasifikasi sentimen disbanding Support Vector Machine ( SVM ) dan Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Random Forest. Prediksi menggunakan Logistic Regression menghasilkan ulasan berlabel negatif sebanyak 21.210 ulasan. 2. Pemodelan topik menggunakan Latent Dirichlet Allocation ( LDA ) pada hasil prediksi ulasan bersentimen negatif menghasilkan model dengan 10 topik dengan jumlah iterasi 100. 3. Berdasarkan interpretasi yang telah dilakukan , layanan aplikasi peduLindungi yang perlu ditingkatkan sebagai bahan evaluasi adalah Sertifikat Vaksin , fitur Login , menu riwayat Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi. Berdasarkan pengerjaan penelitian ini , saran yang dapat diberikan adalah penelitian selanjutnya 1. Penelitian ini terbatas pada analisis pada ulasan dengan sentimen negatif karena memiliki tujuan yang spesifik untuk mengetahui kekurangan aplikasi berupa layanan yang perlu ditingkatkan. Penelitian selanjutnya dapat melakukan analisis tidak hanya terhadap ulasan dengan sentimen negatif saja. 2. Pada penelitian ini , hasil normalisasi terdapat kata yang terkait aplikasi terutama terkait aplikasi PeduliLindungi tidak ternormalisasi dengan baik , seperti kata “verifikasi” , “download” , “sertifikat” , “captcha” , dan lain-lain. Oleh karena itu , pada penelitian selanjutnya dapat menerapkan kamus normalisasi yang lebih spesifik untuk data ulasan dari suatu. 3. Pada penelitian ini , dilakukan tuning hyperparameter menggunakan GridSearchCV untuk mendapatkan nilai parameter dapat Penelitian mengguakan sensitivity analysis untuk mendapatkan parameter optimal pada algoritma klasifikasi sentimen. Salah satu metode yang dapat digunakan adalah metode elbow. selanjutnya terbaik. DAFTAR PUSTAKA Satuan Tugas Penanganan Covid-19 , “Data Sebaran Covid-19 , ” 2021. [ Daring ] . Tersedia pada : https : / / covid19.go.id / . [ Diakses : 26- Nov-2021 ] . World Health Organization ( WHO ) , “Infection prevention and control : Contact tracing , ” 2017. [ Daring ] . Tersedia pada : https : / / www.who.int / news-room / questions-and- answers / item / contact-tracing. [ Diakses : 06-Des-2021 ] . European Centre for Disease Prevention and Control ( ECDC ) , “Contact tracing for COVID-19 : current evidence options for scale- up and an assessment of resources needed. , ” 2020. L. Ferretti et al. , “Quantifying SARS-CoV-2 transmission suggests epidemic control with digital contact tracing , ” Science ( 80-. ) . , vol. 368 , no. 6491 , hal. 0–8 , 2020. M. Zastrow , “Coronavirus contact-tracing apps : can they slow the spread of COVID-19 ? , ” Nature , Mei 2020. KEMENTERIAN KESEHATAN RI , “PeduliLindungi , ” 2021. [ Daring ] . Tersedia pada : https : / / www.pedulilindungi.id / . [ Diakses : 14-Des-2021 ] . D. Herdiana , “Aplikasi PeduliLindungi : Perlindungan Masyarakat Dalam Mengakses Fasilitas Publik Di Masa Pemberlakuan Kebijakan PPKM , ” J. Inov. Penelit. , vol. 2 , no. 6 , hal. 1685–1694 , 2021. StatCounter , “Mobile Operating System Market Share Indonesia | Statcounter Global Stats , ” 2021. [ Daring ] . Tersedia pada : https : / / gs.statcounter.com / os-market-share / mobile / indonesia. [ Diakses : 14-Des-2021 ] . V. Garousi , D. Cutting , dan M. Felderer , “Mining user reviews of [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] 8 / 9 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik [ 29 ] [ 30 ] [ 31 ] [ 32 ] [ 33 ] [ 34 ] [ 35 ] “Sentiment Analysis on Twitter using Neural Network : Indonesian Presidential Election 2019 Dataset , ” IOP Conf. Ser. Mater. Sci. Eng. , vol. 1077 , no. 1 , hal. 012001 , 2021. M. Eksa Permana , H. Ramadhan , I. Budi , A. Budi Santoso , dan P. Kresna Putra , “Sentiment analysis and topic detection of mobile banking application review , ” 2020 5th Int. Conf. Informatics Comput. ICIC 2020 , 2020. Python Software Foundation , “google-play-scraper · PyPI , ” 2021. [ Daring ] . Tersedia pada : https : / / pypi.org / project / google-play- scraper / . [ Diakses : 23-Des-2021 ] . M. L. McHugh , “Interrater Reliability : The Kappa Statistic , ” Biochem. Medica , vol. 22 , no. 3 , hal. 276–282 , 2012. Laerd Statistics , “Fleiss’ kappa in SPSS Statistics , ” Statistical tutorials and software guides , 2019. [ Daring ] . Tersedia pada : https : / / statistics.laerd.com / spss-tutorials / fleiss-kappa-in-spss- statistics.php. [ Diakses : 13-Jul-2022 ] . N. Aliyah Salsabila , Y. Ardhito Winatmoko , A. Akbar Septiandri , dan A. Jamal , “Colloquial Indonesian Lexicon , ” Proc. 2018 Int. Conf. Asian Lang. Process. IALP 2018 , hal. 226–229 , 2018. D. Altman , Practical statistics for medical research. CRC Press , 1990. C. H. Yutika , A. Adiwijaya , dan S. Al Faraby , “Analisis Sentimen Berbasis Aspek pada Review Female Daily Menggunakan TF-IDF dan Naïve Bayes , ” J. Media Inform. Budidarma , vol. 5 , no. 2 , hal. 422 , 2021. COVID contact-tracing apps : An exploratory analysis of nine European apps , ” J. Syst. Softw. , vol. 184 , hal. 111136 , 2020. R. Hinch et al. , “Effective Configurations of a Digital Contact Tracing App : A report to NHSX , ” Eff. Config. a Digit. Contact Tracing App A Rep. to NHSX , vol. 1 , no. 3 , hal. 1 , 2020. Google Play , “PeduliLindungi - Aplikasi di Google Play , ” 2021. [ Daring ] . Tersedia pada : https : / / play.google.com / store / apps / details ? id=com.telkom.tracencar e & hl=in & gl=US. [ Diakses : 14-Des-2021 ] . B. A. Pramudita , “Jumlah Pengguna PeduliLindungi Tembus 5 % Pengguna Smartphone Indonesia , ” 2020. [ Daring ] . Tersedia pada : https : / / kominfo.go.id / content / detail / 27515 / jumlah-pengguna- pedulilindungi-tembus-5-pengguna-smartphone- indonesia / 0 / sorotan_media. [ Diakses : 24-Mei-2022 ] . L. Utama , “Jumlah Ponsel di Indonesia Lebih Banyak dari Populasi Penduduk , ” VIVA.co.id , 2021. [ Daring ] . Tersedia pada : https : / / www.viva.co.id / digital / digilife / 1395151-jumlah-ponsel-di- indonesia-lebih-banyak-dari-populasi-penduduk. [ Diakses : 22-Mei- 2022 ] . S. Panichella , A. Di Sorbo , E. Guzman , C. A. Visaggio , G. Canfora , dan H. C. Gall , “How can i improve my app ? Classifying user reviews for software maintenance and evolution , ” 2015 IEEE 31st Int. Conf. Softw. Maint. Evol. ICSME 2015 - Proc. , no. 2 , hal. 281– 290 , 2015. A. Setiyawan , A. W. Wijayanto , dan H. Youshi , “Extracting Consumer Opinion on Indonesian E-Commerce : A Rating Evaluation and Lexicon-Based Sentiment Analysis , ” Proc. … , hal. 2–11 , 2021. N. Chen , J. Lin , S. C. H. Hoi , X. Xiao , dan B. Zhang , “AR-miner : Mining informative reviews for developers from mobile app marketplace , ” Proc. - Int. Conf. Softw. Eng. , no. 1 , hal. 767–778 , 2014. L. V. G. Carreno dan K. Winbladh , “Analysis of user comments : An approach for software requirements evolution , ” Proc. - Int. Conf. Softw. Eng. , hal. 582–591 , 2013. J. J. C. Aman , J. Smith-Colin , dan W. Zhang , “Listen to E-scooter riders : Mining rider satisfaction factors from app store reviews , ” Transp. Res. Part D Transp. Environ. , vol. 95 , no. May , hal. 102856 , 2021. V. Garousi dan D. Cutting , “What do users think of the UK’s three COVID-19 contact-tracing apps ? A comparative analysis , ” BMJ Heal. Care Informatics , vol. 28 , no. 1 , hal. 1–7 , 2021. K. Rekanar et al. , “Sentiment analysis of user feedback on the HSE’s Covid-19 contact tracing app , ” Ir. J. Med. Sci. , no. 0123456789 , 2021. A. Mustopa , Hermanto , Anna , E. B. Pratama , A. Hendini , dan D. Risdiansyah , “Analysis of user reviews for the pedulilindungi application on google play using the support vector machine and naive bayes algorithm based on particle swarm optimization , ” 2020 5th Int. Conf. Informatics Comput. ICIC 2020 , vol. 19 , 2020. A. Prabhat dan V. Khullar , “Sentiment classification on big data using Naïve bayes and logistic regression , ” 2017 Int. Conf. Comput. Commun. Informatics , ICCCI 2017 , 2017. E. Darmaja , V. C. Mawardi , dan N. J. Perdana , “Review Sentimen Analisis Aplikasi Sosial Media Di Google Playstore Menggunakan Metode Logistic Regression , ” hal. 513–520 , 2021. F. Rustam , A. Mehmood , M. Ahmad , S. Ullah , D. M. Khan , dan G. S. Choi , “Classification of Shopify App User Reviews Using Novel Multi Text Features , ” IEEE Access , vol. 8 , hal. 30234–30244 , 2020. L. Padgaonkar , S. Jain , S. Ajgaonkar , R. Londhe , dan P. K. S. Balbudhe , “Mobile Application Review Classification Using Machine Learning Approach , ” hal. 5806–5809 , 2019. J. Maroco , D. Silva , A. Rodrigues , M. Guerreiro , I. Santana , dan A. de Mendonca , “Data mining methods in the prediction of Dementia : A real-data comparison of the accuracy , sensitivity and specificity of linear discriminant analysis , logistic regression , neural networks , support vector machines , classification trees and random forests , ” Bmc Res Notes , vol. 4 , hal. 299 , 2011. J. Srikanth , A. Damodaram , Y. Teekaraman , R. Kuppusamy , dan A. R. Thelkar , “Sentiment Analysis on COVID-19 Twitter Data Streams Using Deep Belief Neural Networks , ” Comput. Intell. Neurosci. , vol. 2022 , hal. 8898100 , 2022. A. F. Hidayatullah , S. Cahyaningtyas , dan A. M. Hakim , [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ] [ 26 ] [ 27 ] [ 28 ] 9 / 9
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O B-METODE I-METODE O O O O O O O O B-METODE I-METODE O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O B-METODE I-METODE O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Evaluasi Layanan Aplikasi PeduliLindungi Berdasarkan Analisis Sentimen Ulasan Pengguna Anlisa Armaryama Risardi ( 221810177 , 4SI1 ) Dosen Pembimbing : Nori Wilantika , S.S.T. , Ringkasan— Pengguna aplikasi PeduliLindungi hanya sekitar 18,5 % dari populasi Indonesia , sementara penelitian oleh Hinch et al. menyebutkan bahwa 56 % dari populasi harus menggunakan aplikasi pelacakan kontak digital sehingga pandemi akan berkurang. Untuk meningkatkan penggunaan aplikasi , salah satu cara yang dapat dilakukan adalah dengan melakukan analisis terhadap ulasan pengguna aplikasi. Penelitian ini bertujuan untuk mengetahui layanan aplikasi PeduliLindungi yang perlu ditingkatkan. Untuk mendapatkan informasi yang diinginkan , analisis sentimen dilakukan untuk mendapatkan ulasan dengan sentimen negatif serta pemodelan topik pada ulasan aplikasi PeduliLindungi dengan sentimen negatif. Analisis sentimen menggunakan teknik Semi Supervised Learning. Algoritma Logistic Regression , Support Vector Machine , dan Random Forest dibandingkan untuk mendapatkan model klasifikasi terbaik. Hasil evaluasi menunjukkan Logistic Regression memiliki nilai akurasi dan f1-score terbaik. Pemodelan topik menggunakan Latent Dirichlet Allocation dan menghasilkan model topik terbaik dengan jumlah 10 topik. Layanan aplikasi PeduliLindungi yang membutuhkan peningkatan berdasarkan hasil analisis adalah sertifikat vaksin , fitur Login , fitur Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi PeduliLindungi. Kata Kunci— analisis sentimen , pemodelan topik , PeduliLindungi
VII. PENUTUP Berdasarkan hasil dan pembahasan pada bab sebelumnya , berikut kesimpulan dari penelitian ini : 1. Logistic Regression lebih baik dalam melakukan klasifikasi sentimen disbanding Support Vector Machine ( SVM ) dan Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Random Forest. Prediksi menggunakan Logistic Regression menghasilkan ulasan berlabel negatif sebanyak 21.210 ulasan. 2. Pemodelan topik menggunakan Latent Dirichlet Allocation ( LDA ) pada hasil prediksi ulasan bersentimen negatif menghasilkan model dengan 10 topik dengan jumlah iterasi 100. 3. Berdasarkan interpretasi yang telah dilakukan , layanan aplikasi peduLindungi yang perlu ditingkatkan sebagai bahan evaluasi adalah Sertifikat Vaksin , fitur Login , menu riwayat Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi. Berdasarkan pengerjaan penelitian ini , saran yang dapat diberikan adalah penelitian selanjutnya 1. Penelitian ini terbatas pada analisis pada ulasan dengan sentimen negatif karena memiliki tujuan yang spesifik untuk mengetahui kekurangan aplikasi berupa layanan yang perlu ditingkatkan. Penelitian selanjutnya dapat melakukan analisis tidak hanya terhadap ulasan dengan sentimen negatif saja. 2. Pada penelitian ini , hasil normalisasi terdapat kata yang terkait aplikasi terutama terkait aplikasi PeduliLindungi tidak ternormalisasi dengan baik , seperti kata “verifikasi” , “download” , “sertifikat” , “captcha” , dan lain-lain. Oleh karena itu , pada penelitian selanjutnya dapat menerapkan kamus normalisasi yang lebih spesifik untuk data ulasan dari suatu. 3. Pada penelitian ini , dilakukan tuning hyperparameter menggunakan GridSearchCV untuk mendapatkan nilai parameter dapat Penelitian mengguakan sensitivity analysis untuk mendapatkan parameter optimal pada algoritma klasifikasi sentimen. Salah satu metode yang dapat digunakan adalah metode elbow. selanjutnya terbaik.
analisis terhadap ulasan pengguna aplikasi. Penelitian ini bertujuan untuk mengetahui layanan aplikasi PeduliLindungi yang perlu ditingkatkan. Untuk mendapatkan informasi yang diinginkan , analisis sentimen dilakukan untuk mendapatkan ulasan dengan sentimen negatif serta pemodelan topik pada ulasan aplikasi PeduliLindungi dengan sentimen negatif. Analisis sentimen menggunakan teknik Semi Supervised Learning. Algoritma Logistic Regression , klasifikasi terbaik. Hasil evaluasi menunjukkan Logistic Regression memiliki nilai akurasi dan f1-score terbaik. Pemodelan topik menggunakan Latent Dirichlet Allocation dan menghasilkan model topik terbaik dengan jumlah 10 topik. Layanan aplikasi PeduliLindungi yang membutuhkan peningkatan berdasarkan hasil analisis adalah sertifikat vaksin , fitur Login , fitur Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi PeduliLindungi. Kata Kunci— analisis sentimen , pemodelan topik , PeduliLindungi model dengan 10 topik dengan jumlah iterasi 100. 3. Berdasarkan interpretasi yang telah dilakukan , layanan aplikasi peduLindungi yang perlu ditingkatkan sebagai bahan evaluasi adalah Sertifikat Vaksin , fitur Login , menu riwayat Check In , pengisian tanggal lahir , status vaksinasi , dan performa aplikasi. Berdasarkan pengerjaan penelitian ini , saran yang dapat diberikan
O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O B-METODE I-METODE O O O O O O O O B-METODE I-METODE O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O B-METODE I-METODE O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O