 Sentimen Analysis dan Topic Modelling pada Tweet terkait Vaksinasi COVID-19 di Indonesia  
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Sentimen Analysis dan Topic Modelling pada Tweet terkait Vaksinasi COVID-19 di Indonesia Dea Aditya ( 221709609 , 4SD2 ) Dosen Pembimbing : Nori Wilantika , S.S.T. , M.T.I. COVID-19 di terkait vaksinasi Ringkasan— Kumpulan tweet masyarakat terkait vaksinasi COVID-19 di Indonesia dapat menjadi sumber knowledge untuk memberikan gambaran respon dan opini mereka terkait vaksinasi COVID-19 di Indonesia. Mengidentifikasi respon dan opini melalui media sosial Twitter yang penggunaanya masif dari waktu ke waktu tentunya membuat pola tweet semakin beragam , sehingga cukup sulit jika dilakukan dengan manual. Untuk menyelesaikan masalah tersebut , peneliti menggunakan pendekatan dengan text mining. yaitu menerapkan topic modeling dan sentiment analysis. Topic modeling dengan algoritma Latent Dirichlet Allocation digunakan memodelkan opini dari tweet masyrakat Indonesia. Selanjutnya , penggunaan sentiment analysis dengan lexicon based untuk mengukur sentimen / respon tweet masyarakat terkait vaksinasi COVID-19. Hasil sentiment analysis menunjukkan bahwa respon masyarakat selama perode perdana vaksinasi COVID-19 didominasi oleh sentimen netral. Walaupun respon didominasi sentimen netral , jumlah sentimen positif masih lebih banyak dari sentimen negatif. Kemudian , hasil topic modeling menunjukkan walaupun program vaksinasi COVID-19 sudah dilakukan , opini sebagian masyarakat masih ragu dan menolak terhadap vaksinasi COVID-19 karena dipengaruhi beberapa faktor diantaranya masalah keamanan dan status kehalalan dari vaksin yang diberikan. Selain itu , model topik juga menangkap opini terkait kasus penyebaran berita hoax dan penipuan terkait vaksinasi COVID-19. Kata Kunci— topic modeling , sentiment analysis , coherence , knowledge I. LATAR BELAKANG Wabah Coronavirus 2019 ( COVID-19 ) merupakan penyakit menular yang telah menjadi pandemi di seluruh dunia. SARS- CoV-2 yang ditemukan di Wuhan merupakan patogen jenis baru penyebab COVID-19 [ 1 ] . Wabah COVID-19 secara resmi dinyatakan sebagai pandemi oleh Organisasi Kesehatan Dunia WHO pada 11 Maret 2020. Berdasarkan data yang diperoleh dari South Morning China Pozzst , kasus pertama COVID-19 ditemukan di Wuhan pada akhir November 2019 dan setelah itu , kasus ini menyebar dengan cepat tidak hanya di China tetapi juga secara global [ 2 ] Terhitung hingga tanggal 17 Januari 2021 sekitar 95,7 juta kasus orang yang telah terkonfirmasi terpapar COVID-19 di seluruh dunia dan angka kematian mencapai 2 juta kasus , sedangkan untuk Indonesia masuk dalam 20 besar negara dengan jumlah kasus penularan tertinggi dengan jumlah sekitar 907 ribu kasus [ 3 ] . Tingginya angka kejadian COVID-19 tentunya mengguncang seluruh masyarakat di dunia termasuk di Indonesia. Hal tersebut juga membuat Pemerintah Indonesia telah melakukan beberapa kebijakan untuk mengatasi penyebaran wabah COVID-19 di Indonesia , diantaranya adalah dengan memberlakukan Pembatasan Sosial Berskala Besar ( PSBB ) di tiap daerah. Namun , pada saat yang sama justru pemberlakuan kebijakan tersebut memilki dampak yang buruk kepada kehidupan sosial dan kegiatan ekonomi masyarakat. Pelaksanaan social distraction atau work from home menjadi salah satu penyebab krisis ekonomi pada masa pandemi COVID-19 [ 4 ] Jumlah kasus COVID-19 dari waktu-waktu semakin tinggi dan dampak masalah yang ditimbulkanya terhadap sektor ekonomi dan sosial membuat wabah ini harus ditangani dengan segera. Pembuatan vaksin oleh para ilmuwan merupakan salah satu cara dalam pencegahan penyebaran wabah yang semakin meluas [ 5 ] . Oleh karena itu , diharapkan dengan adanya vaksin aktivitas sosial dan ekonomi masyarakat dapat berjalan dengan normal. Pembuatan rencana vaksinasi yang tepat diperlukan untuk membantu bagaimana nantinya vaksin ini dapat digunakan secara terorganisir dan aman. Pemerintah Indonesia melalui Menteri Kesehatan Budi Gunadi Sadikin mempercepatan pelaksanaan vaksinasi dengan melakukan koordinasi dengan beberapa perusahaan penyedia vaksin dan Pemerintah menargetkan akan melakukan vaksinasi dengan 400 juta dosis vaksin dalam dua periode , periode I dimulai dari Januari-April 2021 , sedangkan periode II dimulai dari April 2021 hingga Maret 2022 mendatang [ 6 ] . Indonesia. Opini dan Opini dan respon masyarakat terkait vaksinasi COVID-19 di Indonesia dapat menjadi sumber knowledge yang penting untuk diketahui oleh para pemerintah dalam memberi gambaran tentang situasi dan kondisi yang dialami masyarakat selama proses vaksinasi COVID-19 di Indonesia. Selain itu , opini dan respon tersebut juga dapat dijadikan sumber knowledge untuk memberikan pemahaman tentang penilaian masyarakat terhadap pelaksaanaan vaksinasi COVID-19 di Indonesia yang dapat dijadikan bahan bagi pemerintah untuk mengidentifikasi adanya indikasi masalah ataupun sebagai pertimbangan untuk bahan evaluasi selama pelaksanaan vaksinasi COVID-19 di respon masyarakat terhadap vaksinasi COVID-19 tersebut tentunya berbeda-beda , ada yang mendukung / positf , menolak / negatif ataupun memilih bersikap netral. Saat ini kemajuan teknologi informasi membuat banyak orang menggunakan media sosial sebagai platform popular dalam mengemukakan opini atau pendapat mereka terkait suatu kejadian. Hal ini sesuai dengan yang diungkapkan oleh [ 7 ] , bahwa media sosial diguanakan sebagai platform paling populer untuk mendapatkan informasi tentang dunia dan penggunaanya semakin masif dari ke hari ke hari. Media sosial merupakan platform yang ampuh dalam memberikan akurasi dan kesegeraan real time [ 8 ] . Twitter adalah salah satu media sosial berbasis microblogging populer yang digunakan oleh banyak orang untuk saling mengungkapkan pendapat mereka terhadap topik yang sedang dibahas. Menurut riset yang dilakukan manajemen media sosial HootSuite dan agensi marketing sosial We Are Social , pada Januari 2020 tercatat jumlah pengguna media informasi secara 1 / 10 sosial di Indonesia telah mencapai 160 juta pengguna dan meningkat 12 juta ( 8,1 persen ) antara April 2019 dan Januari 2020 [ 9 ] . Pengumpulan data opini dan respon masyarakat / publik melalui media sosial Twitter merupakan sebuah terobosan baru untuk menggantikan pengumpulan data survey konvesional. Kecilnya biaya dan kecepatan dalam memeperoleh data secara real-time , membuat pengumpulan data opini dan respon melalui media sosial lebih efisien dibandingkan survey konvesional. Opini dan respon masyarakat terkait vaksinasi COVID-19 di Indonesia pada media sosial Twitter dapat menjadi sumber data real time untuk menggambarkan kondisi dan situasi yang dialami masyarakat selama prose vaksinasi COVID-19. Namun , penggunaanya yang masif dari waktu ke waktu membuat pola tweet semakin beragam , sehingga sulit untuk mengidnetifikasi informasi opini dan respon dari tweet tersebut. Maka , penelitian ini mencoba untuk mengidentifikasi informasi dari kumpulan tweet yang banyak , sehingga dapat membantu dalam memberi knowledge bermanfaat terkait kondisi dan situasi selama pelaksanaan vaksinasi COVID-19 di Indonesia. II. TUJUAN PENELITIAN Tujuan dari penelitian ini adalah melakukan analisis sentimen untuk mengukur respon masyarakat terkait vaksinasi COVID-19 di Indonesia. Kemudian , penelitian ini menerapkan metode Latent Dirichlet Allocation untuk meengelompokkan opini masyarakat terkait vaksinasi COVID-19 di Indonesia pada perbincangan di media sosial Twitter. Melalui respon dan opini masyarakat terhadap vaksinasi COVID-19 di Indonesia diharapkan dapat memberi knowledge baru untuk mengetahui kondisi dan situasi selama vaksinasi COVID-19 di Indonesia. Selain itu , dapat dijadikan sebagai bahan penilaian dan evaluasi pemerintah selama proses vaksnasi COVID-19 di Indonesia. III. Penelitian Terkait Beberapa penelitian telah menerapkan topic modelling untuk mengungkap topik dari kumpuan tweet terkait suatu kejadian tertentu. Seperi penelitian yang dilakukan oleh [ 10 ] yang melakukan analisis teks untuk mengetahui persepsi publik terhadap COVID-19 pada media sosial Twitter dengan menerapkan topic modelling dan analisis sentimen. Data tweet yang berhasil dikumpulkan adalah 107.990 tweet dari periode 13 Desember hingga 9 Maret 2020 dengan menggunakan Twitter API. Adapun kata kunci yang digunakan diantaranya adalah " coronavirus " , " covid_19 " , " 2019-nCov " dan " COVID- 19 " . Hasil penelitian ini menunjukkan bahwa dengan analisis sentimen dan emosi menunjukkan bahwa masyarakat cenderung memiliki pandangan negatif terhadap COVID-19. Kemudian , hasil topic modelling terkait pandemi COVID-19 dengan algoritma Latent Dirichlet Allocation dibagi menjadi tiga kategori topik. Topik pertama membicarakan kondisi darurat yang ditimbulkan oleh pandemi COVID-19 , kemudian situasi wabah dan cara topik kedua membicarakan penanggulangannya , dan topik ketiga membicarakan tentang pemberitaan dan pelaporan pada media sosial tentang wabah. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Selain itu , penelitian ini juga menunjukkan bahwa Twitter menjadi media sosial yang sangat berguna sebagai saluran komunikasi publik dalam memahami kesadaran publik terhadap pandemi COVID-19. topik sebelumnya Selanjutnya , beberapa penelitian telah melakukan analisis terhadap opini publik terkait pengadaan vaksin COVID-19 dengan pendekatan text mining. Penelitian pertama adalah peneltian yang dilakukan oleh [ 11 ] tentang monitoring persepsi terhadap vaksin COVID-19 dengan topik model di Amerika Serikat. Penelitian ini menggunakan Latent Dirichlet Allocation untuk memodelkan terkait pandangan publik pada media sosial Twitter terhadap vaksin COVID-19 . Tweet dikumpulkan pada 20 Mei beberapa hari setelah pengumuman dari Presiden Trump terkait " Operasi Warp Speed " . Proses topic modelling dilakukan secara terpisah , yaitu memodelkan topik untuk tweet terkait anti- vaksin dan pro-vaksin. Tweet terkait anti-vaksin diperoleh melalui pencarian berdasarkan hashtag yang berkaitan dengan penolakan dan # vaccinesaregenocide , sedangkan tweet terkait pro-vaksin diperoleh melalui pencarian berdaasarkan hashtag yang berhubungan dengan dukungan seperti # Vaccine4results dan # vaccineswork. Hasil penelitian ini menunjukkan bahwa LDA berhasil mengekstrak topik dari masing-masing kategori. Tweet terkait anti-vaksin terdiri atas 4 topik perbincangan , yaitu keamanan , konspirasi , ideologi , dan hilangnya kebebasan individu , sedangkan tweet terkait pro- vaksin terdiri atas 3 perbincangan. # novaccinemandate atas vaksin , vaksin , seperti Selanjutnya adalah penelitian yang dilakukan oleh [ 12 ] tentang analisis sentimen pro dan kontra masyarakat Indonesia tentang vaksin COVID-19 pada media sosial Twitter. Penelitian ini menggunakan Analisis sentimen dan topic modelling Latent Dirichlet Allocation untuk mengetahui opini dan reaksi publik terkati rencana pengadaan vaksin COVID-19. Di Indonesia. Data yang dianalisis adalah tweet sebelum diberlakukanya proses vaksinasi COVID-19 di Indonesia dengan total tweet yang terkumpul adalah 5583 tweet. Hasil penelitian ini menunjukkan bahwa sentimen positif lebih dominan dibandingkan sentimen negatif dan model Latent Dirichlet Allocation berhasil mengungkap pandangan masyarakat terkait vaksin COVID-19 di Indonesia , diantaranya vaksin merah putih , sertifikasi halal vaksin , uji layak pakai vaksin , harga vaksin , sampai pembicaraan umum masyarakat seperti fungsi & objek vaksinasi. Berdasarkan penelitian yang dilakukan sebelumnya , masih respon sedikit penelitian yang menungkap opini dan masyarakat setelah diberlakukanya vaksinasi perdana COVID- 19 di Indonesia. Adanya kemungkinan perbedaan opini dan respon masyarakat sebelum dan setelah diberlakukannya vaksinasi perdana COVID-19 di Indonesia berpotensi dapat menghasilkan knowledge baru untuk mengetahui kondisi dan situasi selama vaksinasi COVID-19 di Indonesia. Selain itu , dapat dijadikan sebagai bahan penilaian dan evaluasi pemerintah selama proses vaksnasi COVID-19 di Indonesia. 2 / 10 IV. METODE PENELITIAN Gambaran umum rencana penelitian yang akan dilakukan disajikan pada gambar 1. Gambar 1. Metodologi Penelitian Tahap awal yang dilakukan adalah dengan melakukan pengumpulan data dengan crawling data tweet. Metode pengumpulan data memanfaatkan package twint pada python. Data tweet pada penelitian ini diperoleh berdasarkan kata kunci ‘Vaksin Covid-19’ khusus berbahasa Indonesia. Pengumpulan data dilakukan per minggu sejak periode awal vaksinasi COVID-19 di Indonesia dari 13 Januari 2021 hingga 30 April 2021. Data yang berhasil dikumpulkan selanjutnya dilakukan filtering bahasa ( hanya tweet berbahasa Indonesia yang dipilih ) . Proses filtering bahasa dilakukan dengan menggunakan library langdetect. Kemudian akan dilakukan validasi kembali terhadap tweet yang terklasifikasi sebagai bahasa asing secara manual. Hal tersebut dilakukan untuk memastikan bahwa tweet yang sebagai bahasa asing benar-benar didominasi oleh kata asing atau justru masih didominasi kata Indonesia. Ketika hasil pengecekan menunjukkan manual bahwa tweet yang terklasifikasi sebagai bahasa asing tersebut masih didominasi oleh kata-kata asing , maka tweet tersebut dibuang , begitupun sebaliknya. terklasifikasi Kemudian tahap selanjutnya adalah membuang tweet yang bukan berasal dari akun individu / masyarakat. Fokus penelitian ini hanya menganalisis opini dari akun individu / masyarakat , sehingga pada tahap ini semua tweet yang bukan berasal dari akun individu akan dibuang. Filtering akun non-individu dilakukan dengan membuat kamus untuk mendaftarkan akun kedalam beberapa kategori , diantaranya adalah akun media , akun pemerintah , dan swadaya masyarakat , kemudian dilakukan labelling dengan potongan program yang dibuat melalui bahasa pemrograman python. Setelah proses pengkategorian akun selesai , maka akun yang masuk dalam kategori media , pemerintah , dan swadaya masyarakat akan dibuang. Kemudian , dilakukan pengecekan manual untuk memastikan lagi akun non-individu yang tidak tercakup dalam Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik kamus. Pada tahap ini , nama akun yang mengandung kata berhubungan dengan akun media , pemerintah , dan swadaya masyarakat akan dibuang. Beberapa contoh kata tersebut diataranya adalah ‘kabar’ , ‘info’ , ‘tv’ , ‘com’ , ‘_id’ , ‘news’ , ‘berita’ , ‘koran’ , ‘radio’ , ‘media’ , ‘terkini , ‘update’ , ‘cerita’ , ‘24jam’ , ‘redaksi’ , ‘times’ , ‘headline’ , ‘_net’. Selain itu seluruh tweet repost dari akun non-individu juga dibuang. Setelah data tweet yang bukan berasal dari akun individu / masyarakat berhasil dibuang , maka tahap selanjutnya adalah melakukan persiapan data atau preprocessing data. Tahap pertama adalah cleaning data tweet yang bertujuan untuk membersihkan data yang tidak diperlukan dalam analisis dan membuat data lebih terstruktur , sehingga data siap digunakan dalam proses analisis selanjutnya. Ada beberapa tahap yang dilakukan pada proses ini , yaitu case foding , menghilangkan link url , menghilangkan hashtag , menghialngkan beberapa karakter ( mention , emoji , angka , dan spasi ganda ) , dan menghilangkan punctuation ( tanda baca ) . Setelah dilakukan cleaning data tweet , tahap selanjutnya adalah melakukan transformasi data tweet. Pada tahap ini , proses yang dilakukan pertama kali adalah tokenizing , yaitu proses yang dilakukan untuk memecah data tweet kedalam bentuk token kata. Selanjutnya , hasil dari proses tokenizing ini akan digunakan pada proses normalisasi , penghapusan stopword , dan stemming. Proses normalisasi digunakan untuk mengubah bentuk kata kedalam bentuk baku dan kamus yang digunakan adalah kamus yang dibuat oleh Salsabila , 2018 [ 13 ] . Kemudian tahap penghapusan stopword digunakan untuk menghapus kata-kata yang tidak memiliki makna berarti. Adapun kamus stopword bahasa Indonesia yang digunakan adalah berasal dari library NLTK. Setelah dilakukan proses stopword , tahap akhir dari proses transformasi data tweet ini adalah proses stemming atau proses mengubah kata kedalam bentuk kata dasar. Proses stemming memanfaatkan kamus yang berasal dari library Sastrawi. [ 14 ] . Setelah semua data tweet berhasil dilakukan preprocessing , maka selanjutnya adalah menghapus bentuk duplikasi data tweet dan data tweet yang memiliki tingkat kemiripan 100 % dihapus. terkait vaksinasi COVID-19 yang Data yang telah berhasil melalui tahap preprocessing akan digunakan dalam proses analisis sentimen dan topic modelling. respon Analisis sentimen digunakan untuk mengukur telah masyarakat dilaksanakan di Indonesia pada perioede 13 Januari 2021 - 30 April 2021. Metode yang digunakan pada analisis sentimen adalah dengan pendekatan berbasis leksikon. Analisis sentimen berbasis leksikon menafaatkan kamus dari kata yang memiliki nilai skor polaritas tertentu [ 15 ] . Setelah hasil sentimen dari tweet diperoleh , maka selanjutnya adalah mengidentifikasi topik dari tiap kelas sentimen , yaitu kelas negatif , netral , dan positif. Hal ini dilakukan untuk melihat opini apa saja yang dibahas dari tiap kelas senitmen. Pembuatan model dilakukan dengan bantuan wrapper dari library Gensim , yaitu LDA Mallet. Secara sederhana , Mallet atau disebut sebagai Machine Learning for Language Toolkit merupakan paket berbasis Java untuk pemrosesan bahasa alami yang dirilis oleh UMASS Amherst. Pekerjaan yang dapat dilakukan oleh Mallet diantaranya adalah 3 / 10 klasifikasi dokumen , pemodelan topik , ekstraksi informasi , dan aplikasi pembelajaran mesin lainnya pada teks [ 16 ] . Metode evaluasi dengan coherence score dipilih untuk pemilihan model terbaik dari jumlah topik yang dibentuk. Coherence score digunakan untuk mengukur tingkat kecocokan tiap kata-kata pada suatu topik yang terbentuk berdasarkan analisis semantik antara kata-kata yang terdapat pada dokumen [ 17 ] . Model yang baik akan menghasilkan topik dengan coherence score yang tinggi. terbaik , Setelah diperoleh topik model yang tahap selanjutnya adalah melakukan interpretasi pada topik. Beberapa pekerjaan yang dilakukan pada tahap ini adalah menganalisis tema topik dari tiap kelas sentimen dan melakukan visualisasi untuk mengetahui lebih jelas sebaran topik yang telah diperoleh. Pembuatan visualisasi sebaran topik dilakukan dengan bantuan library PyLDAvis , selain itu PyLDAvis juga dapat menampilkan kumpulan kata kunci tiap topik yang membantu dalam menafsirkan topik. V. KERANGKA PIKIR Kerangka pikir penelitian ini disajikan pada Gambar 2 sebagai berikut : Gambar 2. Kerangka Pikir Berdasarkan gambar 2 , dijelaskan bahwa opini dan respon masyarakat merupakan terkait vaksinasi COVID-19 di Indonesia dapat menjadi sumber knowledge yang penting untuk diketahui oleh para pemerintah dalam memberi gambaran tentang situasi dan kondisi yang dialami masyarakat selama proses vaksinasi COVID-19 di Indonesia. Selain itu , opini dan respon tersebut juga dapat dijadikan sumber knowledge untuk memberikan pemahaman tentang penilaian masyarakat terhadap pelaksaanaan vaksinasi COVID-19 di Indonesia yang dapat dijadikan bahan bagi pemerintah untuk mengidentifikasi adanya indikasi masalah ataupun sebagai pertimbangan untuk bahan evaluasi selama pelaksanaan vaksinasi COVID-19 di Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Indonesia. Saat ini kemajuan teknologi informasi membuat banyak orang menggunakan media sosial sebagai platform populer dalam mengemukakan opini dan respon pendapat mereka terkait suatu kejadian. Twitter adalah salah satu media sosial berbasis microblogging populer yang digunakan oleh banyak orang untuk saling mengungkapkan opini dan respon mereka terhadap topik yang sedang dibahas. Opini dan respon masyarakat terkait vaksinasi COVID-19 di Indonesia pada media sosial Twitter dapat menjadi sumber data real time untuk menggambarkan kondisi dan situasi yang dialami masyarakat selama prose vaksinasi COVID-19. Namun , mengidentifikasi opini dan respon melalui media sosial Twitter yang penggunaanya masif dari waktu ke waktu tentunya membuat pola tweet semakin beragam , sehingga cukup sulit jika dilakukan dengan manual. Untuk menyelesaikan masalah tersebut , peneliti menggunakan pendekatan analisis dengan text mining , yaitu menerapkan topic modelling dan anaisis sentimen. Topic modelling dengan algoritma Latent Dirichlet Allocation digunakan memodelkan opini dari tweet masyrakat terkait vaksinasi COVID-19 di Indonesia. Selanjutnya , penggunaan analisis sentimen dengan lexicon based untuk mengukur sentimen / respon COVID-19 di Indonesia . tweet masyarakat terkait vaksinasi VI. HASIL DAN PEMBAHASAN 4.1. Pengumpulan Data Pembagian tiga waktu periode pengumpulan data dilakukan untuk melihat pola data tweet tiap bulannya Jumlah tweet yang berhasil terkumpul disajikan pada Tabel 1. JUMLAH TWEET HASIL CRAWLING TABEL I No 1 2 3 Periode 13 Jan – 12 Feb 2021 13 Feb– 14 Mar 2021 15 Mar – 30 Apr 2021 Total Jumlah 45284 30784 28546 104.614 Hasil pada Tabel 1 diatas bahwa jumlah data tweet tiap periodenya mengalami penurunan , dimana jumlah data pada periode pertama ke periode kedua terjadi penurunan sebesar 0,030 % , sedangkan periode kedua ke periode ketiga terjadi penurunan sebesar 0,07 % . 4.2. Filtering Bahasa Jumlah tweet dari tiap minggu setelah dilakukan filtering bahasa disajikan pada Tabel 2. TABEL II JUMLAH TWEET HASIL FILTERING BAHASA No 1 2 3 Periode Jumlah Setelah Dilakukan Filtering Bahasa 13 Jan – 12 Feb 2021 13 Feb – 14 Mar 2021 15 Mar2021 – 30 Apr 2021 45050 ( -0,005 % ) 30284 ( -0,016 % ) 28246 ( -0,010 % ) 4 / 10 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Hasil pada Tabel 4 diatas menunjukkan total tweet akhir yang digunakan dalam proses pembuatan analisis topic modelling dan analisis sentimen adalah 37992 tweet atau berkurang sekitar 63 % dari tweet awal pengumpulan data. 4.5 Analisis Sentimen Hasil analisis sentimen dari tiap periode pengumpulan data disajikan pada Gambar 3 berikut. Proporsi sentimen setiap periode 0.6 0.5 0.4 0.3 0.2 0.1 0 negatif positif netral 13Jan-12Feb 13Feb-14Mar 15Mar-30Apr Gambar 3. Hasil Sentimen Setiap Periode Berdasarkan hasil analisis sentimen yang telah dilakukan , dapat disimpulkan bahwa respon masyarakat selama perode perdana vaksinasi COVID-19 didominasi oleh sentimen netral. Walaupun respon didominasi sentimen netral , jumlah sentimen positif masih lebih banyak dari sentimen negatif. diperoleh bahwa proprosi sentimen setiap bulannya naik turun. Pola proporsi pada sentimen negatif memiliki pola naik turun dan proporsinya cenderung lebih kecil dibandingkan sentimen lain tiap bulannya. Kemudian , proporsi sentimen positif cenderung memilki pola yang menurun tiap bulannya. Sedangkan , proporsi sentimen netral cenderung mengalami kenaikan tiap bulannya. Secara keseluruhan , proporsi sentimen netral masih cenderung lebih tinggi dibandingkan proporsi sentimen negatif dan positif.. Hasil penelitian ini menunjukkan bahwa pola sentimen masyarakat setelah vaksinasi perdana COVID-19 cenderung memiliki pola yang sama dengan hasil penelitian [ 12 ] yang melakukan analisis pada periode sebelum vaksinasi COVID-19. Hasil Tabel 2 diatas menunjukan bahwa tidak tejadi penurunan tweet yang cukup signifikan setelah dilakukan filtering bahasa setiap periode waktu pengumpulan data. Dapat disimpulkan bahwa , hasil crawling data Twiter masih terdapat beberapa tweet yang berbahasa asing walaupun jumlahnya tidak signifikan. Periode 13 Feb – 14 Mar 2021 merupakan periode yang memiiki tingkat pengurangan tweet tertinggi yaitu sebesar 0,016 % . 4.3. Filtering Akun Jumlah tweet setelah dilakukan filtering akun disajikan pada Tabel 3. TABEL III JUMLAH TWEET HASIL FILTERING AKUN No Periode 1 2 3 13 Jan – 12 Feb 2021 13 Feb– 14 Mar 2021 15 Mar – 30 Apr 2021 Jumlah Setelah Dilakukan Filtering Akun 23626 ( -0,47 % ) 14937 ( -0,51 % ) 14611 ( -0,48 % ) Hasil pada Tabel III diatas menunjukan bahwa terjadi penurunan tweet yang signifikan ( hampir setengah dari tweet sebelumnya ) setelah dilakukan filtering akun setiap periodenya. Dapat disimpulkan bahwa , dari hasil crawling data Twiter separuh tweet berasal dari akun media ataupun akun pemerintah. Periode 13 Feb – 14 Mar 2021 merupakan periode yang memiiki tingkat pengurangan tertinggi yaitu sebesar 0,51 % . 4.4. Preprocessing data Hasil preprocessing data tweet disajikan pada tabel IV berikut. TABEL IV CONTOH HASIL PREPROCESSING DATA TWEET No Proses Sebelum Sesudah 1 Preprocessi ng data ayo vaksin takut vaksin indonesia bebas pandemi covid =â˜†= Ayoo vaksin dan jangan takut , Vaksin untuk Indonesia Bebas dari Pandemi Covid- 19 # NewNormal # GugusTugasCovid 19 # CoronaVirus # BersatuLawanCovi d19 # Vaksin # stophoaxviruscoro na https : / / t.co / 5JQnBJS F9A 2 Hapus Duplikasi data 104.614 37992 ( -63 % ) 5 / 10 Pola Proporsi Sentimen Tiap Harinya Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik coherence score maka topik yang dihasilkan semakin optimal. Adapun limit topik yang digunakan adalah 5-11 , 5-21 , dan 5-31. n a J - 3 1 n a J - 5 1 n a J - 7 1 n a J - 9 1 n a J - 1 2 n a J - 3 2 sentimen positif sentimen negatif b b b b b b b r n n n r r r r r r r r r r r r r r r r r r r a a a a a a a a a a a a a a a p p p p p a a a e e e e e e e M M M M M M M M M M M M M M M A A A A A J J J F F F F F F F - - - sentimen netral - - - - - - - - - - - - 5 7 9 - - - - - - - - - - - - - - - 1 3 5 7 9 4 0 2 4 6 8 8 0 8 0 6 4 2 8 6 4 2 0 8 6 4 2 2 2 2 0 0 0 1 1 2 1 1 1 2 2 0 2 3 2 2 2 2 1 1 1 1 1 0 0 0 0 b e F - 2 2 b e F - 2 0 b e F - 6 1 b e F - 8 1 b e F - 6 0 b e F - 4 0 b e F - 0 2 r p A - 1 1 r p A - 3 1 r p A - 9 0 r p A - 5 1 r p A - 7 0 n a J - 1 3 r p A - 1 2 r p A - 3 2 r p A - 5 2 r p A - 7 2 r p A - 9 2 1.2 1 0.8 0.6 0.4 0.2 0 Gambar 4. Pola Pergerakan Sentimen tiap Minggu Kemudian Gambar 4 diatas menunjukkan , bahwa pola pergerakan sentimen dari 13 Januari 2021 – 30 April 2021 cukup fluktuatif. Secara umum , pola proprosi sentimen negatif cenderung dibawah dengan proporsi sentimen netral dan positif. Kemudian , secara umum pola proporsi sentimen netral dan positif cenderung sama , namun pada periode 15 Maret-26 Maret terjadi lonjakan proporsi pada sentimen netral dan penurunan proporsi sentimen positif yang cukup signifikan , sehingga menyebabkan adanya perbedaan pola proporsi netral dan positif selama periode tersebut. Jika dilihat per harinya , pola proporsi sentimen negatif cenderung lebih stabil dibandingkan dengan sentimen positif dan netral atau dapat diartikan bahwa sentimen negatif tidak mengalami kenaikan atau penurunan respon yang signifikan setiap harinya. Rata-rata perubahan proporsi sentimen negatif setiap harinya sekitar 0,04 % , lebih rendah dari rata-rata pada proporsi netral dan positif. Tingginya tingkat respon netral dari tweet masyarakat menunjukkan bahwa respon dari tweet masyarakat diperoleh bukan hanya dari mereka yang menyatakan apakah pro atau kontra terhadap wacana vaksinasi tersebut , melainkan juga banyak respon masyarakat lainnya sepeti pengetahuan , harapan , atau pendapat umum mereka [ 12 ] . 4.6 Analisis Topic Modelling Pembuatan analisis topic modelling digunakan untuk mengelompokkan opini masyarakat berdasarkan respon mereka terhadap vaksinasi COVID-19 di Indonesia. Terdapat 3 kelas respon masyarakat yang akan dijadikan bahan analisis pada topic modelling ini , yaitu kelas sentimen positif , netral , dan negatif. Pendekatan yang dilakukan untuk menentukan jumlah topik optimal adalah dengan pembuatan limit topik. Dari limit topik tersebut akan dilihat jumlah topik yang tertinggi , semakin tinggi menghasilkan coherence score Gambar 5. Pola Coherence Score Limit Topik 5-31 Kelas Sentimen Negatif Setelah dilakukan evaluasi dengan beberapa limit topik , diperoleh bahwa bahwa jumlah topik yang memiliki nilai coherence score tertinggi adalah jumlah topik pada limit topik 5-31 , yaitu 13 topik dengan coherenece score sebesar 0,529561. Maka , jumlah topik optimal pada kelas sentimen negatif adalah berjumlah 13 topik. Gambar 6. Sebaran Topik Kelas Sentimen Negatif . Kemudian jika dilihat dari Gambar 6 diatas , sebagian besar topik telah menyebar di seluruh kuadran ( tidak memusat di satu kuadran ) , selain itu tidak ada topik yang beririsan penuh. 6 / 10 Berdasarkan hasil tersebut , dapat disimpulkan model dengan 13 topik sudah cukup baik. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Gambar 7. Pola Coherence Score Limit Topik 5-21 Gambar 9. Pola Coherence Score Limit Topik 5-31 Kelas Sentimen Netral Kelas Sentimen Positif Setelah dilakukan evaluasi dengan beberapa limit topik , diperoleh bahwa bahwa jumlah topik yang memiliki nilai coherence score tertinggi adalah jumlah topik pada limit topik 5-21 , yaitu 15 topik dengan coherenece score sebesar 0,485603. Maka , jumlah topik optimal pada respon kelas positif adalah berjumlah 15 topik. jumlah topik 24 Setelah dilakukan evaluasi dengan beberapa limit topik , diperoleh bahwa bahwa jumlah topik yang memiliki nilai coherence score tertinggi adalah jumlah topik pada limit topik 5-31 , yaitu 24 topik dengan coherenece score sebesar 0,475895. Namun , terlalu banyak dan dapat menyebabkan banyak topik yang saling beririsan atau tumpang tindih. Menurut [ 18 ] memiliki terlalu banyak topik akan menghasilkan model topik dengan lingkaran yang lebih kecil lebih banyak tumpang tindih , dan mengelompok menjadi satu kuadran. Maka , untuk menghindari hal tersebut alternatif yang dipilih adalah dengan memilih jumlah topik 13 dengan coherence score sebesar 0,44301. Gambar 8. Sebaran Topik Kelas Sentimen Positif Kemudian jika dilihat dari Gambar 8 , sebagian besar topik telah menyebar di seluruh kuadran ( tidak memusat di satu kuadran ) , walaupun masih terdappat beberap topik yang beririsan , namun tidak ada topik yang beririsan penuh atau tumpang tindih. Berdasarkan hasil tersebut , dapat disimpulkan model dengan 15 topik sudah cukup baik Gambar 10. Sebaran Topik Kelas Sentimen Netral Kemudian jika dilihat dari Gambar 10 diatas , sebagian besar topik telah menyebar di seluruh kuadran ( tidak memusat di satu 7 / 10 kuadran ) , namun masih terdapat 2 topik yang saling beririsan penuh / tumpang tindih. Berdasarkan hasil tersebut , dapat disimpulkan model dengan 13 topik sudah cukup baik. 4.6 Interpretasi Topik Setelah model topik optimal telah ditentukan , kemudian selanjutnya yang dilakukan adalah melakukan tahap interpretasi terhadap topik. Interpretasi topik dilakukan untuk menafsirkan tema dari tiap topik , sehingga dapat memberi gambaran opini dari masyarakat terkait vaksinasi COVID-19 di Indonesia. Kumpulan kata kunci tiap topik digunakan untuk membantu dalam menafsirkan tema dari topik. Jumlah topik dan kata kunci disajikan pada Tabel 5 , Tabel 6 , dan Tabel 7. Tabel V. Kata Kunci dari Topik Kelas Sentimen Negatif Topik 0 1 2 3 4 5 6 7 8 9 10 11 12 Kata Kunci suntik , takut , masyarakat , masyarakat_takut , takut_jarum mati , akibat , risiko , angka , papar puskesmas , laksana , tahap , efek_samping , kota terima_suntik , suntik , program_imunisasi , daftar , malaysia , orang , negara , kasih , dokter , lihat_suasana tipu , modus , berpurapura_nakes , waspada kena , rakyat , tolak , percaya , kesan , bayar , sakit , virus , tubuh , corona , kebal vaksinasi , takut , aman , ragu , halal pandemi , salah , Indonesia lansia , hasil , pakai , prioritas , rentan sebar , palsu , berita , hoax , masyarakat lawan , negara , juta , dosis , bahan , sinovac , bio_farma , Tema Efek jarum suntik Resiko kematian Efek vaksin Program Malaysia samping vaksin terkait vaksin kekebalan Keprihatinan pada tenaga medis Penipuan vaksin Penolakan vaksin oleh rakyat Dampak pada tubuh Keraguan keamanan vaksin Negara melawan pandemi Pemberian vaksin pada lansia Berita hoax terkait vaksin Produksi sinovac biofarma vaksin dan Berdasarkan hasil kata kunci tiap topik pada Tabel 5 diatas , dapat simpulkan terdapat 3 tema besar dari sentimen kelas negatif. Tema pertama membahas permasalahan masyarakat yang takut untuk melakukan vaksinasi karena beberapa faktor diantaranya terkait keamanan jarum suntik , kasus kematian akibat vaksinasi dan status kehalalan vaksin yang masih diragukan. Tema kedua membahas tentang beredarnya berita hoax dan penipuan terkait vaksinasi COVID-19. Tema ketiga Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik membahas keraguan dan penolakan masyarakat akan program vaksinasi COVID-19 karena beberapa alasan , diantaranya adalah keraguan masyarakat atas vaksin yang dapat membuat tubuh kebal dari virus , dan adanya penolakan pada vaksinasi usia lanjut. Tabel VI. Kata Kunci dari Topik Kelas Sentimen Positif Topik 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Kata Kunci positif , daerah , pagi , info , edar sinovac , uji , efektif , hasil , klinis virus , kebal , prokes corona , tubuh , aman , halal , vaksinasi , indonesia , sehat orang , herd_immunity , percaya mudah , program_vaksin , rantai cepat , efek , putus , jalan , lindung , masyarakat , bpom , lansia , selamat suntik , presiden , orang , terima , perdana jaga , protokol , sehat , patuh , cegah laksana , aman , distribusi , puskesmas , dinas_ tenaga , terima , suntik , malaysia , rakyat , negara sehat , moga , nakes , alhamdulillah indonesia , bebas , pandemi , vaksinasi , harap dosis , juta , indonesia , lawan_pandemi , vaksinasi , sukses , dukung , gratis program , lawan , Tema Informasi terkait vaksin Uji klinis sinovac dan izin untuk Prokes menghindari penularan virus Keamanan kehalaln vaksin vaksin Pemberian dalam mendukung herd imunity Vaksin sebagai cara rantai memutus wabah Pemberian vaksin pada lansia Penyuntikkan perdana presiden Pematuhan protokol kesehatan Distribusi pengawasan vaksinasi Penyuntikan vaksin di malaysia Dukungan tenaga kesehatan Harapan pandemi Jumlah dosis vaksin bebas pada pada dan Program gratis vaksin Berdasarkan hasil kata kunci tiap topik pada Tabel 6 diatas , dapat simpulkan terdapat 6 tema besar dari topik sentimen kelas positif. Tema pertama membahas tentang efek pemberian vaksin terrhadap pembentukan herd imunity dan status kehaalan vaksin. Tema kedua membahas tentang proses penyuntikkan vaksin perdana Presiden Jokowidodo. Tema ketiga membahas tentang menjaga kepatuhan pada protokol kesehatan di tengah proses vaksinasi. Tema keempat membahas tentang izin pemberian vaksinasi COVID-19 pada lansia. Tema kelima membahas tentang berbagai dukungan 8 / 10 terhadap lancarnya program vaksinasi , termasuk dukungan pada tenaga kesehatan , masyarakat yakin vaksinasi COVID-19 dapat dengan cepat membantu melawan pandemi dan memulihkan kondisi ekonomi yang terdampak akibat pandemi. Selain itu , masyarakat juga mendukung pemberian vaksin gratis. Tabel VII. Kata Kunci dari Topik Kelas Sentimen Netral Kata Kunci indonesia , puasa , negara , astrazeneca , efek_samping , orang , jenis juta , dosis , bio_farma , indonesia , daerah sinovac , lansia , bpom , izin , merah_putih vaksinasi , batal_puasa , masyarakat terima_suntik , menteri_kesihatan , panglima_tni , selesai uji_klinis , terima_warga , tolak , terima , tahap pandemi , indonesia , percaya suntik , presiden , terima , rabu , januari program , daftar , gerak_daftar , putus_rantai , perintah virus , tubuh , kebal , corona , sakit daftar , malaysia , rakyat , aplikasi , mysejahtera vaksinasi , tahap , program_vaksinasi , sehat , tenaga_sehat laksana , proses , jawa_timur , maret , jawa lawan_pandemi , masyarakat , Topik 0 1 2 3 4 5 6 7 8 9 10 11 12 Berdasarkan hasil kata kunci tiap topik pada Tabel 7 diatas , dapat simpulkan terdapat 5 tema besar dari topik kelas sentimen netral. Tema pertama membahas tentang pemahaman dan pengetahuan masyarakat terkait hasil uji klinis dan efek samping vaksin astrazeneca. Tema kedua membahas tentang tentang pemberian izin penyuntikkan vaksin sinovac dan merah putih oleh BPOM pada lansia. Tema ketiga membahas tentang pemberian vaksin kepada menteri kesehatan serta tni dan polri. Tema keempat membahas tentang hukum pemberian vaksinasi saat melaksanakan ibadah puasa , beberapa menanggapi bahwa pemberian vaksinasi dapat membatalkan ibadah puasa. Tema kelima membahas tentnag proses pendaftaran dan pengawalan pelaksanaan vaksinasi COVID-19 selama bulan maret di daerah Jawa Timur. VII. PENUTUP Dari tahapan penelitian yang telah dilakukan , berikut hasil yang dapat disimpulkan pada penelitian ini : 1. Metode sentiment analysis dengan TextBlob dan topic modeling dengan LDA merupakan metode yang dapat membantu dalam mengidentifikasi respon dan respon masyarakat terkait vaksinasi COVID-19 pada media sosial Twitter. 2. Berdasarkan hasil analisis sentimen yang dilakukan , dapat disimpulkan bahwa telah respon Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik masyarakat selama perode perdana vaksinasi COVID- 19 didominasi oleh sentimen netral. Tingginya tingkat respon netral dari tweet masyarakat menunjukkan bahwa respon dari tweet masyarakat diperoleh bukan hanya dari mereka yang menyatakan apakah pro atau kontra terhadap wacana vaksinasi tersebut , melainkan juga banyak respon masyarakat lainnya sepeti pengetahuan , harapan , atau pendapat umum mereka [ 12 ] . Walaupun respon didominasi sentimen netral , jumlah sentimen positif masih lebih banyak dari sentimen negatif. Jika dilihat per harinya , pola proporsi sentimen negatif cenderung lebih stabil dibandingkan dengan sentimen positif dan netral atau tidak dapat diartikan bahwa sentimen negatif mengalami kenaikan atau penurunan respon yang signifikan setiap harinya. Rata-rata perubahan proporsi sentimen negatif setiap harinya sekitar 0,04 % , lebih rendah dari rata-rata pada proporsi netral dan positif. 3. Hasil penelitian ini menunjukkan bahwa pola sentimen masyarakat setelah vaksinasi perdana COVID-19 cenderung memiliki pola yang sama dengan hasil penelitian [ 12 ] yang melakukan analisis pada periode sebelum vaksinasi COVID-19. 4. Hasil topic modeling menunjukkan , opini yang disampaikan masyarakat sebagian besar membahas tentang penilaian dan pengetahuan mereka terhadap vaksinasi COVID-19 di Indonesia. Penilaian masyarakat cenderung mengarah pada persoalan kemanan dan status kehalalan vaksin COVID-19 , serta terkait pemberian vaksin COVID-19 pada lansia. Adanya pembahasan kedua topik tersebut pada dua kelas sentimen positif dan negatif menunjukkan bahwa , persoalan tersebut masih pro-kontra di masyarakat. Selain itu , sebagian masyrakat masih ragu dan menolak terhadap vaksinasi COVID-19. Kemudian , maraknya berita hoax dan kasus penipuan terkait vaksinasi COVID-19 dapat menimbulkan masalah di masyarakat , sehingga dapat menghambat jalanya proses vaksinasi COVID-19 di Indonesia.. Penelitian selanjutnya diharapkan dapat mencari metode analisis sentimen dan evaluasi topik yang lebih baik , sehingga dapat meningkatkan hasil analisis. Kemudian , proses analisis dapat dilakukan lebih mendalam , seperti dengan menganalisis tweet berdasarkan lokasi dan mengidentifikasi akun atau tokoh yang paling berpengaruh dan banyak dibicarakan dari suatu topik. 9 / 10 [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] DAFTAR PUSTAKA A. E. Gorbalenya et al. , “Severe acute respiratory syndrome-related coronavirus : The species and its viruses – a statement of the Coronavirus Study Group , ” bioRxiv , 2020 , doi : 10.1101 / 2020.02.07.937862. M. Novina , “Pasien Pertama COVID-19 Ditemukan , Bantu Lacak Sumber Virus Corona.” https : / / www.kompas.com / sains / read / 2020 / 03 / 18 / 140300223 / pasien- pertama-COVID-19-ditemukan-bantu-lacak-sumber-virus-corona ( accessed Jan. 17 , 2021 ) . Worldmeter , “COVID-19 Coronavirus Pandemi , ” 2021. https : / / www.worldometers.info / coronavirus / ( accessed Jan. 17 , 2021 ) . N. K. Muliati , “Pengaruh Perekonomian Indonesia di Berbagai Sektor Akibat Corona Virus Disease 2019 ( Covid-19 ) , ” Widya Akunt. dan Keuang. , vol. 2 , no. 2 , pp. 78–86 , 2020 , doi : 10.32795 / widyaakuntansi.v2i2.874. C. Liu et al. , “Research and Development on Therapeutic Agents and Vaccines for COVID-19 and Related Human Coronavirus Diseases , ” ACS Cent. Sci. , vol. 6 , no. 3 , pp. 315–331 , 2020 , doi : 10.1021 / acscentsci.0c00272. Kemenkes , “Dimulai Januari , Berikut Jumlah Sasaran Vaksinasi COVID-19 di Indonesia , ” 2020. https : / / www.kemkes.go.id / article / view / 20122900009 / dimulai- januari-berikut-jumlah-sasaran-vaksinasi-covid-19-di- indonesia.html ( accessed Jan. 17 , 2021 ) . Shalvee and S. Sambhav , “Role of mass media and communication during pandemic , ” Int. J. Creat. Res. Thoughts , vol. 8 , no. 5 , pp. 3786–1790 , 2020. L. Palen and S. Vieweg , “The emergence of online widescale interaction in unexpected events : Assistance , alliance & retreat , ” Proc. ACM Conf. Comput. Support. Coop. Work. CSCW , pp. 117– 126 , 2008 , doi : 10.1145 / 1460563.1460583. B. Ludwianto , “Riset : 64 % Penduduk Indonesia Sudah Pakai Internet , ” 2020. https : / / kumparan.com / kumparantech / riset-64- penduduk-indonesia-sudah-pakai-internet-1ssUCDbKILp / full ( accessed Jan. 17 , 2021 ) . S. Boon-Itt , “A text-mining analysis of public perceptions and topic modeling during the COVID-19 pandemic using Twitter data. , ” JMIR public Heal. Surveill. , 2020 , doi : 10.2196 / 21978. E. D’Andrea , P. Ducange , A. Bechini , A. Renda , and F. Marcelloni , “Monitoring the public opinion about the vaccination topic from tweets analysis , ” Expert Syst. Appl. , vol. 116 , pp. 209–226 , 2019 , doi : 10.1016 / j.eswa.2018.09.009. F. F. Rachman and S. Pramana , “Analisis Sentimen Pro dan Kontra Masyarakat Indonesia tentang Vaksin COVID-19 pada Media Sosial Twitter , ” Heal. Inf. Manag. J. ISSN , vol. 8 , no. 2 , pp. 2655– 9129 , 2020 , [ Online ] . Available : https : / / inohim.esaunggul.ac.id / index.php / INO / article / view / 223. N. Aliyah Salsabila , Y. Ardhito Winatmoko , A. Akbar Septiandri , and A. Jamal , “Colloquial Indonesian Lexicon , ” Proc. 2018 Int. Conf. Asian Lang. Process. IALP 2018 , pp. 226–229 , 2019 , doi : 10.1109 / IALP.2018.8629151. A. Librian , “High quality stemmer library for Indonesian Language ( Bahasa ) , ” GitHub , 2017. https : / / github.com / sastrawi ( accessed Mar. 25 , 2021 ) . M. Z. Nafan and A. E. Amalia , “Kecenderungan Tanggapan Masyarakat terhadap Ekonomi Indonesia berbasis Lexicon Based Sentiment Analysis , ” J. Media Inform. Budidarma , vol. 3 , no. 4 , p. 268 , 2019 , doi : 10.30865 / mib.v3i4.1283. A. K. McCallum , “MALLET : A Machine Learning for Language Toolkit , ” 2002. http : / / mallet.cs.umass.edu. J. Stolee , “An Evaluation of Topic Modelling Techniques for Twitter , ” arXiv , pp. 1–11 , 2016. J. Le , M. Weber , and D. Wild , “Topic Modeling of COVID-19 Open Research Dataset using Latent Dirichlet Allocation , ” 2020 , [ Online ] . Available : https : / / doi.org / 10.1145 / nnnnnnn.nnnnnnn. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 10 / 10
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Sentimen Analysis dan Topic Modelling pada Tweet terkait Vaksinasi COVID-19 di Indonesia Dea Aditya ( 221709609 , 4SD2 ) Dosen Pembimbing : Nori Wilantika , S.S.T. , COVID-19 di terkait vaksinasi Ringkasan— Kumpulan tweet masyarakat terkait vaksinasi COVID-19 di Indonesia dapat menjadi sumber knowledge untuk memberikan gambaran respon dan opini mereka terkait vaksinasi COVID-19 di Indonesia. Mengidentifikasi respon dan opini melalui media sosial Twitter yang penggunaanya masif dari waktu ke waktu tentunya membuat pola tweet semakin beragam , sehingga cukup sulit jika dilakukan dengan manual. Untuk menyelesaikan masalah tersebut , peneliti menggunakan pendekatan dengan text mining. yaitu menerapkan topic modeling dan sentiment analysis. Topic modeling dengan algoritma Latent Dirichlet Allocation digunakan memodelkan opini dari tweet masyrakat Indonesia. Selanjutnya , penggunaan sentiment analysis dengan lexicon based untuk mengukur sentimen / respon tweet masyarakat terkait vaksinasi COVID-19. Hasil sentiment analysis menunjukkan bahwa respon masyarakat selama perode perdana vaksinasi COVID-19 didominasi oleh sentimen netral. Walaupun respon didominasi sentimen netral , jumlah sentimen positif masih lebih banyak dari sentimen negatif. Kemudian , hasil topic modeling menunjukkan walaupun program vaksinasi COVID-19 sudah dilakukan , opini sebagian masyarakat masih ragu dan menolak terhadap vaksinasi COVID-19 karena dipengaruhi beberapa faktor diantaranya masalah keamanan dan status kehalalan dari vaksin yang diberikan. Selain itu , model topik juga menangkap opini terkait kasus penyebaran berita hoax dan penipuan terkait vaksinasi COVID-19. Kata Kunci— topic modeling , sentiment analysis , coherence , knowledge
VII. PENUTUP Dari tahapan penelitian yang telah dilakukan , berikut hasil yang dapat disimpulkan pada penelitian ini : 1. Metode sentiment analysis dengan TextBlob dan topic modeling dengan LDA merupakan metode yang dapat membantu dalam mengidentifikasi respon dan respon masyarakat terkait vaksinasi COVID-19 pada media sosial Twitter. 2. Berdasarkan hasil analisis sentimen yang dilakukan , dapat disimpulkan bahwa telah respon Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik masyarakat selama perode perdana vaksinasi COVID- 19 didominasi oleh sentimen netral. Tingginya tingkat respon netral dari tweet masyarakat menunjukkan bahwa respon dari tweet masyarakat diperoleh bukan hanya dari mereka yang menyatakan apakah pro atau kontra terhadap wacana vaksinasi tersebut , melainkan juga banyak respon masyarakat lainnya sepeti pengetahuan , harapan , atau pendapat umum mereka [ 12 ] . Walaupun respon didominasi sentimen netral , jumlah sentimen positif masih lebih banyak dari sentimen negatif. Jika dilihat per harinya , pola proporsi sentimen negatif cenderung lebih stabil dibandingkan dengan sentimen positif dan netral atau tidak dapat diartikan bahwa sentimen negatif mengalami kenaikan atau penurunan respon yang signifikan setiap harinya. Rata-rata perubahan proporsi sentimen negatif setiap harinya sekitar 0,04 % , lebih rendah dari rata-rata pada proporsi netral dan positif. 3. Hasil penelitian ini menunjukkan bahwa pola sentimen masyarakat setelah vaksinasi perdana COVID-19 cenderung memiliki pola yang sama dengan hasil penelitian [ 12 ] yang melakukan analisis pada periode sebelum vaksinasi COVID-19. 4. Hasil topic modeling menunjukkan , opini yang disampaikan masyarakat sebagian besar membahas tentang penilaian dan pengetahuan mereka terhadap vaksinasi COVID-19 di Indonesia. Penilaian masyarakat cenderung mengarah pada persoalan kemanan dan status kehalalan vaksin COVID-19 , serta terkait pemberian vaksin COVID-19 pada lansia. Adanya pembahasan kedua topik tersebut pada dua kelas sentimen positif dan negatif menunjukkan bahwa , persoalan tersebut masih pro-kontra di masyarakat. Selain itu , sebagian masyrakat masih ragu dan menolak terhadap vaksinasi COVID-19. Kemudian , maraknya berita hoax dan kasus penipuan terkait vaksinasi COVID-19 dapat menimbulkan masalah di masyarakat , sehingga dapat menghambat jalanya proses vaksinasi COVID-19 di Indonesia.. Penelitian selanjutnya diharapkan dapat mencari metode analisis sentimen dan evaluasi topik yang lebih baik , sehingga dapat meningkatkan hasil analisis. Kemudian , proses analisis dapat dilakukan lebih mendalam , seperti dengan menganalisis tweet berdasarkan lokasi dan mengidentifikasi akun atau tokoh yang paling berpengaruh dan banyak dibicarakan dari suatu topik. 9 / 10 [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ]
pendekatan dengan text mining. yaitu menerapkan topic modeling dan sentiment analysis. Topic modeling dengan algoritma Latent Dirichlet / respon tweet masyarakat terkait vaksinasi COVID-19. Hasil sentiment analysis menunjukkan bahwa respon masyarakat selama perode perdana vaksinasi COVID-19 didominasi oleh sentimen netral. Walaupun respon didominasi sentimen netral , banyak dari sentimen negatif. Kemudian , hasil topic modeling menunjukkan walaupun program vaksinasi COVID-19 sudah dilakukan , opini sebagian masyarakat masih ragu dan menolak terhadap vaksinasi COVID-19 karena dipengaruhi beberapa faktor diantaranya masalah keamanan dan status kehalalan pada penelitian ini : 1. Metode sentiment analysis dengan TextBlob dan topic modeling dengan merupakan metode yang dapat membantu dalam mengidentifikasi respon dan respon masyarakat terkait vaksinasi COVID-19 pada media sosial Twitter. 2. Berdasarkan hasil analisis sentimen yang dilakukan , dapat disimpulkan bahwa
O O O O O O B-METODE I-METODE O B-METODE I-METODE O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O B-METODE I-METODE O O O O O O