Analisis Sentimen Berbasis Aspek Pada Destinasi Wisata di Indonesia Berdasarkan Review Pengguna Google Maps  
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Analisis Sentimen Berbasis Aspek Pada Destinasi Wisata di Indonesia Berdasarkan Review Pengguna Google Maps Studi Kasus : Taman Nasional Bromo Tengger Semeru Cynthia As Bahri ( 221810227 , 4SD1 ) Dosen Pembimbing : Dr. Eng. Lya Hulliyyatus Suadaa , S.S.T. , M.T. Ringkasan—Keberadaan teknologi mampu mempengaruhi dan membentuk pola perilaku seseorang saat merencanakan wisata , sedang berwisata dan setelah berwisata. Review yang diberikan oleh pengunjung terhadap destinasi wisata dapat dimanfaatkan sebagai bahan evaluasi untuk peningkatan kualitas destinasi wisata serta menjadi faktor penentu bagi wisatawan lain untuk berkunjung ataupun bagi wisatawan lama untuk berkunjung kembali. Proses pemanfaatan review tersebut dapat dilakukan dengan menilai aspek-aspek yang terdapat pada destinasi wisata berdasarkan ulasan dari pengunjung. Penelitian ini bertujuan untuk melakukan analisis sentimen berbasis aspek pada salah satu destinasi wisata di Indonesia yaitu Taman Nasional Bromo Tengger Semeru berdasarkan review dari pengguna Google Maps. Aspek yang digunakan diantaranya atraksi , fasilitas , akses , dan harga. Model klasifikasi sentimen yang digunakan adalah model machine learning yang terdiri dari SVM , Complement Naïve Bayes , Logistic Regression , dan transfer learning dari pre-trained BERT , IndoBERT , dan mBERT. Berdasarkan hasil eksperimen , transfer learning dari model IndoBERT mencapai performa terbaik dengan akurasi dan F1-Score masing-masing sebesar 91.48 % dan 71.56 % . Selain itu , diantara model machine learning yang digunakan , model SVM memberikan hasil terbaik dengan nilai akurasi sebesar 89.16 % dan F1-Score sebesar 62.23 % . Kata Kunci— Analisis Sentimen Berbasis Aspek , Google Maps Review , Machine Learning , Transfer Learning I. LATAR BELAKANG Indonesia merupakan sebuah negara dengan berbagai keindahan alam yang dapat menarik perhatian wisatawan , baik itu wisatawan dalam negeri maupun wisatawan mancanegara , untuk berkunjung. Semakin banyaknya kunjungan wisatawan yang menjadikan diprioritaskan agar dapat mendorong laju pertumbuhan ekonomi dengan menciptakan lapangan kerja baru , kesempatan membangun usaha , penerimaan devisa negara , dan pembangunan infrastruktur [ 1 ] . pariwisata sebagai sektor sektor Upaya yang dilakukan untuk meningkatkan sektor pariwisata tidak lepas dari keberadaan teknologi. Menurut Kemkominfo RI , teknologi mampu mempengaruhi dan membentuk perilaku seseorang dalam melaksanakan kegiatan wisata , mulai dari merencanakan perjalanan , dalam perjalanan , hingga saat setelah perjalanan [ 2 ] . Sebagai contoh ketika seseorang ingin melakukan kegiatan pariwisata , maka mereka akan membuat perencanaan terlebih dahulu dengan mencari informasi terkait mengenai destinasi wisata yang ingin dikunjungi. Informasi yang dicari dapat berupa kegiatan , atau hal menarik yang dapat ditemukan pada destinasi wisata , transportasi yang mendukung , akomodasi yang dapat digunakan dalam perjalanan , ataupun dana yang diperlukan. Saat berada dalam perjalanan wisata , dengan adanya Google Maps , dapat dimanfaatkan untuk mengetahui cara menuju ke tempat tersebut. Bahkan ketika telah selesai melakukan perjalanan wisata , wisatawan dapat membagikan pengalaman atau review mereka terhadap tempat wisata tersebut melalui media sosial yang dapat menjadi faktor penentu bagi wisatawan lain untuk berkunjung ataupun bagi wisatawan lama untuk berkunjung kembali. Pengalaman berwisata atau review terhadap destinasi wisata dapat dimanfaatkan untuk kemajuan destinasi wisata dengan melihat kekurangan dan keunggulan dari destinasi wisata tersebut sebagai bahan evaluasi atau pertimbangan dalam peningkatan kualitas destinasi wisata. Proses pemanfaatan review untuk mengetahui pendapat terhadap suatu objek ini disebut sebagai analisis sentimen. Analisis sentimen pada umumnya sering dimanfaatkan hanya untuk mengidentifikasi apakah review yang diberikan pada suatu objek memiliki sentimen yang positif , negatif maupun netral. Hal ini menjadikan analisis sentimen tidak mencukupi dalam mengidentifikasi sentimen untuk aspek tertentu pada suatu objek. Apabila review yang diberikan kepada suatu objek memiliki sentimen yang positif , belum tentu si penulis review tersebut memiliki sentimen yang positif untuk seluruh aspek yang dimiliki oleh objek yang diberi review , begitu pula untuk sentimen negatif. Untuk itu perlu dilakukan dengan mengidentifikasi aspek-aspek pada review dan menentukan masing-masing sentimennya. Analisis ini disebut sebagai analisis sentimen berbasis aspek. lengkap analisis lebih yang Analisis sentimen berbasis aspek dapat digunakan untuk menganalisis review pada destinasi wisata , karena review pada destinasi wisata memiliki banyak aspek dengan sentimen yang berbeda-beda. Beberapa penelitian telah dilakukan untuk menganalisis sentimen berdasarkan aspek pada destinasi wisata salah satunya dilakukan oleh D. Arianto dan I. Budi [ 3 ] yang memanfaatkan review dari pengguna Google Maps pada destinasi wisata Candi Borobudur dan Prambanan dengan aspek yang digunakan adalah Attractions ( atraksi / daya tarik ) , Amenities ( fasilitas ) , Accessibility ( kemampuan akses ) , 1 / 8 Image ( gambar / pemandangan ) , Price ( harga ) dan Human Resources ( sumber daya manusia ) . Dengan memanfaatkan lima model machine learning , penelitian ini menghasilkan kesimpulan bahwa metode Logistic Regression , Decision Tree , dan Extra Tree memberikan skor yang yang lebih tinggi daripada metode lainnya. Pada penelitian ini , peneliti melakukan analisis sentimen berbasis aspek pada salah satu destinasi wisata di Indonesia yaitu Taman Nasional Bromo Tengger Semeru berdasarkan review dari pengguna Google Maps. Taman Nasional Bromo Tengger Semeru ( TNBTS ) dipilih sebagai studi kasus pada penelitian ini dikarenakan TNBTS merupakan destinasi wisata yang termasuk ke dalam daftar UNESCO sebagai salah satu jaringan cagar biosfer dunia ( The World Network of Biosphere Reserves ) sejak tahun 2015 [ 4 ] dan juga termasuk ke dalam daftar kawasan strategis pariwisata nasional [ 5 ] . Aspek yang digunakan pada penelitian ini adalah Atraksi , Fasilitas , Akses , dan Harga. Model klasifikasi yang digunakan dalam penelitian ini adalah model machine learning yaitu SVM , Naïve Bayes , dan Logistic Regression. Selain itu peneliti juga menggunakan model transfer learning dari pre-trained model yang telah dilatih sebelumnya pada korpus yang lebih besar yang mampu melakukan klasifikasi pada teks dengan lebih baik daripada model machine tahap evaluasi model digunakan perbandingan nilai akurasi , presisi , recall , dan F1- Score untuk mengetahui model mana yang lebih baik dalam mengklasifikasikan sentimen berbasis aspek pada data review Taman Nasional Bromo Tengger Semeru berdasarkan pengguna Google Maps. learning. Untuk II. TUJUAN PENELITIAN Berdasarkan uraian pada latar belakang , penelitian ini memiliki beberapa tujuan yaitu sebagai berikut : 1 ) Membangun dataset untuk klasifikasi sentimen berbasis aspek pada destinasi wisata Taman Nasional Bromo Tengger Semeru berdasarkan review dari pengguna Google Maps. 2 ) Membangun model analisis sentimen berbasis aspek dengan menerapkan machine learning dan transfer learning. 3 ) Melakukan evaluasi pada model analisis sentimen berbasis aspek. III. PENELITIAN TERKAIT Penelitian oleh M. Pontiki , dkk. [ 6 ] membahas subtask yang dapat dilakukan pada analisis sentimen berbasis aspek , yaitu aspect term extraction , aspect term polarity , aspect category detection , dan aspect category polarity. Penelitian ini menggunakan subtask ke-4 yaitu aspect category polarity , dimana kategori aspek telah ditentukan sebelumnya. Subtask ini bertujuan untuk menentukan polaritas untuk setiap aspek yang telah ditentukan. Penelitian mengenai analisis sentimen berbasis aspek pada destinasi wisata pernah dilakukan salah satunya oleh D. Arianto dan I. Budi [ 3 ] yang memanfaatkan review dari pengguna Google Maps terhadap destinasi wisata Candi Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Borobudur dan Prambanan dengan membangun lima model machine learning yaitu Random Forest ( RF ) , Naïve Bayes ( NB ) , Logistic Regression ( LR ) , Decision Tree ( DT ) , dan Extra Tree ( ET ) . Berdasarkan hasil penelitian tersebut , model Logistic Regression , Decision Tree , dan Extra Tree memberikan skor yang yang lebih tinggi daripada model machine learning lainnya. Penelitian terkait juga pernah dilakukan oleh D. K. Kirange dkk. [ 7 ] dengan menerapkan beberapa task yang ada pada SemEVal 2014 mengenai analisis sentimen berbasis aspek terhadap data review restoran yang telah disediakan oleh penyelenggara SemEval 2014. Dengan membandingkan model SVM dan KNN , penelitian tersebut memberikan hasil bahwa model SVM memiliki akurasi yang lebih tinggi yaitu sebesar 85,46 % dibandingkan model KNN yang memiliki akurasi sebesar 70,01 % . S. Kotagiri dkk. [ 8 ] juga meneliti tentang analisis sentimen berbasis aspek dengan menggunakan dua fitur yaitu POS Tagging dan TF-IDF , serta model klasifikasinya menggunakan SVM dan Naïve Bayes. Penelitian tersebut menyimpulkan bahwa perform model yang menerapkan fitur TF-IDF lebih baik daripada model yang menerapkan fitur POS Tagging. Untuk model klasifikasinya , SVM memiliki perform yang lebih baik dibandingkan Naïve Bayes. Selain itu , terdapat penelitian oleh J. D. M. Rennie dkk. [ 9 ] yang memberikan solusi heuristik untuk algoritma klasifikasi Naïve Bayes yang tidak cocok untuk data imbalanced. Solusi yang diberikan adalah menggunakan model Complement Naïve Bayes ( CNB ) . Dibandingkan dengan model Multinomial Naïve Bayes ( MNB ) , model CNB memiliki kinerja yang lebih baik dalam mengklasifikasikan data yang imbalanced dengan skor yang hampir sama dengan SVM. Kemudian pada tahun 2020 , oleh A. N. Azhar dan M. L. Khodra [ 10 ] melakukan analisis sentimen berbasis aspek terhadap data review berbahasa Indonesia , menyatakan bahwa model CNN dan XGBoost tidak dapat menguji data dengan baik karena terdapat banyak kata OOV ( Out of Vocabulary ) tersebut yang menyebabkan misklasifikasi. Penelitian membawakan model pre-trained transfer language dari learning yaitu multilingual BERT yang di fine-tuning. Model tersebut memberikan peningkatan pada F1-Score sebesar 8 % daripada model sebelumnya. IV. METODE PENELITIAN Penelitian ini menggunakan metode analisis sentimen berbasis aspek dengan model klasifikasinya adalah Machine Learning dan Transfer Learning. Tahapan-tahapan yang akan dilakukan dalam penelitian ini diilustrasikan pada Gambar 1 di bawah ini. Gambar 1.Diagram Alur Metode Penelitian 2 / 8 A. Pengumpulan dan Pelabelan Data Dataset yang digunakan pada penelitian ini adalah data yang didapatkan dari hasil scraping pada review pengguna Google Maps terhadap salah satu destinasi wisata di Indonesia yaitu Taman Nasional Bromo Tengger Semeru. Contoh review pengguna Google Maps pada Taman Nasional Bromo Tengger Semeru diilustrasikan pada Gambar 2 Review yang digunakan pada penelitian ini adalah review dalam Bahasa Indonesia , Bahasa Inggris dan bahasa campuran Indonesia dan Inggris. Gambar 2. Contoh Review Pengguna Google Maps Pada Taman Nasional Bromo Tengger Semeru Ilmu Pariwisata Setelah data terkumpul , maka tahap selanjutnya adalah melakukan pelabelan secara manual. Untuk menghindari subjektivitas , maka pelabelan dilakukan oleh tiga orang annotator dengan hasil akhir dari label dipilih berdasarkan majority voting. Pelabelan sentimen dilakukan untuk setiap review pada aspek Atraksi , Fasilitas , Akses , dan Harga. Pemilihan aspek atraksi , fasilitas , dan akses didasarkan pada buku Pengetahuan Dasar [ 11 ] yang mengatakan bahwa komponen utama yang harus dimiliki oleh Daerah Tujuan Wisata ( DTW ) adalah atraksi , fasilitas , akses , dan pelayanan tambahan. Namun pada penelitian ini tidak menggunakan aspek pelayanan tambahan , karena berdasarkan hasil pengukuran kualitas label sentimen untuk aspek pelayanan tambahan pada dataset yang telah dianotasi , menghasilkan nilai Krippendorf’s alpha 0,178 yang berarti data untuk aspek tersebut tidak cukup konsisten untuk digunakan sebagai dataset. Kemudian untuk pemilihan aspek harga didasarkan pada pertimbangan pengaruhnya yang positif terhadap kepuasan pelanggan [ 12 ] . Label sentimen yang digunakan yaitu “positif” , “negatif” , dan “netral”. Selain itu , untuk data review yang tidak mengandung aspek yang telah ditetapkan sebelumnya , sentimennya akan diklasifikasikan menjadi “none”. Contoh pelabelan data diilustrasikan pada Gambar 3. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Gambar 3. Contoh Pelabelan Data Setelah dilakukan pelabelan data oleh beberapa annotator , kualitas hasil pelabelan diukur dengan menggunakan Krippendorff 's alpha sebagai uji inter-rater reliability [ 13 ] . B. Preprocessing Data yang telah dikumpul dan diberi label akan dilanjutkan ke tahap preprocessing. Preprocessing merupakan teknik yang digunakan untuk membersihkan data. Preprocessing yang digunakan pada penelitian ini adalah sebagai berikut. 1 ) Lower casing : mengubah semua huruf pada teks ke dalam bentuk yang sama yaitu huruf kecil. 2 ) Cleaning : menghilangkan karakter-karakter yang tidak diperlukan sepetu emoji , username , hashtag , dan url. 3 ) Menghilangkan tanda baca dan spasi berlebih. Tahapan preprocessing pada penelitian tidak menggunakan stopword removal , karena proses tersebut dapat menghilangkan untuk kata mengklasifikasikan sentimen [ 14 ] . beberapa penting yang ini C. Ekstraksi Fitur Pada penelitian ini , ekstraksi fitur yang digunakan untuk mengklasifikasikan model adalah menggunakan salah satu dari metode word embedding yaitu TF-IDF. TF-IDF merupakan metode pembobotan kata dengan tujuan untuk menghitung seberapa penting keberadaan kata dalam kumpulan dokumen [ 15 ] . TF-IDF terdiri atas Term Frequency ( TF ) dan Inverse Document Frequency ( IDF ) . TF memberikan makna bahwa semakin sering suatu term muncul dalam dokumen , maka bobotnya akan semakin besar. Sedangkan IDF memberikan makna bahwa semakin sering term tersebut muncul dalam beberapa dokumen , maka bobotnya akan semakin kecil. Berikut rumus untuk menghitung TF-IDF [ 16 ] : ( ) ( 1 ) Keterangan : : banyaknya kata-i pada dokumen ke-j : total dokumen : banyaknya dokumen yang mengandung kata ke-i 3 / 8 Di bawah ini diberikan contoh menghitung TF-IDF pada tiga dokumen atau kalimat sederhana , yaitu sebagai berikut : makna bahwa probabilitas kelas c memiliki nilai tertinggi dibandingkan kelas selain c. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik D1 : “Saya suka hujan.” D2 : “Hari ini hujan.” D3 : “Minggu adalah hari.” Contoh perhitungan ditampilkan pada Tabel I. TABEL I CONTOH PERHITUNGAN TF-IDF TF D1 D2 D3 IDF DF D1 TF-IDF D2 D3 1 1 1 0 0 0 0 0 0 1 1 1 0 0 0 0 0 1 0 1 1 1 1 2 2 1 1 1 0.48 0.48 0 0 0.18 0.18 0 0 0 0 0 0 0 0.18 0.18 0.48 0 0 0 0.48 0.48 Term Dokumen saya suka hujan hari ini minggu adalah Ekstraksi fitur hanya akan digunakan untuk model machine learning. Sedangkan untuk transfer learning tidak dilakukan tahap ekstraksi fitur dari awal melainkan menggunakan bobot vektor token dari pre-trained model yang telah dilatih sebelumnya menggunakan dataset yang lebih besar. D. Pembangunan Model Pada tahap ini , model dibangun menggunakan model machine learning yaitu SVM , Complement Naive Bayes , dan Logistic Regression dan model transfer learning dari pre- trained BERT , IndoBERT , dan mBERT. 1 ) Machine Learning a. SVM Support Vector Machine ( SVM ) merupakan metode klasifikasi machine learning yang didasarkan pada teori statistik yang dibangun dari data latih dengan jumlah terbatas untuk mendapatkan hasil klasifikasi terbaik [ 17 ] . b. Complement Naive Bayes Naive Bayes merupakan metode klasifikasi machine learning yang didasarkan pada teori probabilitas [ 18 ] dan Teorema Bayes. Dan model Naïve Bayes yang cocok digunakan pada data imbalanced adalah model Complement Naïve Bayes [ 9 ] . Complement Naïve ( CNB ) merupakan solusi heuristik dari Bayes Multinomial Naïve Bayes ( MNB ) . MNB melakukan estimasi dengan menghitung probabilitas kata yang muncul pada data latih untuk satu kelas , misal c. Sedangkan CNB menghitung probabilitas kata yang muncul pada semua kelas kecuali c. Setiap kelas selain c dihitung probabilitasnya dan diambil nilai dengan probabilitas terkecil , sehingga memberikan c. Logistic Regression learning digunakan Logistic Regression merupakan metode klasifikasi machine untuk yang mendapatkan odds ratio pada lebih dari satu variabel penjelas. Metode ini mirip dengan regresi linear berganda , dengan pengecualian bahwa variabel respons merupakan binomial [ 19 ] . Model ini pada umumnya memiliki skor evaluasi yang baik dan mendekati skor SVM. 2 ) Transfer Learning a. BERT BERT merupakan model transformer dua arah yang yang sebelumnya dilatih pada korpus yang besar yaitu Toronto Book Corpus dan Wikipedia [ 20 ] . b. IndoBERT IndoBERT merupakan salah satu dari model BERT yang dilatih pada korpus besar berbahasa Indonesia ( Indo4B ) yang meliputi bahasa formal dan non formal seperti Wikipedia berbahasa Indonesia , artikel berita , media sosial , blogs , website , dan subtitle rekaman video [ 21 ] . c. mBERT mBERT merupakan salah satu model BERT yang dilatih pada 104 bahasa , termasuk bahasa Indonesia. Data training Bahasa Indonesia diambil pada semua Wikipedia dalam Bahasa Indonesia , yang terdiri dari 532.806 artikel [ 10 ] . E. Evaluasi Model Pada penelitian ini , evaluasi pada model dilakukan dengan membandingkan nilai precision , recall , akurasi , dan F1-Score dari model machine learning dan transfer learning. 1 ) Precision Precision atau presisi merupakan perbandingan antara true positive dengan banyaknya data yang diprediksi positive. ( 2 ) 2 ) Recall true Recall merupakan perbandingan antara nilai positive dengan banyaknya data yang sebenarnya positive. ( 3 ) 3 ) Akurasi Akurasi merupakan rasio dari prediksi true atau data yang diprediksi dengan benar pada keseluruhan data. ( 4 ) 4 ) F1-Score F1-Score merupakan rata-rata harmonik dari nilai precision dan recall. ( 5 ) 4 / 8 Tahap evaluasi model pada penelitian ini dilakukan menggunakan metode Cross Validation. Cross Validation merupakan sebuah metode yang digunakan untuk memilih model yang sesuai untuk melakukan prediksi , dimana data akan dibagi menjadi dua bagian dengan salah satu bagian digunakan untuk melakukan fitting pada model dan satunya lagi digunakan untuk menilai kemampuan model melakukan prediksi [ 22 ] . Penelitian ini menggunakan 5-fold cross validation. V. KERANGKA PIKIR Pada Gambar 4 di bawah dapat dilihat kerangka pikir yang digunakan oleh peneliti yang berawal dari pemikiran tentang peran teknologi yang sangat penting pada peningkatan kualitas destinasi wisata. Review pengguna Google Maps pada destinasi wisata dapat dimanfaatkan untuk melakukan analisis sentimen berbasis aspek yang nantinya dapat dijadikan masukan dalam pelaksanaan kegiatan peningkatan kualitas pada destinasi wisata. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik VI. HASIL DAN PEMBAHASAN A. Pengumpulan dan Pelabelan Data Dataset yang terkumpul sebanyak 1890 review terhadap Taman Nasional Bromo Tengger Semeru didapatkan dari hasil scraping pada review pengguna Google Maps menggunakan library Selenium. Data review ini terdiri dari review berbahasa Indonesia , Inggris , dan campuran antara bahasa Indonesia dan Inggris. Gambar 5. Persentase Bahasa Berdasarkan Library Langdetect Gambar 5 memperlihatkan persentase bahasa yang library teridentifikasi pada data review menggunakan langdetect. Hasil yang didapatkan dari proses identifikasi bahasa menyatakan bahwa bahasa Indonesia memiliki persentase paling besar yaitu 48 % dan menyusul bahasa Inggris sebesar 43 % . Selebihnya teridentifikasi menjadi beberapa bahasa lain , selain bahasa Indonesia ataupun bahasa Inggris. Terdapat beberapa kesalahan pada hasil identifikasi tersebut karena keterbatasan model yang digunakan langdetect. Contohnya terdapat review berbahasa Indonesia namun tidak formal , sehingga library mengidentifikasikan review tersebut menjadi bukan bahasa Indonesia. Selanjutnya dilakukan pelabelan secara manual oleh tiga orang pelabel dengan menerapkan sistem majority voting menghasilkan data berlabel sebanyak 1660 yang diiulstrasikan pada Gambar 6. Gambar 4. Kerangka Pikir Penelitian Gambar 6. Perbandingan Jumlah Data Sebelum dan Sesudah dilakukan Pelabelan Data yang berkurang terjadi karena saat pelabelan data menggunakan metode majority voting , sehingga label yang tidak disepakati oleh minimal dua annotator ini tidak digunakan dalam analisis. 5 / 8 Gambar 7. Distribusi Sentimen untuk Setiap Aspek Pada grafik distribusi sentimen untuk setiap aspek yang ditunjukkan pada Gambar 7 dapat dilihat bahwa aspek destinasi wisata yang sering dibahas pada data review pengguna Google Maps untuk destinasi wisata Taman Nasional Bromo Tengger Semeru adalah atraksi , dengan label mayoritasnya adalah “positif”. Sedangkan untuk label lain seperti fasilitas , akses dan harga tidak banyak dibahas pada data review , sehingga label mayoritasnya adalah “none” Untuk melihat inter-rater reliability dari data yang telah labeli , dilakukan perbandingan pada nilai alpha. Semakin tinggi nilai alpha berarti semakin tinggi inter-rater reliability datanya. TABEL II UJI RELIABILITAS Alpha Aspek Atraksi Fasilitas Akses Harga 0.509 0.568 0.518 0.779 Pada Tabel II dapat dilihat bahwa label pada aspek atraksi , fasilitas , dan harga memiliki rata-rata alpha sebesar 0.5 yang berarti bahwa tersebut sudah cukup konsisten. Begitupula untuk label pada aspek harga yang memiliki nilai alpha yang cukup tinggi yaitu sebesar 0.779 , yang memiliki arti bahwa label pada aspek tersebut konsisten. label pada aspek B. Preprocessing Pada tahap preprocessing , dengan melakukan lower casing , cleaning , dan menghilangkan tanda baca serta spasi berlebih , dapat dilihat contoh hasil dari tahap preprocessing pada Gambar 8 berikut. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Gambar 8. Contoh Hasil Tahap Preprocessing C. Ekstraksi Fitur Tahap selanjutnya dilakukan ekstraksi fitur dengan metode TF-IDF menggunakan library TfidfVectorizer dari Sklearn. Hyperparameter TF-IDF untuk masing-masing model machine learning didapatkan dari grid search. D. Pembangunan Model Pada tahap pembangunan model digunakan model klasifikasi machine learning yaitu SVM , Complement Naive Bayes , dan Logistic Regression yang telah tersedia pada library Scikit-learn atau Sklearn. Semua model machine learning menggunakan hyperparameter berdasarkan hasil grid transfer search. Kemudian untuk pembangunan model learning dari pre-trained model BERT Cased , BERT Uncased , IndoBERT Uncased , mBERT Cased , dan mBERT Uncased , digunakan library pytorch dan transformer dengan sebagai algoritma optimasi dan menggunakan Adam dilengkapi dengan batch size 10 dan learning rate . E. Evaluasi Recall 0.7006 0.5951 Akurasi F1-Score Precision TABEL III HASIL EKSPERIMEN MODEL KLASIFIKASI SENTIMEN BERBASIS ASPEK MENGGUNAKAN 5-FOLD CROSS VALIDATION Model Machine Learning SVM Complement Naive Bayes Logistic Regression Transfer Learning BERT Cased BERT uncased IndoBERT mBERT Cased mBERT uncased 0.5540 0.5605 0.7016 0.5612 0.5961 0.8904 0.8952 0.9148 0.8889 0.9000 0.5683 0.5718 0.7156 0.5699 0.6087 0.6852 0.6353 0.7478 0.6417 0.6508 0.5869 0.5860 0.6127 0.8949 0.8142 0.5561 0.8916 0.5515 0.6911 0.6223 Hasil eksperimen dari model yang telah dibangun ditunjukkan pada Tabel III. Berdasarkan Tabel III dapat dilihat bahwa semua model fine-tuned yang merupakan transfer learning dari pre-trained model memiliki F1-Score yang lebih tinggi daripada model machine learning. Hal ini dikarenakan model machine learning hanya belajar dari data latih yang digunakan , sedangkan model hasil transfer learning telah dilatih sebelumnya pada korpus bahasa yang besar. Dari semua model fine-tuned , model klasifikasi IndoBERT memiliki skor evaluasi yang lebih tinggi. Dengan nilai akurasi dan F1-Score masing-masing adalah 91.48 % dan 71.56 % . 6 / 8 Indonesia. Namun pada penelitian Berdasarkan korpus yang digunakan oleh masing-masing model , Multilingual BERT ( mBERT ) lebih cocok digunakan untuk data multilingual daripada model IndoBERT , karena model mBERT telah dilatih pada 104 korpus bahasa termasuk bahasa ini , model IndoBERT mencapai performa terbaik. Hal ini dapat terjadi karena model IndoBERT dilatih pada beberapa korpus berbahasa Indonesia , baik itu dalam bentuk bahasa formal maupun non formal , yang lebih cocok diterapkan pada data yang digunakan pada penelitian ini. Data review pengguna Google Maps pada umumnya berbentuk bahasa non formal. Selain itu , data yang digunakan memiliki persentase data berbahasa Indonesia lebih besar daripada data berbahasa Inggris. Oleh sebab itu model IndoBERT lebih cocok digunakan pada kasus ini dibandingkan model mBERT Cased maupun Uncased. Hal ini juga berlaku untuk model BERT Cased dan Uncased yang datanya dilatih pada korpus berbahasa Inggris. Hasil ini sejalan dengan hasil yang diberikan pada penelitian B. Wilie dkk. [ 19 ] yaitu IndoBERT memberikan performa yang lebih baik daripada mBERT. Sebaran skor hasil klasifikasi masing-masing sentimen tiap aspek pada model fine-tuned IndoBERT , dapat dilihat pada Tabel IV. TABEL IV HASIL KLASIFIKASI ASPEK UNTUK SETIAP LABEL PADA INDOBERT MENGGUNAKAN 5-FOLD CROSS VALIDATION Aspek Positif Netral Negatif None Positif Netral Negatif None Positif Netral Negatif None Positif Netral Negatif None Atraksi Fasilitas Akses Harga Precision 0.9459 0.6133 0 0.4000 0.2571 0.5271 0.4000 0.9336 0.6000 0.5809 0.6230 0.9300 0.4000 0.7681 0.3667 0.9684 Recall 0.9899 0.4150 0 0.1581 0.0618 0.6502 0.1467 0.9364 0.5022 0.3168 0.4909 0.9851 0.1733 0.7411 0.2400 0.9975 F1-Score 0.9670 0.3968 0 0.2204 0.0756 0.5662 0.2143 0.9480 0.4839 0.3968 0.5023 0.9565 0.2267 0.6965 0.2467 0.9825 Support 153 5 1 7 7 21 3 135 5 9 10 142 3 10 3 151 fine-tuned Pada Tabel IV dapat dilihat klasifikasi sentimen berbasis aspek menggunakan model IndoBERT menghasilkan F1-Score yang beragam. Ada yang mencapai skor sangat tinggi seperti aspek atraksi dengan label “positif” , serta aspek fasilitas , akses , dan harga untuk label “none” yang masing-masing memiliki skor lebih dari 90 % . Dan ada pula label pada aspek yang memiliki skor terendah mencapai 0 % . Hal ini disebabkan oleh ketidakseimbangan dataset yang tersedia untuk setiap aspek dan label sentimen , seperti yang ditunjukkan pada kolom support di Tabel IV. Pada model klasifikasi machine learning , SVM mencapai nilai F1-Score terbaik dibandingkan model machine learning lainnya. Hasil eksperimen untuk model klasifikasi SVM untuk setiap aspek dan label sentimen dapat dilihat pada Tabel V. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Secara umum , skor perlabel sentimen untuk setiap aspek memiliki pola yang serupa dengan hasil fine-tuned IndoBERT dikarenakan ketidakseimbangan data. TABEL V HASIL KLASIFIKASI ASPEK UNTUK SETIAP LABEL PADA SVM MENGGUNAKAN 5-FOLD CROSS VALIDATION Aspek Atraksi Fasilitas Akses Harga Positif Netral Negatif None Positif Netral Negatif None Positif Netral Negatif None Positif Netral Negatif None Precision 0.9154 0.3667 0.000 0.2800 0.2349 0.5576 0.2000 0.9045 0.7000 0.1952 0.4291 0.7947 0.2000 0.5589 0.5000 0.9368 Recall 0.9863 0.1005 0.000 0.0829 0.0948 0.5285 0.0286 0.9651 0.3425 0.1248 0.2695 0.8368 0.0400 0.3358 0.1119 0.9895 F1-Score 0.9491 0.1416 0.000 0.1119 0.1151 0.5273 0.0500 0.9333 0.4137 0.1483 0.3176 0.9394 0.0667 0.3896 0.1800 0.9623 Support 302 13 1 16 13 39 6 274 9 17 19 287 7 18 6 301 F. Analisis Error Pada Gambar 9 dan 10 dapat dilihat contoh review dengan gold label atau label sebenarnya yang diberikan label manual oleh annotator , beserta hasil prediksi menggunakan model SVM dan IndoBERT. Contoh review 1 pada Gambar 9 memperlihatkan model IndoBERT menghasilkan prediksi yang sama dengan gold label , sedangkan model SVM melakukan kesalahan dimana model tidak berhasil mengidentifikasi label pada akses. Gambar 9. Contoh Review 1 , Gold Label , dan Label Prediksi Menggunakan SVM dan IndoBERT Dari contoh tersebut dapat disimpulkan bahwa model IndoBERT bisa menangkap konteks kalimat lebih baik daripada SVM. Namun masih ada beberapa kesalahan pada 7 / 8 IndoBERT seperti yang ditampilkan pada Gambar 10 , dimana model IndoBERT memberikan prediksi “netral” pada aspek fasilitas sedangkan gold label-nya adalah “negatif”. Gambar 10. Contoh Review 2 , Gold Label , dan Label Prediksi Menggunakan SVM dan IndoBERT VII. PENUTUP Berdasarkan hasil dan pembahasan yang telah diuraikan diatas , didapatkan beberapa kesimpulan yaitu : 1. Dari semua data review yang didapatkan dari Google Maps , label “positif” lebih banyak ditemukan pada aspek Atraksi. Sedangkan untuk aspek lainnya memiliki label “none” sebagai label mayoritas. 2. Hasil yang didapatkan dari pembangunan model analisis berbasis aspek pada data review pengguna Google Maps untuk destinasi wisata Taman Nasional Bromo Tengger Semeru yaitu model transfer learning dari pre-trained model lebih baik daripada model machine learning. 3. Model terbaik yang dihasilkan pada penelitian ini adalah fine-tuned IndoBERT dengan nilai akurasi model sebesar 91.48 % dan F1-Score sebesar 71.56 % . Berdasarkan penelitian yang telah dilakukan , saran yang dapat diterapkan pada penelitian selanjutnya adalah sebagai berikut : 1. Penelitian keterbatasan ini mengalami saat mengumpulkan data review pengguna pada Google Maps dengan metode web scraping yang hanya mampu mengambil sedikit data. Untuk kedepannya disarankan dapat mengumpulkan data review pengguna pada Google Maps lebih banyak lagi dengan menggunakan metode lainnya. 2. Menerapkan metode resampling yang dapat digunakan untuk tipe data multilabel-multiclass untuk mengatasi ketidakseimbangan untuk masing-masing sentimen di setiap aspek. dataset 3. Penelitian ini menggunakan model IndoBERT Base yang merupakan model standar dari IndoBERT. Untuk penelitian selanjutnya dapat mencoba menggunakan model yang lebih besar seperti model IndoBERT Large. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik DAFTAR PUSTAKA [ 1 ] Badan Pusat Statistik ( BPS ) , “Statistik Wisatawan Nusantara 2020 , ” BPS RI , Jakarta , 2021. [ 2 ] Kominfo. ( 2019 , April ) Pentingnya Teknologi dalam Sektor Pariwisata [ Online ] . Available : https : / / aptika.kominfo.go.id / 2019 / 04 / pentingnya- teknologi-dalam-sektor-pariwisata / [ 3 ] D. Arianto and I. Budi , “Aspect-based Sentiment Analysis on Indonesia’s Tourism Destinations Based on Google Maps User Code-Mixed Reviews ( Study Case : Borobudur and Prambanan Temples ) , ” in Proceedings of the Information and 34th Pacific Asia Conference on Language , Computation , Hanoi , Vietnam for Computational Linguistics , 24-26 October 2020 , pp. 359-367. : Association [ 4 ] UNESCO. ( 2015 ) Bromo Tengger Semeru-Arjuno Biosphere Reserve , Indonesia [ Online ] . Available : Bromo Tengger Semeru-Arjuno Biosphere Reserve , Indonesia ( unesco.org ) [ 5 ] Badan Pusat Statistik ( BPS ) , “Statistik Wisatawan Nusantara 2020 , ” BPS RI , Jakarta , 2021. [ 6 ] M. Pontiki , D. Galanis , J. Pavlopoulos , H. Papageorgiou , I. Androutsopoulos , and S. Manandhar , “SemEval-2014 Task 4 : Aspect Based Sentiment Analysis , ” in Proceedings of the 8th International Workshop on Semantic Evaluation ( SemEval 2014 ) , Dublin , Ireland , pp. 27-35 , August 2014. [ 7 ] D. K. Kirange et al. “Aspect Based Sentiment Analysis SemEval-2014 Task 4 , ” AJCSIT , vol. 4 , pp. 72-75 , October 2014. [ 8 ] K. Srividya and A. M. Sowjanya , “Aspect Based Sentiment Analysis using POS Tagging and TFIDF , ” International Journal of Engineering and Advanced Technology ( IJEAT ) , vol. 8 , pp. 1960-1963 , August 2019. [ 9 ] J. D. M. Rennie , L. Shih , J. Teevan , and D. R. Karger , “Tackling the Poor Assumptions of Naive Bayes Text Classifiers , ” Proceedings of the Twentieth International Conference on Machine Learning ( ICML-2003 ) , 2003. [ 10 ] A. N. Azhar and M. L. Khodra , " Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis , " 2020 7th International Conference on Advance Informatics : Concepts , Theory and Applications ( ICAICTA ) , pp. 1-6 , 2020. [ 11 ] I. K. Suwena and I. G. N. Widyatmaja , Pengetahuan Dasar Ilmu Pariwisata. Denpasar : Pustaka Larasan , 2017. [ 12 ] V. R. Khansa , and N. Farida , " Pengaruh Harga Dan Citra Destinasi Terhadap Niat Berkunjung Kembali Melalui Kepuasan ( Studi pada Wisatawan Domestik Kebun Raya Bogor ) , " Jurnal Ilmu Administrasi Bisnis , vol. 5 , no. 4 , pp. 104-114 , Jun. 2016. [ 13 ] K. Krippendorff and R. Craggs , “The Reliability of Multi-Valued Coding of Data , ” Communication Methods and Measures , vol. 10 , no. 4 , pp. 181-198 , 2016. [ 14 ] C. H. Yutika , Adiwijaya and S. A. Faraby , “Analisis Sentimen Berbasis Aspek pada Review Female Daily Menggunakan TF-IDF dan Naïve Bayes , ” Jurnal Media Informatika Budidarma , vol. 5 , no. 2 , pp. 422-430 , April 2021. [ 15 ] I. M. Yulietha , S. A. Faraby and Adiwijaya , “Klasifikasi Sentimen Review Film Menggunakan Algoritma Support Vector Machine Sentiment Classification of Movie Reviews Using Algorithm Support Vector Machine , ” e-Proceeding of Enginering , vol. 4 , no. 3 , pp. 4740- 4750 , Desember 2017. [ 16 ] B. Trstenjak , S. Mikac and D. Donko , “KNN with TF-IDF Based Framework for Text Categorization , ” 24th DAAAM International Symposium on Intelligent Manufacturing and Automation 2013 , pp. 1356-1364 , 2014. [ 17 ] V. N. Vapnik , “Statistical learning theory , ” Springer , 1995. [ 18 ] W. Zhang and F. Gao , “An Improvement to Naive Bayes for Text Classification , ” Procedia Engineering , vol. 15 , pp. 2160-2164 , 2011. [ 19 ] S. Sperandei , “Understanding logistic regression analysis , ” Biochemia Medica , pp. 12-18 , 2014. [ 20 ] J. Devlin , M. Chang , L. Kenton , and K. Toutanova , “BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding , ” 2019. [ 21 ] B. Wilie , K. Vincentio , G. I. Winata , S. Cahayawijaya , X. Li , Z. Y. Lim , S. Soleman , R. Mahendra , P. Fung , S. Bahar , and A. Purwarianti , “IndoNLU : Benchmark and Resources for Evaluating Indonesian Natural Language Understanding , ” CoRR , 2020. [ 22 ] J. Shao , “Linear model selection by cross-validation , ” Journal of the American statistical Association , vol. 88 , no. 422 , pp. 486-494 , 1993. 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O B-METODE O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Analisis Sentimen Berbasis Aspek Pada Destinasi Wisata di Indonesia Berdasarkan Review Pengguna Google Maps Studi Kasus : Taman Nasional Bromo Tengger Semeru Cynthia As Bahri ( 221810227 , 4SD1 ) Dosen Pembimbing : Dr. Eng. Lya Hulliyyatus Suadaa , S.S.T. , M.T. Ringkasan—Keberadaan teknologi mampu mempengaruhi dan membentuk pola perilaku seseorang saat merencanakan wisata , sedang berwisata dan setelah berwisata. Review yang diberikan oleh pengunjung terhadap destinasi wisata dapat dimanfaatkan sebagai bahan evaluasi untuk peningkatan kualitas destinasi wisata serta menjadi faktor penentu bagi wisatawan lain untuk berkunjung ataupun bagi wisatawan lama untuk berkunjung kembali. Proses pemanfaatan review tersebut dapat dilakukan dengan menilai aspek-aspek yang terdapat pada destinasi wisata berdasarkan ulasan dari pengunjung. Penelitian ini bertujuan untuk melakukan analisis sentimen berbasis aspek pada salah satu destinasi wisata di Indonesia yaitu Taman Nasional Bromo Tengger Semeru berdasarkan review dari pengguna Google Maps. Aspek yang digunakan diantaranya atraksi , fasilitas , akses , dan harga. Model klasifikasi sentimen yang digunakan adalah model machine learning yang terdiri dari SVM , Complement Naïve Bayes , Logistic Regression , dan transfer learning dari pre-trained BERT , IndoBERT , dan mBERT. Berdasarkan hasil eksperimen , transfer learning dari model IndoBERT mencapai performa terbaik dengan akurasi dan F1-Score masing-masing sebesar 91.48 % dan 71.56 % . Selain itu , diantara model machine learning yang digunakan , model SVM memberikan hasil terbaik dengan nilai akurasi sebesar 89.16 % dan F1-Score sebesar 62.23 % . Kata Kunci— Analisis Sentimen Berbasis Aspek , Google Maps Review , Machine Learning , Transfer Learning
VII. PENUTUP Berdasarkan hasil dan pembahasan yang telah diuraikan diatas , didapatkan beberapa kesimpulan yaitu : 1. Dari semua data review yang didapatkan dari Google Maps , label “positif” lebih banyak ditemukan pada aspek Atraksi. Sedangkan untuk aspek lainnya memiliki label “none” sebagai label mayoritas. 2. Hasil yang didapatkan dari pembangunan model analisis berbasis aspek pada data review pengguna Google Maps untuk destinasi wisata Taman Nasional Bromo Tengger Semeru yaitu model transfer learning dari pre-trained model lebih baik daripada model machine learning. 3. Model terbaik yang dihasilkan pada penelitian ini adalah fine-tuned IndoBERT dengan nilai akurasi model sebesar 91.48 % dan F1-Score sebesar 71.56 % . Berdasarkan penelitian yang telah dilakukan , saran yang dapat diterapkan pada penelitian selanjutnya adalah sebagai berikut : 1. Penelitian keterbatasan ini mengalami saat mengumpulkan data review pengguna pada Google Maps dengan metode web scraping yang hanya mampu mengambil sedikit data. Untuk kedepannya disarankan dapat mengumpulkan data review pengguna pada Google Maps lebih banyak lagi dengan menggunakan metode lainnya. 2. Menerapkan metode resampling yang dapat digunakan untuk tipe data multilabel-multiclass untuk mengatasi ketidakseimbangan untuk masing-masing sentimen di setiap aspek. dataset 3. Penelitian ini menggunakan model IndoBERT Base yang merupakan model standar dari IndoBERT. Untuk penelitian selanjutnya dapat mencoba menggunakan model yang lebih besar seperti model IndoBERT Large. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik
berdasarkan ulasan dari pengunjung. Penelitian ini bertujuan untuk melakukan analisis sentimen berbasis aspek pada salah satu destinasi wisata di Indonesia yaitu Taman Nasional Bromo Tengger Semeru berdasarkan review dari pengguna Google Maps. Aspek yang digunakan diantaranya atraksi , fasilitas , akses , dan harga. Model klasifikasi sentimen yang digunakan adalah model machine learning yang terdiri dari pre-trained BERT , IndoBERT , dan mBERT. Berdasarkan hasil eksperimen , transfer learning dari model IndoBERT mencapai performa terbaik dengan akurasi dan F1-Score masing-masing sebesar 91.48 % dan 71.56 % . Selain itu , diantara model machine learning yang , model SVM memberikan hasil terbaik dengan nilai akurasi sebesar 89.16 % dan F1-Score sebesar 62.23 % . Kata Kunci— Analisis Sentimen model lebih baik daripada model machine learning. 3. Model terbaik yang dihasilkan pada penelitian ini adalah fine-tuned IndoBERT dengan nilai akurasi model sebesar 91.48 % dan F1-Score sebesar 71.56 % . Berdasarkan penelitian yang telah dilakukan , saran yang
O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O B-METODE O O O O B-METODE O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O