Penerapan Metode Resampling Pada Klasifikasi Imbalanced Data Biner Status Ketertinggalan Desa Di Jawa Timur
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Penerapan Metode Resampling Pada Klasifikasi Imbalanced Data Biner Status Ketertinggalan Desa Di Jawa Timur Hasran Nawira ( 221709732 , 4SD1 ) Dosen Pembimbing : Sukim SST , M.Si Ringkasan— Kesenjangan pembangunan merupakan masalah yang masih perlu diperhatikan di Indonesia yang diperlihatkan dengan masih adanya desa tertinggal. Jawa Timur merupakan provinsi dengan jumlah desa terbanyak kedua di Indonesia dengan jumlah desa sebanyak 8499 desa tahun 2014. Penelitian ini bertujuan untuk mengklasifikasikan desa tertinggal berdasarkan lima kabupaten yang memiliki persentase desa tertinggal tertinggi di Jawa Timur memakai data Potensi Desa 2014 , jumlahnya sebanyak 1122 desa , 116 desa termasuk kategori desa tertinggal. Komposisi data yang tidak seimbang ( imbalanced ) merupakan masalah ketika mengklasifikasikan data yang mengakibatkan prediksi menjadi tidak tepat , masalah ini bisa teratasi memakai teknik resampling data seperti Tomek Links , ENN , SMOTE , dan Kombinasinya. Metode klasifikasi yang digunakan yaitu Random Forest dan XGboost. Hasil klasifikasi data imbalanced serta data balanced dan feature importance serta data keseluruhan yang memperlihatkan bahwa dengan teknik resampling dan metode XGboost dan Random Forest mampu menghasilkan nilai F1-score dan AUC yang meningkat setelah balancing data diterapkan. Selanjutnya diperoleh hasil klasifikasi terbaik menggunakan feature importance dengan metode XGboost dan SMOTE-ENN. Kata Kunci— Desa Tertinggal , Imbalanced Data , Resampling , XGboost , Random Forest. I. LATAR BELAKANG Kesenjangan pembangunan merupakan masalah yang perlu diperhatikan di Indonesia dimana hal itu diperlihatkan dengan masih adanya desa tertinggal. Pembangunan desa tertinggal sejak dibentuknya sudah menjadi kementerian desa , pembangunan daerah tertinggal , dan transmigrasi melalui Peraturan Presiden Nomor 12 Tahun 2015. fokus pemerintah Jawa timur merupakan provinsi dengan jumlah desa terbanyak kedua di Indonesia Hasil pendataan Potensi Desa ( Podes ) Badan Pusat Statistik ( BPS ) Jawa Timur pada 2014 , tercatat 8.502 wilayah administrasi setingkat desa di Jawa Timur , yang terdiri dari 7.721 desa dan 781 kelurahan [ 4 ] , besarnya jumlah desa tersebut diperlukan klasifikasi desa yang akurat untuk perencanaan dan pengambilan kebijakan. Berlandaskan Perpres No.131 tahun 2015 , kabupaten di provinsi Jawa Timur termasuk daerah dengan status tertinggal dari total 122 kabupaten tertinggal di Indonesia diantaranya Situbondo , Sampang , Bondowoso , dan Bangkalan [ 8 ] . Sumber : Dewi Lutfia ( 2018 ) Gambar 1. Persentase Desa Tertinggal Menurut Kabupaten di Jawa Timur Dari Pepres diatas terdapat empat kabupaten tertinggal di Jawa Timur yang jika dihubungkan dengan Gambar 1 persentase kabupaten itu lebih dari enam persen. Namun , terdapat satu kabupaten lagi yang persentasenya hampir mirip dengan tiga dari empat kabupaten tersebut yakni Kabupaten Sampang. Berdasarkan hal tersebut penelitian kali ini akan membuat model yang mengklasifikasikan desa tertinggal di Jawa Timur berdasarkan lima kabupaten yang memiliki persentase desa tertinggal tertinggi. Klasifikasi merupakan teknik data mining yang dipakai untuk membentuk model yang dapat menjelaskan atau membedakan kelas data yang bertujuan untuk memprediksi objek kelas yang belum diketahui [ 5 ] . Machine learning bisa digunakan untuk mengontrol ketepatan hasil perkiraan. Random Forest maupun XGboost adalah teknik pengklasifikasian yang digunakan untuk memperkirakan status dari desa. Kedua teknik itu mempunyai sejumlah kelebihan dibandingkan teknik pengklasifikasian yang lain dikarenakan robust terhadap nilai ekstrim , proses komputasi yang relatif singkat dan prediksi yang akurat [ 15 ] . Masalah yang dijumpai dalam mengklasifikasikan data yaitu struktur data yang kelas datanya tidak seimbang artinya jumlah kelas satu data jauh lebih sedikit dari kelas data yang lain. Dari lima kabupaten desa tertinggal pada data PODES 2014 , rasio data kelas negatif ( mayoritas ) dan kelas positif ( minoritas ) yaitu 9:1.hal ini memperlihatkan bahwa data tersebut tidak seimbang. Data yang ini menyebabkan algoritma klasifikasi cenderung mengklasifikasikan data ke kelas yang tidak seimbang 2 / 9 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik lebih banyak dibanding kelas yang lebih sedikit sehingga hasil ketepatan yang didapatkan untuk data pada kelas negatif sangat tinggi tinggi dibanding data untuk kelas positif [ 11 ] . bocornya informasi data training ke data testing sehingga terjadi overoptimistic [ 12 ] . Penanganan untuk data yang kelasnya tidak seimbang bisa memakai pendekatan dengan dasar resampling. Resampling adalah proses perubahan distribusi suatu training data sehingga di kelas data baik itu positif dan negatif bisa terwakili dengan baik pada data training [ 2 ] . Proses resampling terbagi jadi dua yakni oversampling dan undersampling. Berlandaskan permasalahan itu maka penelitian ini memilih memakai teknik pengklasifikasian data tidak seimbang dengan menggunakan Random Forest dan XGboost dengan metode resampling SMOTE , ENN , Tomek link dan kombinasinya yang digunakan selama proses Cross Vaidation serta menggunakan SHAP value untuk memperkaya interpretasi pada model pada klasifikasi status desa di Jawa Timur. SMOTE merupakan teknik oversampling yang melakukan penyeimbangan data dengan pembuatan data synthetic dari data minoritas , algoritma ini mengatasi masalah overfitting yang ditimbulkan oleh random oversampling , sedangkan Tomek satu metode undersampling. Links merupakan Undersampling adalah teknik untuk menyeimbangkan data dengan mengurangi ukuran kelas yang mayoritas .Tomek Links mempunyai kekurangan yakni penghapusan datanya hanya sehingga satu mengandalkan penghapusan data kurang mendalam. tetangga terdekat salah saja Metode undersampling lainnya yang sering digunakan adalah ENN ( Edited Nearest Neighbour ) . ENN cenderung menghapus lebih banyak data dari pada Tomek-Links , sehingga diharapkan akan memberikan pembersihan data yang lebih mendalam [ 1 ] . Hal itu diperlihatkan pada penelitian Puri ( 2019 ) dimana penggunaan SMOTE-ENN lebih baik dibandingkan SMOTE-Tomek Links untuk data dengan rasio imbalanced 5- 10 dan dengan persentase noise data hingga 20 persen. Dalam membangun model klasifiasi data imbalanced , metode stratified k-fold Cross Validation biasnya digunakan dalam pembagian data training serta testing agar masing- masing kelas dapat terwakilkan pada proporsi yang benar , metode ini jika di gabungkan dengan metode resampling akan membantu membangun model yang baik dari data training karena stratified k-fold Cross Validation mengatasi masalah overfitting [ 16 ] . tertentu Setelah Model kalsifikasi tebentuk , pemahaman mengapa atau kemampuan model membuat prediksi menginterpretasikan output model prediksi sangat diperlukan dalam memberikan wawasan dari model yang sudah di hasilkan. Masalah ini dapat diatas dengan konsep yang disebut Shapley Additive Explanations ( SHAP ) untuk memperkaya interpretasi dari model klasifiasi yang sudah dihasilkan [ 7 ] . Beberapa peneitian menangani klasifikasi desa tertinggal di Jawa Timur sudah dilakukan oleh Dewi Lutfia ( 2018 ) , Shintia ( 2018 ) dan Imanwardhani ( 2018 ) penelitian tersebut masih memiliki kekurangan yakni kurangnya interpretasi pada model yang dan kuang tepat dalam meggunakan tahapan split data maupun Cross Validation untuk dikombinasikan dengan metode resampling yang mana proses Split data dilakukan terlebih dahulu lalu dilakukan resampling selama proses n-fold Cross Validation pada data training , jika tidak dilakukan seperti itu maka akan terjadi yang namanya leakage data atau II. TUJUAN PENELITIAN Adapun tujuan dari penelitian ini adalah sebagai berikut. 1. Menentukan model klasifikasi terbaik untuk data podes 2014 menggunakan seluruh variabel dengan metode resampling SMOTE , ENN , Tomek-link dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost 2. Menentukan model klasifikasi terbaik untuk data importance variabel podes 2014 menggunakan dengan metode resampling SMOTE , ENN , Tomek- link dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost 3. Membandingkan model terbaik menggunakan seluruh variabel dan hanya importance variable klasifikasi 4. Melihat variabel yang mengakibatkan model gagal mengklasifikasikan desa sebagai desa tertinggal 5. Memakai model terbaik dan Menentukan variabel yang menentukan peningkatan dan penurunan status perkembangan desa dari desa tertinggal menjadi desa tidak tertinggal dan dari sebaliknya pada data podes 2018 dan 2020. III. PENELITIAN TERKAIT Penelitian mengenai klasifikasi ketertinggalan desa dilakukan oleh Dewi Lutfia ( 2018 ) yang mengklasifikasikan desa tertinggal di lima kabupaten di jawa timur memakai data podes 2014. Metode yang digunakan adalah metode resampling SMOTE-Tomek Links dan metode Cross Validation setelah tahap resampling data. Hasil yang di dapatkan bahwa penggunaan SMOTE-Tomek dengan metode regresi logistik ridge memiliki hasil yang terbaik. Penelitian mengenai klasifikasi ketertinggalan desa juga dilakukan oleh Shintia ( 2018 ) yang mengklasifikasikan desa tertinggal seluruh kabupaten di Jawa Timur memakai data podes 2014. Metode yang digunakan adalah kombinasi dari 3 / 9 Random Undersampling dan Tomek Links dan metode metode Cross Validation setelah tahap resampling data. Hasil yang di dapatkan bahwa penggunaan SMOTE-Tomek dengan metode Analisis Diskriminan Kernel memiliki hasil yang terbaik. tertinggal Penelitian mengenai klasifikasi desa juga dilakukan oleh Imanwardhani ( 2018 ) yang mengklasifikasikan desa tertinggal di lima kabupaten di jawa timur memakai data podes 2014. Metode yang digunakan adalah metode resampling SMOTE dan metode Cross Validation setelah tahap resampling data. Hasilnya penggunaan SMOTE dengan metode regresi logistik ridge memiliki hasil yang terbaik. Penelitian mengenai metode XGboost dan Random Forest dilakukan oleh Prasetyo , Christianto , & Hartomo ( 2019 ) Penelitian ini memakai teknik XGboost serta Random Forest. Akurasi dan nilai kappa yang dihasilkan untuk XGboost secara berturut-turut 0.8286 dan 0.6477. Adapaun akurasi dan nilai kappa yang dihasilkan untuk Random Forest secara berturut- turut 0.6857 dan 0.3699. Penelitian Syahrani ( 2019 ) ysng berjudul Analisis Perbandingan Teknik Ensamble Secara Boosting ( XGboost ) dan Bagging ( Random Forest ) Pada Klasifikasi Sambatan Skuens DNA. Terbukti juga bahwa pengoptimalan model degnan tuning hyperparameter bisa menambah nilai akurasida dan hasilnya untuk XGboost memiliki akurasi yang lebih tinggi dibanding dengan Random Forest tetapi dalam waktu proses pelatihan dan pengujian Random Foret lebih baik. Penelitian menggunakan metode SHAP Value dilakuakan oleh Guo dan Bruce Janson ( 2020 ) mengenai analisis faktor yang menentukan kecelakaan pada pejalan kaki. SHAP diimplementasikan untuk menginterpretasikan hasil prediksi dari model klasifikasi dan memvisualisasikan hasilnya. Selain menganalisis satu variabel , juga menganalisis keterkaitan antar variabel dalam menghasilkan prediksi. SHAP IV. METODE PENELITIAN A.Sumber data Data yang dipakai oleh peneliti merupakan data sekunder yang didapatkan dari data Potensi Desa Provinsi Jawa Timur 2014,2018 dan 2020 yang dikeluarkan oleh BPS dan data jumlah murid dan SD / MI tahun ajaran 2014 / 2015. Berdasarkan data yang lima kabupaten dengan persentase desa yang berstatus tertinggal paling tinggi yaitu Kabupaten Bangkalan , Situbondo , Sumenep , Bondowoso dan Sampang. Jumlah desa berstatus tertinggal sebanyak 116 desa lalu desa berstatus tidak tertinggal sebanyak 1006 desa dengan rasio status desta sebesar 1:9. telah didapatkan , dipakai B.Variabel penelitian Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik desa yang tertuang di UU Nomor 6 Tahun 2014 mengenai Desa. Di Penelitian kali ini delapan variabel prediktor akan dipakai , sedangkan variabel responnya adalah Status Desa yang mempunyai dua kategori yakni 1 untuk desa tertinggal dan 0 untuk desa tidak tertinggal.Variabel yang digunakan adalah seperti berikut 1. Pelayanan Dasar V1 : Rasio Jumlah SD / MI dengan jumlah murid V2 : Rasio tempat praktek bidan dengan jumlah penduduk. V3 Rasio Pos Kesehatan Desa dengan jumlah penduduk 2. Kondisi Infrastruktur V4 : Rasio toko kelontong dengan jumlah penduduk. V5 : Rasio keluarga pengguna listrik dengan jumlah rumah tangga. 3. Aksesibilitas / transportasi V6 : Jarak kantor kepala desa / lurah ke kantor camat per kilometer. 4. Pelayanan Umum V7 : Rasio penderita gizi buruk dengan jumlah penduduk. 5. Penyelenggaraan Pemerintahan V8 : Rasio pendapatan asli desa dengan jumlah penduduk Data selanjutnya dilakukan pengolahan dengan memakai R studio. Berikut merupakan langkah dalam analisis data dalam penelitian ini : 1. Melakukan pre-processing data  Dilakukan preprocessing data dengan memilih variable data dan filtering data 2. Melakukan klasifikasi data Pada data dilakukan klasifikasi dengan dan tanpa resampling , resampling data dilakukan dengan algoritma ENN , Tomek , SMOTE dan kombinasinya sehingga menjadi SMOTE ENN dan SMOTE Tomek. Langkah-langkahnya seperti berikut ini.  Melakukan pembagian data train dan data test dengan holdout validation 80 / 20.  Pada data training akan dilakukan klasifikasi tanpa dan dengan resampling , algoritma resamplingnya adalah ENN , Tomek , SMOTE dan kombinasinya sehingga menjadi SMOTE ENN dan SMOTE Tomek. Pada penelitian ini dipilih variabel menurut lima dimensi SPM ( standar Pelayanan Minimal ) dalam pembangunan suatu  Pada data training yang sudah di resampling diterapkan Grid Search untuk tuning hyperparameter pada metode 4 / 9 Random Forest serta XGboost dengan memakai stratified 10- Fold cross validation. V. KERANGKA PIKIR Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik  Pada data training serta testing dilakukan proses prediksi menggunakan model klasifikasi yang terbentuk pada random fores serta XGboost.  F1-score , AUC dan akurasi akan dihitung setelah proses prediksi dilakukan dan memillih model yang terbaik. 3. Memilih important feature data dengan memakai metode RFE ( Recursive Feature Elimintation )  Melihat feature importance data dengan menggunakan RFE dengan melihat nilai F1-score , AUC serta akurasi.  Melakukan klasifikasi dengan important feature data dan Menentukan model terbaik seperti langkah 2. 4. Menentukan model terbaik untuk seluruh variabel dan dengan feature importance berdasarkan nilai F1-score , AUC dan akurasi. 5 Melihat variabel apa saja yang menyebabkan model klasifikasi terbaik pada tahap 4 gagal melakukan klasifiaksi desa sebagai desa tertinggal menggunakan metode SHAP. 6. Melakukan klasifikasi dan menentukan variabel yang mempengaruhi perubahan status perkembangan desa dari desa tertinggal menjadi desa tidak tertinggal dan sebaliknya pada tahun 2018-2020 memakai metode SHAP. Langkah-langkah analisis dapat digambarkan sebagai berikut. Gambar 2. Alur Penelitian Gambar 3. Kerangka Penelitian Kerangka pikir pada penelitian ini terdiri dari tahap seperti yang terlihat pada gambar 3. Penelitian dalam klasifikasi desa tertinggal memakai data PODES 2014 pada lima kabupaten dengan persentase desa tertinggal tertinggi yaitu Kabupaten Bangkalan , Kabupaten Situbondo , Kabupaten Sumenep , Kabupaten Bondowoso dan Kabupaten Sampang. Pada data penelitian memiliki kelas data yang tidak seimbang dengan rasio 1:9 yang bisa menyebabkan prediksi yang dihasilkan kurang baik , untuk mengatasi data yang tidak seimbang pada data penelitian akan dipakai metode balancing SMOTE , Tomek Links , ENN dan kombinasinya. Selain mengatasi imbalanced data , penelitian ini juga ingin menyempurnakan penelitian terdahulu mengenai klasifikasi desa tertinggal di Jawa Timur yang sudah disebutkan sebelumnya memiliki sebelumnya. Dimana penelitian kekurangan yakni kurang tepat dalam meggunakan tahapan split data maupun Cross Validation untuk dikombinasikan dengan metode resampling yang mana seharusnya proses Split data dilakukan terlebih dahulu lalu dilakukan resampling selama proses n-fold Cross Validation pada data training , jika tidak dilakukan seperti itu maka akan terjadi yang namanya leakage data atau bocornya informasi data training ke data terjadi overoptimistic ( Santos , 2018 ) . Metode klasifikasi yang digunakan adalah Random Forest dan XGboost dimana untuk pengoptimalan kinerja klasifksi dilakukan tunning hyperparameter memakai Grid Search. Kemudian model yang dihasilkan akan diuji pada data testing untuk melihat model klasifikasi terbaik yang dihasilkan digunakan ukuran ketepatan klasifikasi yaitu Area Under Curve ( AUC ) , akurasi danF1-score. 5 / 9 Penelitian ini juga ingin menyempurnakan penelitian terdahulu mengenai klasifikasi desa tertinggal di jawa timur. Dimana penelitian sebelumnya hanya sekedar mencari model terbaik untuk klasifikasi data dan masih kurang interpretasi model yang dihasilkan. Oleh karena itu dipenelitian in akan digunakan metode SHAP value untuk mengetahui variabel apa saja yang menyebabkan model yang dihasilkan untuk desa tertinggal tidak terklasifikasikan dengan tepat serta melihat variabel yang menentukan peningkatan dan penurunan status perkembangan desa dari desa tertinggal menjadi desa tidak tertinggal atau sebaliknya pada data podes 2018 dan 2020. VI. HASIL DAN PEMBAHASAN 6.1. KLASIFIKASI DATA DENGAN RANDOM FOREST DAN XGBOOST DATA MEMAKAI SELURUH VARIABLE Tabel 1. Klasifikasi data testing dengan Random Forest dan XGboost data seluruh variable Dapat tabel diatas dapat dikatakan bahwa model klasifikasi terbaik dengan dan tanpa metode resampling memakai seluruh variabel yakni model klasifikasi XGboost dengan memakai metode resampling SMOTE yang mempunyai nilai F1-score sebesar 37.7 % , Akurasi sebesar 85 % dan AUC sebesar 66 % . Tabel 2. Klasifikasi Data Train dengan SMOTE XGboost Semua variabel Pada tabel 2 dapat dilihat bahwa jika dibandingkan dengan tabel 1 semua ukuran kebaikan model tidak terjadi overfittng. Selanjutnya akan digunakan klasifikasi dengan hanya feature importance data menggunakan Recursive Feature Elimintation lalu membandingkannya dengan model klasifikasi terbaik dengan menggunakan seluruh variabel. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 6.2. KLASIFIKASI DATA DENGAN RANDOM FOREST DAN XGBOOST MEMAKAI FEATURE IMPORTANCE Gambar 4. Grafik AUC , F1-Score dan Akurasi Pada Variabel Importance Dari gambar terlihat bahwa dengan memakai RFE nilai F1- score dan AUC tertinggi berada pada 5 variabel , hal ini menunjukkan bahwa dibanding menggunakan selurhu vaeriabel , dengan hanya menggunakan 5 variabel bisa didapatkan nilai F1-score dan AUC yang optimal dengan akurasi yang sudah baik. Selanjutnya akan digunakan 5 variabel saja untuk diterapkan metode klasifikasi dan resampling , kemudian dipilih model yang terbaik,5 variabel tersebut V2 , V3 , V4 , V5 dan V6 . Tabel 3. Perbandingan Metode Klasifikasi dengan Feature importance Dapat tabel diatas dapat dikatakan bahwa model klasifikasi terbaik dengan dan tanpa metode resampling memakai seluruh variabel yakni model klasifikasi XGboost dengan memakai metode resampling SMOTE-EN yang mempunyai nilai F1- score sebesar 38 % , Akurasi sebesar 81 % dan AUC sebesar 70 % . Tabel 4. Klasifikasi Data Train dengan SMOTE-ENN XGboost dengan Feature importance Pada tabel 4 dapat dilihat bahwa jika dibandingkan dengan tabel 3 semua ukuran kebaikan model tidak terjadi overfittng Perbandingan Model klasifikasi terbaik menggunakan seluruh variabel dan hanya feature importance didapatkan 6 / 9 model yang terbaik yakni dengan menggunakan klasifikasi XGboost dengan teknik resampling SMOTE-ENN pada feature importance karena memiliki nilai F1-score dan AUC yang lebih tinggi serta model juga termasuk dalam good classification. 6.3. VARIABEL YANG MENYEBABKAN MODEL TIDAK MENGKLASIFIKASIKAN DESA SEBAGAI DESA TERTINGGAL Gambar 5. Nilai SHAP untuk tiap variable Pada variabel Jarak kantor kepala desa / lurah ke kantor camat per kilometer terlihat dari kurva lowess menunjukkan bahwa jika nilai nol untuk shap value jika nilai variabel sekitar 5. Dapat disimpulkan bahwa untuk variabel tersebut jika nilainya lebih dari 5 maka model akan cenderung mengklasifikasikan desa sebagai desa tertinggal. Pada variabel Rasio praktek bidan dengan jumlah penduduk terlihat dari kurva lowess menunjukkan bahwa nilai nol untuk shap value jika nilai rasionya sekitar 0.01 dan 0.1. Dapat disimpulkan bahwa untuk variabel tersebut jika nilai rasio lebih besar dari 0.01 atau lebih kecil dari 0.1 maka model akan cenderung mengklasifikasikan desa sebagai desa tertinggal Pada variabel Rasio toko kelontong dengan jumlah penduduk terlihat dari kurva lowess menunjukkan bahwa jika nilai nol untuk shap value jika nilai rasionya sekitar 0.5. Dapat disimpulkan bahwa untuk variabel tersebut jika nilai rasionya kurang cenderung akan mengklasifikasikan desa sebagai desa tertinggal. 0.5 maka model dari Pada variabel Rasio Pos Kesehatan Desa dengan jumlah penduduk terlihat dari kurva lowess menunjukkan bahwa nilai nol untuk shap value jika nilai rasionya sekitar dibawah 0.05. Dapat disimpulkan bahwa untuk tersebut jika nilai rasio lebih besar dari 0.05 dan diatas 0 maka model akan cenderung mengklasifikasikan desa sebagai desa tertinggal. Pada variabel Rasio keluarga pengguna listrik dengan jumlah rumah tangga terlihat dari kurva lowess menunjukkan bahwa nilai nol untuk shap value jika nilai rasionya sekitar 81 . Dapat disimpulkan bahwa untuk variabel tersebut jika nilai rasionya kurang dari 81 maka model akan cenderung mengklasifikasikan desa sebagai desa tertinggal. Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik 6.4. KLASIFIKASI DATA PODES 2018 DAN 2020 MENGGUNAKAN MODEL TERBAIK Diketahui Jawa timur pada tahun 2018 hingga 2020 mempunyai desa sebanyak 8496 desa. Dengan menggunakan model klasifikasi terbaik yang sudah di dapatkan untuk tahun 2018 jumlah desa tidak tertinggal sebanyak 8426 desa sedangkan desa tertinggal sebanyak 70 desa. Untuk tahun 2020 jumlah desa tidak tertinggal sebanyak 8467 desa sedangkan desa tertinggal sebanyak 29 desa , dengan perubahan dari desa tertinggal menjadi desa tidak tertinggal sebanyak 67 desa , sedangkan perubahan desa tidak tertinggal menjadi tertinggal sebanyak 25 desa. Untuk melihat variabel apa saja yang memiliki pengaruh besar terhadap perubahan status desa tertinggal menjadi tidak tertinggal atau sebaliknya di tahun 218-2020 , digunakan SHAP value untuk melihat perubahan model dalam mengklasifikasi tiap variabel pada tahun 2018 dan 2020 dengan melihat perubahan nilai value dari positif ke negatif ataupun sebaliknya. 6.4.1 PERUBAHAN STATUS DESA TERTINGGAL MENJADI TIDAK TERTINGGAL Gambar 6. Nilai SHAP Perubahan Status Desa Tertinggal Menjadi Tidak Tertinggal 2018-2020. Visualisasi nilai SHAP value akan disajikan 2 gambar untuk tiap variabel dimana gambar di sebelah kiri merupakan nilai shap value di tahun 2018 dan disebelah kanan nilai shap value di tahun 2020. Warna biru merupakan warna untuk desa dengan shap value positif sedangkan warna kuning warna untuk desa shap value negative di tahun 2018 sedangkan warna ungu khusus untuk variabel Jarak kantor kepala desa / lurah ke kantor camat untuk desa dengan shap value positif di tahun 2018. Dari Gambar 6 terlihat bahwa terdapat variabel yang memiliki nilai shap value pada tahun 2018 yang berada diatas nilai nol dimana ditahun 2020 mayoritas shap value berada dibawah nilai nol serta nilai shap value pada tahun 2018 yang berada dibawah nilai nol dimana ditahun 2020 shap value tersebut masih dibawah nilai nol artinya model akan cenderung mengklasifikasikan sebagai desa tidak tertinggal yakni pada variabel Rasio toko kelontong , Rasio tempat praktek bidan dan 7 / 9 Rasio keluarga pengguna listrik memiliki pengaruh terhadap model dalam perubahan klasifikasi status desa dari tertinggal menjadi tidak tertinggal pada tahun 2018-2020 dimana di tahun 2018- 2020 terjadi pertambahan penurunan rasio tempat praktik bidan , naiknya keluarga pengguna listrik dan toko kelontong di desa pada provinsi Jawa Timur. Untuk variable Jarak kantor kepala desa / lurah ke kantor camat nilai shap value pada tahun 2018 semuanya berada diatas nol dimana ditahun 2020 tidak jauh berbeda semua shap value desa tertinggal berada diatas nol. Dari grafik juga terlihat bahwa terjadi pengurangan jarak kantor kepala desa / lurah ke kantor camat untuk beberapa desa tetapi nilai shap value nya masih positif di tahun 2020. Kesimpulannya untuk variabel Jarak kantor kepala desa / lurah ke kantor camat per kilometer tidak memiliki pengaruh terhadap model dalam perubahan status desa dari tertinggal menjadi tidak tertinggal. Untuk variabel Rasio Pos Kesehatan Desa nilai shap value pada tahun 2018 yang berada diatas nol dimana ditahun 2020 mayoritas shap value berada dibawah nol , namun nilai shap value pada tahun 2018 yang berada dibawah nol dimana ditahun 2020 , mayoritas value berada diatas nol.Kesimpulannya untuk variabel Rasio Pos Kesehatan Desa dengan jumlah penduduk tidak memiliki pengaruh terhadap model dalam perubahan status desa dari tertinggal menjadi tidak tertinggal di tahun 2018-2020. shap 6.4.2 Nilai SHAP Perubahan Status Desa tidak Tertinggal Menjadi Tertinggal Visualisasi nilai SHAP value akan disajikan 2 gambar untuk tiap variabel dimana gambar di sebelah kiri merupakan nilai shap value di tahun 2018 dan disebelah kanan nilai shap value di tahun 2020. Warna biru merupakan warna untuk desa dengan shap value positif sedangkan warna kuning warna untuk desa shap value negative di tahun 2018 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Terdapat variabel yang memiliki nilai shap value pada tahun 2018 yang berada dibawah nilai nol dimana ditahun 2020 mayoritas shap value berada diatas nilai nol serta nilai shap value pada tahun 2018 yang berada diatas nilai nol dimana ditahun 2020 shap value tersebut masih diatas nilai nol artinya model akan cenderung mengklasifikasikan sebagai desa tertinggal yakni pada variabel rasio pos kesehatan desa , rasio toko kelontong dan Jarak kantor kepala desa / lurah ke kantor camat. dimana di tahun 2018- 2020 terjadi penurunan rasio pos kesehatan desa , toko kelontong serta penambahan jarak kantor kepala desa / lurah ke kantor camat di desa pada provinsi Jawa Timur. Untuk variable Rasio tempat praktek bidan nilai shap value yang dibawah nol ditahun 2018 mayoritas berada dibawah nol di tahun 2020 serta nilai shap value yang dibawah nol ditahun 2018 mayoritas tahun 2020 .Kesimpulannya untuk variabel Rasio tempat praktek bidan tidak memiliki tidak pengaruh terhadap model dalam perubahan status desa dari tidak tertinggal menjadi tertinggal pada tahun 2018-2020. dibawah berada nol di Dari gambar diatas dapat dilihat bahwa nilai shap value Rasio Keluarga Pengguna Listrik pada tahun 2018 yang berada dibawah nol dimana ditahun 2020 mayoritas shap value masih berada dibawah nol serta nilai shap value yang berada diatas nol dimana ditahun 2020 mayoritas shap value berada dibawah nol , artinya model akan cenderung mengklasifikasikan sebagai desa tidak tertinggal. Kesimpulannya untuk variabel Rasio keluarga pengguna listrik dengan jumlah rumah tangga tidak memiliki pengaruh terhadap model dalam perubahan status desa dari tidak tertinggal menjadi tertinggal pada tahun 2018- 2020. VII. PENUTUP 1. Model klasifikasi terbaik untuk data podes 2014 menggunakan seluruh variabel dengan metode resampling dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost didapatkan model klasifikasi terbaik yakni menggunakan XGboost dengan teknik resampling SMOTE SMOTE , ENN , Tomek-link 2. Model klasifikasi terbaik untuk data podes 2014 menggunakan importance variabel dengan metode resampling dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost didapatkan model klasifikasi terbaik yakni menggunakan XGboost dengan teknik resampling SMOTE-ENN. SMOTE , ENN , Tomek-link Gambar 7. Nilai SHAP Perubahan Status Desa Tertinggal Menjadi Tidak Tertinggal 2018-2020. 3. Perbandingan Model klasifikasi terbaik menggunakan seluruh variabel dan hanya importance variabel terbaik yakni dengan didapatkan model yang menggunakan klasifikasi XGboost dengan teknik resampling SMOTE-ENN pada importance variabel karena memiliki nilai F1-score dan AUC yang lebih 8 / 9 tinggi serta kedua model juga termasuk dalam good classification. 4. Variabel mengklasifikasikan desa sebagai desa tertinggal yang mengakibatkan model gagal  Rasio tempat praktek bidan dengan jumlahpenduduk ijka rasionya lebih dari 0.01 dan kurang dari 0.1  Rasio keluarga pengguna listrik dengan jumlah rumah tangga jika rasionya lebih dari 81  Rasio Pos Kesehatan Desa dengan jumlah penduduk jika nilai rasio kurang dari 0.05 dan diatas 0.  Rasio toko kelontong dengan jumlah  penduduk jika nilainya lebih dari 0.5 Jarak kantor kepala desa / lurah ke kantor camat per kilometer jika jarak kurang dari 5 km 5. Ditahun 2020 jmlah desa yang mengalami status perubahan dari desa tertinggal di 2018 menjadi desa tidak tertinggal di tahun 2020 ada sebanyak 67 desa , sedangkan perubahan desa tidak tertinggal menjadi tertinggal di 2020 ada sebanyak 25 desa Desa dengan perubahan dari desa tertinggal ke desa tidak tertinggal disebabkan oleh beberapa faktor diantaranya  Penurunan rasio tempat praktik bidan ,  Kenaikan rasio keluarga pengguna listrik  Kenaikan rasio toko kelontong. Desa dengan perubahan dari desa tidak tertinggal ke desa tertinggal disebabkan oleh beberapa faktor diantaranya  Penurunan rasio pos kesehatan desa ,  Penurunan rasio toko kelontong  Penambahan jarak kantor kepala desa / lurah ke kantor camat DAFTAR PUSTAKA [ 1 ] Batista , G. E. , Prati , R. C. , & Monard , M. C. ( 2004 ) . A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD explorations newsletter , 6 ( 1 ) , 20-29. [ 2 ] Choi , J. M. ( 2010 ) . A selective sampling method for imbalanced data learning on support vector machines. Ames ( IA ) : Iowa State University. [ 3 ] Dewi Lutfia , P. ( 2018 ) . Penerapan Metode Combine Sampling Pada Klasifikasi Imbalanced Data Biner Status Ketertinggalan Desa Di Institut Teknologi Sepuluh Jawa Timur ( Doctoral dissertation , Nopember ) . [ 4 ] Kominfo. ( 2015 ) . Dipetik mei 31 2022 , PADA 2014 JATIM SETINGKAT MILIKI DESA : https : / / kominfo.jatimprov.go.id / read / umum / 43638 WILAYAH 8.502 Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik [ 5 ] Han , J & Kamber , M. ( 2006 ) . Data MiningConcepts and [ 6 ] Techniques. San Fransisco Morgan Kaufmann Publishers. Imanwardhani , C. S. ( 2018 ) . Pendekatan Synthetic Minority Oversampling Technique Dalam Menangani Klasifikasi Imbalanced Data Biner ( Studi Kasus : Status Ketertinggalan Desa Di Jawa Timur ) ( Doctoral dissertation , Institut Teknologi Sepuluh Nopember ) . [ 7 ] Lundberg , S. M. , & Lee , S. I. ( 2017 ) . A unified approach to information interpreting model predictions. Advances in neural processing systems , 30. [ 8 ] Niken.w. ( 2015 ) . Dipertik Februari 5 2022. Jokowi Tetapkan 122 2015- Kabupaten ini Daerah Tertinggal 2019 : https : / / news.detik.com / berita / d-3092196 / jokowi 122-kabupaten-ini-daerah-tertinggal-2015-2019 tetapkan- [ 9 ] Prasetyo , S. , Christianto , Y. , & Hartomo , K. ( 2019 ) . Analisis Data Citra Landsat 8 OLI Sebagai Indeks. Salatiga : Indonesian Jurnal of Computing and Modeling. [ 10 ] Puri , A. , & Gupta , M. K. ( 2019 , September ) . Comparative analysis of resampling techniques under noisy imbalanced datasets. In 2019 International Conference on Issues and Challenges in Intelligent Computing Techniques ( ICICT ) ( Vol. 1 , pp. 1-5 ) . IEEE. [ 11 ] Sain , H. , & Purnami , S. W. ( 2015 ) . Combine sampling support vector machine for imbalanced data classification. Procedia Computer Science , 72 , 59-66. [ 12 ] Santos , M. S. , Soares , J. P. , Abreu , P. H. , Araujo , H. , & Santos , J. ( 2018 ) . Cross-validation imbalanced datasets : avoiding for overoptimistic and overfitting approaches [ reSearch frontier ] . ieee ComputatioNal iNtelligeNCe magaziNe , 13 ( 4 ) , 59-76. [ 13 ] Shintia , R. ( 2018 ) . Penerapan Combine Undersampling Pada Klasifikasi Data Imbalanced Biner ( Studi Kasus : Desa Tertinggal Di Jawa Timur Tahun 2014 ) ( Doctoral dissertation , Institut Teknologi Sepuluh Nopember ) . [ 14 ] Syahrani , I. ( 2019 ) . Analisis Perbandingan Teknik Ensemble Secara Boosting ( XGBOOST ) Dan Bagging ( RANDOM FOREST ) Pada Klasifikasi Kategori Sambatan Sekuens DNA. Sekolah Pasca Sarjana Institut Pertanian Bogor. [ 15 ] Syukron , M. , Santoso , R. , & Widiharih , T. ( 2020 ) . Perbandingan Metode Smote Random Forest Dan Smote XGboost Untuk Klasifikasi Tingkat Penyakit Hepatitis C Pada Imbalance Class Data. Jurnal Gaussian , 9 ( 3 ) , 227-236. [ 16 ] Zhang , Y. , Wu , L. , & Wang , S. ( 2011 ) . Magnetic Resonance Brain Image Classification By An Improved Artificial Bee Colony Algorithm. Progress In Electromagnetics ReSearch , 116 , 67-79. [ 17 ] Guo , M. , Yuan , Z. , Janson , B. , Peng , Y. , Yang , Y. , & Wang , W. ( 2021 ) . Older pedestrian traffic crashes severity analysis based on an emerging machine learning , XGboost. Sustainability , 13 ( 2 ) , 926 9 / 9
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O B-METODE O O O O O O O O B-METODE O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Sidang Skripsi – Program Studi D-IV Komputasi Statistik Penerapan Metode Resampling Pada Klasifikasi Imbalanced Data Biner Status Ketertinggalan Desa Di Jawa Timur Hasran Nawira ( 221709732 , 4SD1 ) Dosen Pembimbing : Sukim SST , M.Si Ringkasan— Kesenjangan pembangunan merupakan masalah yang masih perlu diperhatikan di Indonesia yang diperlihatkan dengan masih adanya desa tertinggal. Jawa Timur merupakan provinsi dengan jumlah desa terbanyak kedua di Indonesia dengan jumlah desa sebanyak 8499 desa tahun 2014. Penelitian ini bertujuan untuk mengklasifikasikan desa tertinggal berdasarkan lima kabupaten yang memiliki persentase desa tertinggal tertinggi di Jawa Timur memakai data Potensi Desa 2014 , jumlahnya sebanyak 1122 desa , 116 desa termasuk kategori desa tertinggal. Komposisi data yang tidak seimbang ( imbalanced ) merupakan masalah ketika mengklasifikasikan data yang mengakibatkan prediksi menjadi tidak tepat , masalah ini bisa teratasi memakai teknik resampling data seperti Tomek Links , ENN , SMOTE , dan Kombinasinya. Metode klasifikasi yang digunakan yaitu Random Forest dan XGboost. Hasil klasifikasi data imbalanced serta data balanced dan feature importance serta data keseluruhan yang memperlihatkan bahwa dengan teknik resampling dan metode XGboost dan Random Forest mampu menghasilkan nilai F1-score dan AUC yang meningkat setelah balancing data diterapkan. Selanjutnya diperoleh hasil klasifikasi terbaik menggunakan feature importance dengan metode XGboost dan SMOTE-ENN. Kata Kunci— Desa Tertinggal , Imbalanced Data , Resampling , XGboost , Random Forest.
VII. PENUTUP 1. Model klasifikasi terbaik untuk data podes 2014 menggunakan seluruh variabel dengan metode resampling dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost didapatkan model klasifikasi terbaik yakni menggunakan XGboost dengan teknik resampling SMOTE SMOTE , ENN , Tomek-link 2. Model klasifikasi terbaik untuk data podes 2014 menggunakan importance variabel dengan metode resampling dan kombinasinya memakai metode klasifikasi Random Forest dan XGboost didapatkan model klasifikasi terbaik yakni menggunakan XGboost dengan teknik resampling SMOTE-ENN. SMOTE , ENN , Tomek-link Gambar 7. Nilai SHAP Perubahan Status Desa Tertinggal Menjadi Tidak Tertinggal 2018-2020. 3. Perbandingan Model klasifikasi terbaik menggunakan seluruh variabel dan hanya importance variabel terbaik yakni dengan didapatkan model yang menggunakan klasifikasi XGboost dengan teknik resampling SMOTE-ENN pada importance variabel karena memiliki nilai F1-score dan AUC yang lebih 8 / 9 tinggi serta kedua model juga termasuk dalam good classification. 4. Variabel mengklasifikasikan desa sebagai desa tertinggal yang mengakibatkan model gagal  Rasio tempat praktek bidan dengan jumlahpenduduk ijka rasionya lebih dari 0.01 dan kurang dari 0.1  Rasio keluarga pengguna listrik dengan jumlah rumah tangga jika rasionya lebih dari 81  Rasio Pos Kesehatan Desa dengan jumlah penduduk jika nilai rasio kurang dari 0.05 dan diatas 0.  Rasio toko kelontong dengan jumlah  penduduk jika nilainya lebih dari 0.5 Jarak kantor kepala desa / lurah ke kantor camat per kilometer jika jarak kurang dari 5 km 5. Ditahun 2020 jmlah desa yang mengalami status perubahan dari desa tertinggal di 2018 menjadi desa tidak tertinggal di tahun 2020 ada sebanyak 67 desa , sedangkan perubahan desa tidak tertinggal menjadi tertinggal di 2020 ada sebanyak 25 desa Desa dengan perubahan dari desa tertinggal ke desa tidak tertinggal disebabkan oleh beberapa faktor diantaranya  Penurunan rasio tempat praktik bidan ,  Kenaikan rasio keluarga pengguna listrik  Kenaikan rasio toko kelontong. Desa dengan perubahan dari desa tidak tertinggal ke desa tertinggal disebabkan oleh beberapa faktor diantaranya  Penurunan rasio pos kesehatan desa ,  Penurunan rasio toko kelontong  Penambahan jarak kantor kepala desa / lurah ke kantor camat
desa tahun 2014. Penelitian ini bertujuan untuk mengklasifikasikan desa tertinggal berdasarkan lima kabupaten yang memiliki persentase desa tertinggal tertinggi di Jawa Timur memakai data Potensi Desa 2014 , jumlahnya sebanyak 1122 desa , 116 desa termasuk kategori desa tertinggal. Komposisi data yang tidak seimbang ( imbalanced ini bisa teratasi memakai teknik resampling data seperti Tomek Links , ENN , SMOTE , dan Kombinasinya. Metode klasifikasi yang digunakan yaitu Random Forest dan XGboost. Hasil klasifikasi data imbalanced serta data balanced dan feature importance serta data keseluruhan yang memperlihatkan bahwa dengan teknik resampling dan metode XGboost dan Random Forest mampu menghasilkan nilai F1-score dan AUC yang meningkat setelah balancing data diterapkan. Selanjutnya diperoleh hasil klasifikasi terbaik menggunakan feature memakai metode klasifikasi Random Forest dan XGboost didapatkan model klasifikasi terbaik yakni menggunakan XGboost dengan teknik resampling SMOTE SMOTE , ENN , Tomek-link 2. Model SMOTE-ENN pada importance variabel karena memiliki nilai F1-score dan AUC yang lebih 8 / 9 tinggi serta
O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O B-METODE O O O O O O O O B-METODE O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O B-METODE I-METODE I-METODE O O O O O O O