Pembangunan Sistem Peringatan Dini Dropout Politeknik Statistika STIS Menggunakan Analytic Hierarchy Process 
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pembangunan Sistem Peringatan Dini Dropout Politeknik Statistika STIS Menggunakan Analytic Hierarchy Process Naflah Ariqah ( 221709883 , 4SI1 ) Dosen Pembimbing : Yunarso Anang , Ph.D. Ringkasan— Sebagai lembaga pendidikan tinggi , Politeknik Statistika STIS juga menghadapi permasalahan yang sama seperti perguruan tinggi pada umumnya , yaitu mahasiswa tinggal kelas dan dropout. Untuk mengatasi masalah tersebut , penelitian ini mengajukan Dropout Early Warning System ( DEWS ) atau sistem peringatan dini dropout yang dapat memberikan peringatan dini dropout dan tinggal kelas. Dengan sistem ini institusi untuk memprediksi diharapkan dapat membantu mahasiswa yang berpotensi untuk dropout atau tinggal kelas. Tujuan dari pembuatan sistem ini yaitu untuk membantu dosen pembimbing akademik serta pemangku keputusan Polstat STIS dalam mengetahui potensi dropout mahasiswa. Potensi mahasiswa dropout dan tinggal kelas diukur melalui sebuah skor potensi yang didapatkan dari hasil penilaian 5 kriteria yaitu nilai IP , jenis kelamin , faktor ekonomi , poin pelanggaran , dan catatan tinggal kelas. Hasil prediksi disajikan dalam tiga kategori yaitu potensi rendah , potensi sedang , dan potensi tinggi yang dihitung dari hasil perhitungan pembobotan dengan menggunakan proses hierarki analitik atau Analytical Hierarchy Process ( AHP ) . Uji coba sistem menggunakan uji Black Box dan evaluasi metode perhitungan menggunakan confusion matrix. Kata Kunci— Dropout , AHP , Pendidikan , DEWS I. LATAR BELAKANG Politeknik Statistika STIS ( selanjutnya disebut Polstat STIS ) merupakan sebuah perguruan tinggi kedinasan yang berada di bawah naungan Badan Pusat Statistik ( BPS ) . Mahasiswa yang berkuliah di Polstat STIS berstatus sebagai ikatan dinas dan tugas belajar. Mahasiswa dengan status ikatan dinas , setelah lulus akan diangkat menjadi calon pegawai negeri sipil di lingkungan BPS atau akan ditempatkan di kementerian atau Lembaga lain sesuai dengan penempatannya. Terdapat tiga program studi pada Polstat STIS yaitu Program Studi D-III Statistika , Program Studi D-IV Statistika , dan Program Studi D-IV Komputasi Statistik. Sebagai sebuah institusi pendidikan , Polstat STIS perlu mengatasi masalah yang berkaitan dengan akademik mahasiswa. Salah satunya yaitu masalah dropout dan tinggal kelas , di mana tercatat setiap tahunnya terdapat 5 sampai 10 mahasiswa yang ditetapkan untuk dropout dan tinggal kelas. Walaupun mahasiswa yang dropout dan tinggal kelas masih dalam jumlah yang kecil , hal ini patut untuk diperhatikan agar menghindari masalah yang lebih besar di masa yang akan datang. Dropout Early Warning System ( DEWS ) atau sistem peringatan dini dropout merupakan sistem yang dapat membantu institusi untuk memprediksi mahasiswa yang berpotensi dropout sehingga pemangku keputusan dapat memberikan tindakan lebih lanjut kepada mahasiswa tersebut. Mahasiswa yang berpotensi dropout dan tinggal kelas kemungkinan besar tidak mempertimbangkan dengan cermat apakah mereka telah melakukan hal yang benar dalam melakukan kegiatan akademik mereka. Peringatan dini yang diinformasikan oleh DEWS dapat mengarahkan mahasiswa menuju kelulusan dan menuntun mereka ke masa depan yang lebih baik. Karena permasalahan ini , banyak pemerintah luar negeri yang telah mengembangkan sistem peringatan dini putus sekolah. Misalnya , negara bagian Wisconsin di Amerika Serikat mengembangkan DEWS untuk memprediksi siswa putus sekolah [ 1 ] . Di Korea Selatan , dikembangkan juga DEWS untuk membantu sekolah mengidentifikasi siswa yang berisiko dropout dan tidak berisiko dropout [ 2 ] . Mahasiswa yang berpotensi dropout dan tidak berpotensi dropout dapat dipetakan melalui sistem peringatan dini dropout. Sistem peringatan dini dropout memungkinkan untuk memprediksi mahasiswa yang berpotensi dropout dengan menggunakan metode pengambilan keputusan. Salah satu metode pengambilan keputusan yaitu metode Analytical Hierarchy Process ( AHP ) . Dalam menentukan kriteria-kriteria yang ada , metode AHP dapat mengelola nilai inputan sesuai dengan kriteria-kriteria yang mempunyai bobot nilai tertentu , sehingga menjadikan AHP dapat digunakan sebagai pembobotan untuk memprediksi mahasiswa yang berpotensi untuk dropout atau tinggal kelas. Berdasarkan penelitian yang dilakukan oleh Imran [ 3 ] , faktor-faktor yang berhubungan dengan mahasiswa putus sekolah dari 13 peubah penjelas yang diteliti pada mahasiswa IPB dengan menggunakan analisis survival menghasilkan model terbaik dengan tiga peubah penjelas yaitu jenis kelamin , IPK , dan fakultas. Faktor jenis kelamin menjelaskan bahwa mahasiswa laki-laki memiliki peluang dropout lebih besar dibandingkan mahasiswa perempuan. Menurut Khoirunnisak dan Iriawan [ 4 ] yang melakukan penelitian pada Institut Teknologi Sepuluh November ( ITS ) dengan menggunakan analisis Bayesian mixture survival untuk memodelkan faktor-faktor yang mempengaruhi mahasiswa dropout , ditemukan faktor-faktor yang signifikan yaitu usia , perbedaan asal daerah , perbedaan penghasilan orang tua , perbedaan fakultas dan jalur masuk serta nilai IPK dan TPB. 1 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Teknologi Sepuluh November Menggunakan Analisis Bayesian Mixture Survival yang ditulis oleh Khoirunnisak dan Iriawan [ 4 ] . Penelitian ini menganalisis faktor-faktor yang mempengaruhi mahasiswa dropout atau berhenti studi di ITS. Hasil penelitian menunjukkan faktor-faktor yang berpengaruh signifikan terhadap berhenti studi mahasiswa ITS yang terdiri dari usia , perbedaan asal daerah , perbedaan penghasilan orang tua , perbedaan fakultas dan jalur masuk serta nilai IPK dan TPB. Penelitian ketiga berjudul Pembangunan Sistem Evaluasi Performa Mahasiswa Politeknik Statistika STIS Menggunakan Analytic Hierarchy Process yang ditulis oleh Mahendra Angga Pratama [ 5 ] . Penelitian ini menggunakan AHP yang digunakan untuk mengukur performa mahasiswa Polstat STIS. Dalam pengukurannya indikator-indikator yang digunakan terdiri dari nilai IP , IPKM , poin pelanggaran , dan kehadiran perkuliahan. Untuk penelitian keempat berjudul Pemanfaatan Sistem Informasi Geografis Dengan Metode Analytical Hierarchy Process ( AHP ) untuk Prediksi Daerah Rawan Banjir di Kota Semarang yang ditulis oleh Abdhika Resqy Imanda dan DR. Pulung Nurtantio Andono S. T , M.Kom [ 6 ] . Penelitian ini menggunakan metode AHP yang digunakan sebagai pembobotan untuk prediksi rawan banjir di Kota Semarang. Hasil dari penelitian ini menghasilkan sistem Informasi Geografis yang dapat dimanfaatkan sebagai prediksi daerah rawan banjir. Keempat penelitian tersebut digunakan sebagai acuan dan bahan penelitian dalam menyusun penelitian ini , baik dari sisi pembangunan indikator penilaian. sistem maupun pembangunan IV. METODE PENELITIAN Berdasarkan kedua penelitian yang telah diuraikan , dapat diambil faktor-faktor mana saja yang sesuai dengan kondisi dan lingkungan Polstat STIS. Ukuran-ukuran yang mempengaruhi dropout seharusnya bisa digambarkan untuk memprediksi mahasiswa-mahasiswa yang mungkin akan di dropout atau tinggal kelas. Untuk menyelesaikan masalah tersebut , penelitian ini mengajukan DEWS yang dapat memberikan peringatan dini dropout atau tinggal kelas mahasiswa Polstat STIS. Di mana pada sistem tersebut dibuat sebuah penilaian berupa skor yang didapatkan dari ukuran-ukuran yang mempengaruhi dropout. Skor ini dihasilkan dari proses AHP yang akan dikategorikan menjadi 3 kategori yaitu potensi rendah , potensi sedang , dan potensi tinggi untuk dropout atau tinggal kelas. Hasil dari skor tersebut akan ditampilkan kepada dosen pembimbing akademik mahasiswa yang bersangkutan. II. TUJUAN PENELITIAN Tujuan umum dari penelitian ini adalah dibangunnya sebuah sistem informasi yang dapat membantu pemangku keputusan Polstat STIS dan dosen pembimbing akademik ( PA ) dalam mengetahui potensi dropout dan tinggal kelas mahasiswa Polstat STIS. Sistem ini diharapkan dapat digunakan oleh dosen pembimbing akademik sebagai acuan untuk memberikan pengarahan atau bimbingan kepada mahasiswa yang memiliki potensi untuk dropout atau tinggal kelas. Tujuan khusus yang ingin dicapai dalam penelitian ini sebagai berikut : 1. Membuat model prediksi mahasiswa yang berpotensi dropout dan tinggal kelas dengan menggunakan AHP hingga menghasilkan skor potensi mahasiswa untuk dropout dan tinggal kelas. 2. Membangun sebuah sistem informasi peringatan dini dropout dan tinggal kelas mahasiswa menggunakan metode AHP untuk menghasilkan skor yang dibagi menjadi 3 kategori potensi yaitu potensi rendah , potensi sedang , dan potensi tinggi untuk dropout dan tinggal kelas. 3. Membangun sebuah sistem informasi yang mampu memberikan informasi potensi dropout dan tinggal kelas mahasiswa yang dapat digunakan sebagai bahan evaluasi mahasiswa. III. PENELITIAN TERKAIT Pada penelitian ini , terdapat 4 penelitian yang terkait. Penelitian pertama yaitu penelitian pada tahun 2019 yang diteliti oleh Sunbok Lee dan Jae Young Chung dengan judul The Machine Learning-Based Dropout Early Warning Sistem for Improving the Performance Dropout Prediction [ 2 ] . Penelitian ini mengembangkan sistem peringatan dini dropout yang dapat membantu sekolah untuk mengidentifikasi siswa SMA yang berisiko untuk dropout. Beberapa fitur atau variabel yang digunakan yaitu kehadiran , keterlambatan , prestasi , dan partisipasi dalam kegiatan sekolah. Penelitian ini menggunakan beberapa metode perhitungan dan menyebutkan bahwa boosted dalam tree menghasilkan decision mengidentifikasi siswa yang berisiko dropout. terbaik kinerja Penelitian kedua berjudul Pemodelan Faktor-Faktor yang Mempengaruhi Mahasiswa Berhenti Studi ( dropout ) di Institut Gambar 1. Metode Penelitian 2 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Diharapkan penelitian ini menghasilkan suatu sistem Informasi Peringatan Dini Dropout yang mampu menjadi solusi atas masalah yang telah disebutkan. Kerangka pikir penelitian ini , dapat dilihat pada gambar 2. 1. Metode Pengumpulan Data Dalam penelitian ini metode pengumpulan data yang digunakan yaitu wawancara dan studi Pustaka. Metode studi Pustaka , dilakukan studi mengenai AHP dan kasus- kasus yang berhubungan dengan sistem peringatan dini dropout. Selain itu , wawancara dan studi pustaka dilakukan untuk mendapatkan kriteria-kriteria yang digunakan sebagai acuan dalam mengukur potensi dropout dan tinggal kelas mahasiswa Polstat STIS dalam penelitian ini. 2. Metode Analisis Adapun metode analisa yang digunakan yaitu dengan menggunakan metode AHP. AHP akan menyusun hierarki sesuai dengan tujuan penilaian potensi dropout. Kriteria-kriteria yang digunakan untuk perhitungan oleh AHP adalah faktor-faktor yang berpengaruh terhadap potensi mahasiswa untuk dropout dan tinggal kelas. 3. Metode Pengembangan Sistem Metode pengembangan sistem yang digunakan pada penelitian ini adalah metode System Development Life Cycle ( SDLC ) dengan model waterfall. Tahapan-tahapan dalam pembangunan sistem ini yaitu : a. Perencanaan Sistem , pengumpulan informasi mengenai sistem yang ingin dibangun , berasal dari studi pustaka yang dilakukan. dilakukan b. Analisis sistem , identifikasi sistem yang berjalan , agar dapat diterapkan di Polstat STIS. c. Mendesain diagram proses bisnis , mendesain basis telah d. data , dan rancangan antar muka. Implementasi rancangan yang telah dibuat ke alat- alat yang sesuai dengan kebutuhan. e. Evaluasi sistem , dilakukan setelah sistem selesai dibuat dengan menguji fungsionalitas keseluruhan dari sistem dan masing-masing komponen dari sistem. 4. Metode Evaluasi Evaluasi dalam pembangunan sistem bertujuan untuk melakukan pengecekan apakah fungsi-fungsi di dalam sistem berfungsi dengan semestinya atau tidak. Kesesuaian masukan dan hasil dari fungsi yang digunakan akan diuji menggunakan uji Black Box dan perhitungan akurasi menggunakan confusion matrix. V. KERANGKA PIKIR Pada penelitian ini , topik utama yang diangkat adalah prediksi potensi dropout dan tinggal kelas mahasiswa Polstat STIS. Masalah-masalah yang ada adalah pada tiap tahun terdapat beberapa mahasiswa Polstat STIS yang mengalami dropout dan tinggal kelas dan terdapat faktor-faktor yang dapat menyebabkan dropout dan tinggal kelas di luar nilai akademik yang belum terekam saat ini. Untuk mengatasi masalah tersebut ditawarkan solusi yaitu Pembangunan Sistem Peringatan Dini Dropout menggunakan Analytic Hierarchy Process. Sistem yang telah dibangun akan dilakukan uji coba dan evaluasi menggunakan Black Box Testing dan confusion matrix. Gambar 2. Kerangka Pikir Penelitian VI. HASIL DAN PEMBAHASAN 6.1. Rancangan Sistem Usulan 1. Bisnis proses sistem yang diusulkan Gambar 3. Bisnis proses sistem yang diusulkan 3 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik kriteria yang berisi informasi mengenai prioritas untuk alternatif pada masing-masing kriteria. Gambar 3 menjelaskan mengenai proses bisnis sistem yang diusulkan untuk menyelesaikan masalah yang ada. Untuk sistem sendiri , proses dilakukan dengan mengimplementasikan AHP. Proses awal dimulai dengan memberikan prioritas dengan akan menggunakan kuesioner prioritas yang tingkat kepentingan dari setiap membandingkan kriteria satu dengan lainnya. Kemudian akan didapatkan prioritas untuk masing-masing kriteria. Setelah prioritas ditentukan , mahasiswa melakukan pengisian data yang dibutuhkan. Setelah data terkumpul , dilakukan pembaruan skor potensi dropout dan tinggal kelas mahasiswa untuk semester baru , nilai dari setiap kriteria diberikan skor berdasarkan klasifikasi masing-masing kriteria dan didapatkan skor potensi mahasiswa untuk dropout dan tinggal kelas. Untuk proses evaluasi , program studi ( prodi ) mendapatkan laporan yang dapat digunakan sebagai bahan evaluasi , sedangkan mahasiswa perlu menemui dosen PA masing-masing untuk mendapatkan evaluasi hasil potensi dropout atau tinggal kelas. 2. Diagram use case sistem usulan Diagram pada gambar 4 menjelaskan mengenai use case dari sistem yang diusulkan. Gambar 4. Diagram use case sistem usulan 3. Rancangan Database Rancanan database yang akan digunakan pada tabel seperti yang sistem usulan memiliki 14 digambarkan pada gambar 5. Tabel dosen dan tabel administrator berisi informasi yang digunakan untuk login ke dalam sistem. Tabel mahasiswa berisi informasi umum mengenai mahasiswa. Tabel list penghasilan berisi aturan pengkodean untuk sumber penghasilan mahasiswa. Tabel nilai mahasiswa berisi informasi mengenai nilai-nilai mahasiswa tiap semester akademik berisi semesternya. Tabel sedang informasi mengenai berlangsung maupun yang tidak. Tabel kriteria mahasiswa berisi data-data nilai mahasiswa yang digunakan dalam perhitungan skor potensi mahasiswa menggunakan AHP dan menyimpan skor akhir potensi mahasiswa. Tabel AHP berisikan informasi umum mengenai metode AHP yang sedang digunakan maupun metode AHP yang digunakan sebelumnya. Tabel prioritas berisi informasi prioritas untuk kriteria. Tabel skor jenis kelamin , tabel skor IP , tabel skor poin pelanggaran , tabel skor penghasilan orang tua , dan tabel skor tinggal kelas merupakan tabel alternatif semester yang Gambar 5. Rancangan ERD logical sistem usulan 4. Rancangan Arsitektur Sistem Sistem peringatan Dini dibangun berbasis web dengan memanfaatkan basis data sebagai media penyimpanan informasi atau data. Sistem ini memiliki tiga pengguna yaitu terdiri dari administrator , dosen pembimbing akademik , dan mahasiswa. 4 / 8 Gambar 6. Rancangan arsitektur sistem usulan 6.2. Implementasi Sistem Penilaian Implementasi AHP dalam sistem ini berupa sebuah hierarki yang bertujuan untuk mengukur potensi mahasiswa dropout dan tinggal kelas dengan kriteria- kriteria terpilih adalah IP , jenis kelamin , pendapatan orang tua / wali , poin pelanggaran dan catatan tinggal kelas. Kelima kriteria ini kemudian disusun dalam bentuk hierarki dengan tujuan utama yaitu mengukur potensi mahasiswa dropout dan tinggal kelas. Kemudian , dimasukkan penggunaan pengukuran relatif yang di mana alternatifnya diberikan kategorisasi bertingkat. Untuk kategorisasi bertingkat untuk kriteria IP dan poin pelanggaran ditetapkan berdasarkan nilai terdekat dari batas ketentuan untuk lanjut semester Polstat STIS serta analisis persebaran data nilai mahasiswa yang kemudian dikelompokkan menjadi 4 kategori. Kategori untuk pendapatan orang tua / wali didasarkan pada kategorisasi dari penelitian [ 4 ] . Kategorisasi jenis kelamin terdiri dari perempuan dan laki-laki serta catatan tinggal kelas terdiri dari mahasiswa yang pernah tinggal kelas dan mahasiswa yang tidak pernah tinggal kelas. Gambar 7. Implementasi AHP dalam mengukur potensi mahasiswa DO / tinggal kelas Penilaian kriteria dilakukan melalui perbandingan berpasangan. Skala yang digunakan adalah skala 1 sampai 9. Sebagai contoh dalam penghitungan prioritas , misalkan didapatkan perbandingan sebagai berikut : TABEL II CONTOH MATRIKS PERBANDINGAN Jenis kelamin IP kriteria IP 1 Jenis kelamin 0,14 7 1 Pendapatan orang tua / wali 5 0,33 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pendapatan orang tua / wali 0,20 Jumlah 1,34 3 11 1 6,33 Setelah didapatkan matriks perbandingannya , masing- masing elemen matriks perbandingan akan dibagi sesuai dengan jumlah kolomnya. Hasil pembagian dilihat pada tabel III TABEL III HASIL PRIORITAS DARI MATRIKS PERBANDINGAN Jenis kelamin IP kriteria Bobot Pendapatan orang tua / wali 0,79 IP 0,75 0,64 Jenis kelamin 0,10 0,09 Pendapatan orang tua / wali 0,15 0,27 0,05 0,16 0,73 0,08 0,19 Jumlah 1 1 1 1 Hasil dari tabel III sendiri sudah menghasilkan bobot kriteria-kriteria yaitu dengan cara mengambil rata-rata tiap barisnya. Setelah mendapatkan nilai bobot , Langkah selanjutnya adalah memeriksa konsistensi perbandingan yang ada. Pemeriksaan konsistensi dimulai dengan menjumlahkan hasil kali antara jumlah nilai pada setiap kolom dari tabel matriks perbandingan dengan nilai bobot pada setiap baris , guna mendapatkan nilai 𝜆max. 𝜆max = ( 1,34 * 0,73 ) + ( 11 * 0,08 ) + ( 6,33 * 0,19 ) = 3,06 Kemudian hitung Consistency Index ( CI ) dan Consitency Ratio ( CR ) sebagai berikut : 𝐶𝐼 = λ𝑚𝑎𝑥−𝑛 𝑛−1 = 3,06−3 3−1 = 0,03 𝐶𝑅 = 𝐶𝐼 𝑅𝐼 = 0,03 0,58 = 0,05 ( 1 ) ( 2 ) Dari nilai CR di atas didapat nilai 0,05. Dengan nilai CR < = 0,1 , maka prioritas di atas sudah konsisten. Setelah didapatkan nilai prioritas untuk masing- masing kriteria selanjutnya adalah penetapan prioritas pada alternatif masing-masing kriteria. Langkah-langkah penentuan nilai prioritas untuk alternatif tidak berbeda dengan penentuan prioritas untuk kriteria. Setelah semua prioritas sudah didapatkan , selanjutnya adalah dengan mengategorikan nilai masing-masing mahasiswa ke dalam batasan nilai alternatif untuk masing- masing kriteria. Berdasarkan perhitungan dari metode AHP dengan persamaan sebagai berikut : 5 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Antar muka beranda mahasiswa menunjukkan profil utama dari mahasiswa dan informasi mengenai nilai-nilai yang terkait dengan mahasiswa tersebut. Gambar 10. Implementasi antar muka halaman beranda mahasiswa 3. Halaman edit penilaian AHP Halaman edit prioritas pada gambar 11 berfungsi untuk menentukan nilai prioritas masing-masing kriteria. Selanjutnya , ada satu form lagi untuk menentukan prioritas alternatif masing-masing kriteria. Hasil dari form penilaian AHP ini akan terhadap nilai akhir potensi berpengaruh besar dropout dan tinggal kelas mahasiswa. Halaman ini hanya dapat diakses oleh kepala BAAK atau administrator sistem. 𝑛 ∑ 𝑋𝑖 𝑖=1 = 𝑊𝑖 ∗ 𝑉𝑖 ( 3 ) = nilai potensi DO / tinggal kelas Keterangan : 𝑛 ∑ 𝑋𝑖 𝑖=1 Wi = Bobot kriteria-i Vi = Bobot alternatif kriteria-i n = banyak kriteria Sehingga hasil dari penjumlahan gabungan nilai tersebut dapat diklasifikasikan berdasarkan tingkat potensi dropout dan tinggal kelas. Klasifikasi dilakukan dengan membagi penilaian dalam 3 kategori , yaitu potensi rendah , potensi sedang , dan potensi tinggi. 6.3. Implementasi Sistem Informasi Implementasi sistem dilakukan dengan menggunakan IDE Visual Studio Code dengan bahasa pemrograman PHP. Pengembangan aplikasi web menggunakan framework CodeIgniter. Sebagai penyimpanan data , sistem yang dikembangkan menggunakan MySQL. Berikut merupakan sebagian implementasi antarmuka Sistem Peringatan Dini Dropout Polstat STIS. 1. Halaman Login Antar muka halaman login dibagi menjadi tiga , yaitu login untuk dosen , login untuk kepala BAAK ( administrator ) , dan login untuk mahasiswa. Gambar 8. Implementasi antar muka halaman login dosen 2. Halaman Beranda Implementasi antar muka untuk halaman beranda dosen menunjukkan akumulasi mahasiswa yang diampu berdasarkan kategori potensi DO / tinggal kelas. Gambar 9. Implementasi antar muka halaman beranda dosen Sama seperti halaman beranda dosen , halaman beranda untuk kepala BAAK merupakan akumulasi dari seluruh mahasiswa Polstat STIS. Gambar 11 Implementasi antar muka halaman edit prioritas 6.4. Uji Coba dan Evaluasi Sistem Uji coba dari sistem ini dilakukan dengan cara black box testing. Pengujian ini ditujukan untuk menguji apakah fungsi-fungsi yang ada pada sistem dapat berfungsi secara baik atau tidak. Tabel 4 menunjukkan hasil dari pengujian black box. TABEL IV PENGUJIAN MENGGUNAKAN BLACK BOX TESTING 6 / 8 Test Case Berhasil Tidak Berhasil Pengguna BAAK , ( Koordinator mahasiswa , dan dosen pembimbing akademik ) melakukan login sesuai dengan username dan password yang terdapat pada database dan diarahkan ke beranda masing-masing pengguna BAAK , ( Koordinator Pengguna mahasiswa , dan dosen pembimbing dan akademik ) melakukan logout diarahkan kembali ke halaman login masing-masing pengguna Mahasiswa terhadap informasi profilnya Dosen PA melihat informasi detail dari mahasiswa yang diampunya Admin mengubah prioritas untuk kriteria maupun alternatif dari kriteria dan informasinya tersimpan serta langsung terupdate untuk prioritas yang ada di dosen PA dan di administator Admin memperbarui hasil penilaian potensi DO / tinggal seluruh mahasiswa setiap semester melakukan perubahan kelas ✓ ✓ ✓ ✓ ✓ ✓ Selanjutnya , untuk melihat manakah metode penyusunan prioritas kriteria yang memiliki performa yang lebih baik , dilakukan evaluasi menggunakan confusion matrix yang dilihat dari segi tingkat akurasi , presisi , recall , dan F-measure. Dalam penelitian ini akan menggunakan 2 model penyusunan prioritas kriteria. Model 1 dengan kriteria IP yang memiliki prioritas selanjutnya prioritas kedua yaitu poin tertinggi , pelanggaran dan jenis kelamin , prioritas ketiga pendapatan orang tua / wali , dan prioritas keempat yaitu catatan tinggal kelas. Lalu untuk model 2 kriteria IP dengan prioritas tertinggi , kemudian prioritas kedua yaitu kriteria jenis kelamin , catatan tinggal kelas , pendapatan orang tua / wali , dan poin pelanggaran. TABEL V CONFUSSION MATRIX PENYUSUNAN PRIOTAS KRITERIA MODEL 1 Nilai Prediksi True False True 20 4 Nilai Sebenarnya False 33 369 TABEL VI CONFUSSION MATRIX PENYUSUNAN PRIOTAS KRITERIA MODEL 2 Nilai Prediksi True False True 8 16 Nilai Sebenarnya False 8 394 Berdasarkan evaluasi menggunakan confussion matrix dapat diperoleh nilai akurasi , presisi , recall , dan F- measure , hasilnya dapat dilihat pada tabel 7. TABEL VII PERBANDINGAN PERFORMANSI METODE PENYUSUNAN Model Akurasi 0.9131 0.9438 1 2 Presisi 0.3774 0.5000 Recall 0.8333 0.3333 F-measure 0.5195 0.4000 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Dari tabel VII , dapat dilihat bahwa kedua model penyusunan prioritas kriteria memiliki performa yang cukup berbeda. Dibandingkan dengan model 2 , nilai akurasi , presisi , recall , dan F-measure pada model 1 masih lebih baik. Walaupun nilai akurasi model 2 lebih tinggi , namun itu tidak jauh berbeda. Karena acuan pada penelitian ini yaitu memilih model yang memiliki nilai recall dan akurasi yang tinggi. Recall yang tinggi mengartikan bahwa model lebih baik dalam memprediksi mahasiswa positif dropout atau tinggal kelas yang sebenarnya tidak dropout atau tinggal kelas daripada model yang salah memprediksi mahasiswa yang tidak dropout atau tinggal kelas padahal sebenarnya mahasiswa tersebut dropout atau tinggal kelas. Sehingga dengan kata lain lebih tidak diinginkan ada mahasiswa yang sebenarnya berpotensi dropout atau tinggal kelas namun salah dalam prediksi. Hal tersebut sesuai dengan tujuan penelitian ini yaitu membangun sistem peringatan dini dropout dan tinggal kelas , maka dari itu kecepatan informasi mengenai mahasiswa yang berpotensi dropout dan tinggal kelas lebih diutamakan dalam memberikan peringatan dini kepada mahasiswa dan akurasi menjadi prioritas kedua dalam pemilihan model. 7.1. Kesimpulan VII. PENUTUP Berdasarkan penelitian yang sudah dilakukan , diperoleh beberapa kesimpulan sebagai berikut : 1. Telah berhasil membuat model prediksi dengan menggunakan metode AHP yang menghasilkan hasil prediksi mahasiswa yang berpotensi dropout dan tinggal kelas hingga menghasilkan skor potensi mahasiswa untuk dropout dan tinggal kelas. 2. Telah dibangun sebuah sistem informasi peringatan dini dropout dan tinggal kelas mahasiswa menggunakan metode AHP untuk menghasilkan skor yang dibagi menjadi 3 kategori potensi yaitu potensi rendah , potensi sedang , dan potensi tinggi untuk dropout dan tinggal kelas. 3. Telah dibangun sistem yang mampu memberikan informasi potensi dropout dan tinggal kelas mahasiswa yang dapat digunakan sebagai bahan evaluasi. 7.2. Saran Integrasi sistem dengan Sipadu Polstat STIS Berdasarkan hasil uji coba dan evaluasi , diperoleh beberapa saran yang dapat digunakan untuk penelitian selanjutnya yaitu : 1. 2. Pembuatan fungsi untuk memberikan kriteria secara dinamis agar sistem ini dapat mengikuti perubahan- perubahan kriteria dalam menentukan mahasiswa yang berpotensi untuk dropout dan tinggal kelas. 3. Menggunakan nilai ujian PMB untuk digunakan sebagai salah satu kriteria dalam penilaian potensi dropout mahasiswa yang baru masuk. 4. Memperkuat akurasi penilaian baik dari sisi penentuan prioritas ataupun pemilihan kriteria agar 7 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik lebih tepat dalam memprediksi mahasiswa yang berpotensi dropout dan tinggal kelas. DAFTAR PUSTAKA [ 1 ] J.E. Knowles , “Of Needles and Haystacks : Building an Accurate Statewide Dropout Early Warning System in Wisconsin” , Journal of Educational Data Mining , vol. 7 , no. 3 , pp. 18-67 , 2015 [ 2 ] S. Lee and J. Y. Chung , “The Machine Learning-Based Dropout Early Warning Sistem for Improving the Performance of Dropout Prediction” , Applied Sciences , vol. 9 , no. 15 , 2015. [ 3 ] F. Imran , B. Susetyo , and , A.H. Wigena , “Identifikasi Faktor-Faktor yang berhubungan dengan Mahasiswa Putus Kuliah di IPB Angkatan 2008 menggunakan Analisis Survival” , Journal of Statistics , vol. 2 , no. 1 , pp. 1- 6 , 2013. [ 4 ] M. Khoirunnisak and N. Iriawan , “Pemodelan Faktor-Faktor yang Mempengaruhi Mahasiswa Berhenti Studi ( Dropout ) di Institut Teknologi Sepuluh November Menggunakan Analisis Bayesian Mixture Survival” , 2010. [ 5 ] M.A. Pratama , “Pembangunan Sistem Evaluasi Performa Mahasiswa Politeknik Statistika STIS Menggunakan Analytic Hierarchy Process” , Jakarta : Politeknik Statistika STIS , 2019 , pp. III. [ 6 ] A.R. Imanda and P.N. Andono , “Pemanfaatan Sistem Informasi Geografis dengan Metode Analytical Hierarchy Process ( AHP ) untuk Prediksi Daerah Rawan Banjir di Kota Semarang” , Semarang : Universitas Dian Nuswantoro Semarang , 2015. 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O B-METODE I-METODE I-METODE O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pembangunan Sistem Peringatan Dini Dropout Politeknik Statistika STIS Menggunakan Analytic Hierarchy Process Naflah Ariqah ( 221709883 , 4SI1 ) Dosen Pembimbing : Yunarso Anang , Ph.D. Ringkasan— Sebagai lembaga pendidikan tinggi , Politeknik Statistika STIS juga menghadapi permasalahan yang sama seperti perguruan tinggi pada umumnya , yaitu mahasiswa tinggal kelas dan dropout. Untuk mengatasi masalah tersebut , penelitian ini mengajukan Dropout Early Warning System ( DEWS ) atau sistem peringatan dini dropout yang dapat memberikan peringatan dini dropout dan tinggal kelas. Dengan sistem ini institusi untuk memprediksi diharapkan dapat membantu mahasiswa yang berpotensi untuk dropout atau tinggal kelas. Tujuan dari pembuatan sistem ini yaitu untuk membantu dosen pembimbing akademik serta pemangku keputusan Polstat STIS dalam mengetahui potensi dropout mahasiswa. Potensi mahasiswa dropout dan tinggal kelas diukur melalui sebuah skor potensi yang didapatkan dari hasil penilaian 5 kriteria yaitu nilai IP , jenis kelamin , faktor ekonomi , poin pelanggaran , dan catatan tinggal kelas. Hasil prediksi disajikan dalam tiga kategori yaitu potensi rendah , potensi sedang , dan potensi tinggi yang dihitung dari hasil perhitungan pembobotan dengan menggunakan proses hierarki analitik atau Analytical Hierarchy Process ( AHP ) . Uji coba sistem menggunakan uji Black Box dan evaluasi metode perhitungan menggunakan confusion matrix. Kata Kunci— Dropout , AHP , Pendidikan , DEWS
VII. PENUTUP Berdasarkan penelitian yang sudah dilakukan , diperoleh beberapa kesimpulan sebagai berikut : 1. Telah berhasil membuat model prediksi dengan menggunakan metode AHP yang menghasilkan hasil prediksi mahasiswa yang berpotensi dropout dan tinggal kelas hingga menghasilkan skor potensi mahasiswa untuk dropout dan tinggal kelas. 2. Telah dibangun sebuah sistem informasi peringatan dini dropout dan tinggal kelas mahasiswa menggunakan metode AHP untuk menghasilkan skor yang dibagi menjadi 3 kategori potensi yaitu potensi rendah , potensi sedang , dan potensi tinggi untuk dropout dan tinggal kelas. 3. Telah dibangun sistem yang mampu memberikan informasi potensi dropout dan tinggal kelas mahasiswa yang dapat digunakan sebagai bahan evaluasi. 7.2. Saran Integrasi sistem dengan Sipadu Polstat STIS Berdasarkan hasil uji coba dan evaluasi , diperoleh beberapa saran yang dapat digunakan untuk penelitian selanjutnya yaitu : 1. 2. Pembuatan fungsi untuk memberikan kriteria secara dinamis agar sistem ini dapat mengikuti perubahan- perubahan kriteria dalam menentukan mahasiswa yang berpotensi untuk dropout dan tinggal kelas. 3. Menggunakan nilai ujian PMB untuk digunakan sebagai salah satu kriteria dalam penilaian potensi dropout mahasiswa yang baru masuk. 4. Memperkuat akurasi penilaian baik dari sisi penentuan prioritas ataupun pemilihan kriteria agar 7 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik lebih tepat dalam memprediksi mahasiswa yang berpotensi dropout dan tinggal kelas.
tinggal kelas. Tujuan dari pembuatan sistem ini yaitu untuk membantu dosen pembimbing akademik serta pemangku keputusan Polstat STIS dalam mengetahui potensi dropout mahasiswa. Potensi mahasiswa dropout dan hasil perhitungan pembobotan dengan menggunakan proses hierarki analitik atau Analytical Hierarchy Process ( AHP ) . Uji coba sistem menggunakan uji Black Box dan evaluasi metode perhitungan menggunakan confusion matrix. Kata Kunci— Dropout , AHP , Pendidikan , DEWS dilakukan , diperoleh beberapa kesimpulan sebagai berikut : 1. Telah berhasil membuat model prediksi dengan menggunakan metode AHP yang menghasilkan hasil prediksi mahasiswa yang berpotensi dropout dan tinggal kelas hingga menghasilkan skor potensi mahasiswa untuk dropout dan tinggal kelas. 2. Telah dibangun sebuah sistem informasi peringatan dini dropout dan tinggal kelas mahasiswa menggunakan metode AHP untuk menghasilkan skor yang dibagi menjadi 3 kategori potensi yaitu potensi rendah , potensi sedang , dan potensi tinggi untuk dropout dan tinggal kelas. 3. Telah dibangun sistem yang mampu memberikan informasi potensi
O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O B-METODE I-METODE I-METODE I-METODE I-METODE I-METODE I-METODE O O O O B-METODE I-METODE I-METODE O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O