Pembangunan Algoritma Advanced Preprocessing untuk Data Marketplace 
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pembangunan Algoritma Advanced Preprocessing untuk Data Marketplace Wiwin Srimulyani ( 221710059 , 4SD1 ) Dosen Pembimbing : Setia Pramana , Ph.D. Ringkasan— Karakteristik dari Big Data yaitu volume , variety , dan velocity menyebabkan masalah pada kualitas data dalam proses analisis , khususnya data marketplace. Hal ini membuat tidak semua data hasil proses scraping dapat digunakan sebagai data penunjang official statistics. Oleh karena itu , perlu dilakukan preprocessing lebih lanjut untuk mendapatkan data yang lebih berkualitas. Penelitian ini bertujuan untuk membangun algoritma preprocessing , menghasilkan direktori toko aktif dari platform marketplace , dan melakukan pengecekan performa algoritma. Algoritma utama dibangun menggunakan prinsip Divide and Conquer. Dari hasil penelitian , dihasilkan algoritma preprocessing lanjutan dengan 3 tahapan , yaitu pemrosesan data barang , pembentukan toko aktif berdasarkan data barang , dan pemrosesan toko. Dari algoritma tersebut dihasilkan direktori dengan 10 atribut. Setelah pengecekan , algoritma yang dibangun tergolong sangat efisien dengan kelas fungsi notasi Big O adalah logaritma. Kata Kunci— preprocessing , marketplace , Big Data , algoritma , data cleaning. Perkembangan I. LATAR BELAKANG teknologi dan masifnya pergerakan masyarakat dalam bidang informasi membuat data bertambah secara signifikan dari waktu ke waktu. Berbagai jenis data dapat kita temui di belahan dunia dalam bentuk , tipe , dan variasi yang beragam. Teknologi yang sering kita sebut sebagai internet menjadi kunci utama dalam pertukaran data antar masyarakat dunia. fenomena pergerakan data Istilah Big Data menjadi representasi yang paling sesuai untuk menjelaskan secara eksponensial. Secara teori , Big Data mempunyai karakteristik 3V , yaitu volume , variety ( variasi ) , dan velocity ( kecepatan ) [ 1 ] . Beberapa studi juga menambahkan value ( nilai ) dan veracity ( kebenaran ) sebagai salah satu karakteristik dari Big Data [ 2 ] . Big Data dapat menjadi salah satu peluang yang dapat dimanfaatkan oleh lembaga statistik pemerintah di berbagai telah negara. Beberapa meletakkan Big Data menjadi salah satu sumber untuk melengkapi data yang dihasilkan dari metode statistik konvensional seperti sensus dan survei [ 3 ] . Data yang dihasilkan perlu dikaji lebih dalam lagi apakah data tersebut dapat berperan sebagai pengganti atau pelengkap [ 4 ] . Seperti peran media sosial untuk berbagai jenis indikator , harga yang diperoleh dari informasi web , dan masih banyak lagi. statistik pemerintah lembaga Dalam penerapannya , berbagai masalah dapat timbul akibat kelima karakteristik Big Data tersebut. Volume yang sangat besar , data yang terus menerus bertambah setiap detiknya , dan juga variasi data yang sangat beragam membuat data tersebut tidak bisa dilakukan penyimpanan atau pemrosesan secara tradisional. Terlebih lagi jika data yang disimpan bersifat unstructured. Terdapat sekitar 80 % data yang disimpan oleh organisasi bersifat unstructured [ 5 ] . Data tersebut dapat terdiri dari informasi dari media sosial , e-mail , customer call , komentar , dan masih banyak lagi. Jenis data yang beragam tersebut dapat menyebabkan berbagai masalah dalam penyimpanan , pengambilan , dan analisis data [ 6 ] . oleh data ditunjukkan Salah satu hal yang harus menjadi perhatian dalam pemrosesan Big Data adalah veracity [ 7 ] . Data yang dikumpulkan atau disimpan dapat mempunyai struktur berbeda yang akan berpengaruh pada kualitas data. Perbedaan struktur data ini dapat disebabkan oleh sumber data , teknik pemrosesan , dan metodologi pengambilan data yang dipakai [ 8 ] . Kualitas data juga dapat bergantung pada seberapa baik data tersebut terorganisasi. Istilah ini sering disebut sebagai messy data. messy ketidaklengkapan , ketidakkonsistenan , dan ketidaktepatan waktu [ 1 ] . Oleh sebab itu , Big Data dapat mengandung bias , ambiguitas , dan ketidakakuratan yang mana perlu diidentifikasi dan dihilangkan untuk mengurangi kesalahan inferensi dan meningkatkan akurasi dari insight yang didapatkan [ 8 ] . Untuk mengatasi hal ini , preprocessing dapat menjadi solusi yang tepat dalam mengatasi berbagai masalah Big Data dalam analisis [ 9 ] . Pada saat memperbaiki data , dapat dilakukan beberapa teknik preprocessing diantaranya yaitu data integration , data cleaning , data transformation , dan data reduction. Tetapi , hal yang perlu diperhatikan lebih mendalam adalah bagaimana algoritma preprocessing yang dibangun dapat berjalan secara efisien dan efektif dalam menangani masalah-masalah yang mungkin akan timbul akibat dari karakteristik Big Data. Di sisi lain , pemanfaatan teknologi dalam segi pemasaran dan industri retail berkembang sangat pesat di Indonesia. Di antara banyaknya jenis platform online yang digunakan untuk berjualan , marketplace menjadi salah satu alternatif utama masyarakat dalam berbelanja secara daring. Salah satu alasan menjamurnya platform pemasaran online atau biasa kita sebut dengan marketplace ini adalah servis yang baik dan akhirnya berdampak pada loyalitas masyarakat dalam membelanjakan uangnya [ 10 ] . Selain itu , marketplace juga menyediakan berbagai macam variasi barang dengan harga yang beragam sehingga memudahkan masyarakat dalam membeli barang yang diinginkan. Tak terlepas dari pandemi , covid-19 juga mempengaruhi pilihan masyarakat dalam menentukan tempat berbelanja. Tercatat bahwa aktivitas belanja online melonjak dari 4,7 persen menjadi 28,9 persen [ 11 ] . Hal ini tentunya dimanfaatkan 1 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik IV. METODE PENELITIAN A. Data dan Tools yang Digunakan Data yang digunakan adalah data marketplace hasil scraping. Namun , dalam penelitian ini hanya menggunakan provinsi DKI Jakarta saja dengan pertimbangan cost efficiency dan kompleksitas data. Secara keseluruhan , data yang digunakan yaitu Januari hingga Desember 2020. Namun , dalam penghitungan jumlah barang terjual setiap bulannya digunakan data mulai dari Desember 2019 hingga Januari 2021. Dalam penelitian ini menggunakan severless data warehouse , yaitu bigquery sebagai media untuk menjalankan kode. Kode dituliskan dengan menggunakan Bahasa Structural Query Language ( SQL ) . B. Metode Penelitian Berikut merupakan rancangan metode yang dipakai untuk membangun algoritma preprocessing : oleh berbagai macam platform marketplace untuk berlomba- lomba memberikan kebijakan yang akan mempengaruhi minat masyarakat dalam berbelanja , seperti menurunkan harga , memberi diskon , dan masih banyak lagi. Hal ini akan berdampak terhadap struktur data yang diambil. beberapa telah melakukan Badan Pusat Statistik Selaku Lembaga Statistik Pemerintah untuk Indonesia memanfaatkan Big Data selaku sumber data baru untuk melengkapi statistik resmi baik dalam bidang ekonomi ataupun sosial. Pemanfaatan data marketplace sendiri sudah banyak dilakukan oleh BPS diantaranya adalah tinjauan Big Data terhadap covid-19 dan pemanfaatan data marketplace untuk melengkapi frame pada survei e-commerce tahun 2020. upaya Pengumpulan data toko melalui marketplace dapat menjadi peluang yang besar bagi lembaga statistik pemerintah untuk jenis survei. melengkapi direktori Khususnya untuk direktori toko yang berkaitan dengan UMKM di Indonesia , direktori toko aktif hasil preprocessing data marketplace dapat digunakan sebagai opsi pelengkap data. toko pada berbagai Namun , hal yang perlu diperhatikan disini adalah kebebasan setiap orang untuk membuat toko dan menjual barang di platform marketplace menciptakan keberagaman data yang dihasilkan. Penjual dan pembeli dengan bebas melakukan transaksi kapan pun saja dalam 24 jam. Oleh sebab itu , terdapat sebagian data dan toko yang mengalami anomali. Anomali di sini justru timbul akibat kepraktisan dalam melakukan transaksi di platform online. Berbeda dengan toko yang secara fisik ada , penjual di platform online sering kali hanya laku di beberapa bulan saja , atau karena strategi marketing barang-barang yang dijual akan berganti-ganti sesuai tren yang terjadi di masyarakat. Oleh sebab itu , dalam penelitian ini akan dilakukan pemrosesan data marketplace dan pencarian anomali data dengan cara membangun algoritma untuk menghasilkan direktori toko aktif. II. TUJUAN PENELITIAN Berikut adalah tujuan utama dalam penelitian ini : 1. Membangun algoritma preprocessing lanjutan untuk menghasilkan toko aktif berdasarkan data barang dan data toko dari platform marketplace 2. Menghasilkan direktori toko aktif dari platform marketplace 3. Melihat performa algoritma preprocessing lanjutan yang dibangun. III. PENELITIAN TERKAIT Gambar 2. Flow Chart Metode Penelitian V. KERANGKA PIKIR Gambar 1. peta literatur ( literature map ) Gambar 3. Kerangka Pikir Penelitian 2 / 8 VI. HASIL DAN PEMBAHASAN A. Pendefinisian Sub-Masalah atau Parameter Toko Aktif Proses penentuan parameter / sub-masalah dilakukan dengan mengidentifikasi dan menelusuri data barang marketplace yang sudah dilakukan pemeriksaan validitas dan konsistensi variabel jumlah barang terjual bulanan , penghilangan outlier , dan imputasi bulan Agustus 2020. Data barang digunakan untuk menentukan aktif atau tidaknya sebuah toko. Temuan yang didapatkan akan dijadikan sebagai calon parameter / sub- permasalahan pada pendefinisian toko aktif berdasarkan data barang. Berikut merupakan temuan yang didapatkan : 1 ) Barang Tidak Pernah Terjual dalam Satu Tahun Dalam satu tahun , ada kemungkinan bahwa barang tidak pernah laku terjual. Barang tidak pernah laku terjual ditandai dengan variabel jumlah barang yang sama dengan nol selama setahun. Jika dipertahankan , hal ini tentunya akan berdampak pada efisiensi penyimpanan data. 2 ) Barang Musiman Temuan lainnya adalah barang hanya laku terjual di beberapa bulan saja atau terdapat perbedaan yang signifikan jumlah barang terjual pada bulan tertentu dengan bulan lainnya. a ) Barang yang laku terjual hanya di bulan tertentu Beberapa barang yang dijual hanya laku di bulan tertentu saja. Contohnya , Barang dengan Item ID 6103409941 , yaitu kalender tahun 2021 yang hanya laku terjual pada bulan November dan Desember 2020. Hal ini dapat terjadi akibat event tertentu , ataupun barang tersebut belum dikenal oleh pembeli. b ) Terdapat Perbedaan Penjualan yang Signifikan di Beberapa Bulan Shop ID 208558848 Item ID 4911154238 TABEL I Contoh Barang Musiman Bulan Januari Februari Maret Mei Juni Juli Agustus September Oktober November Desember Terjual_b 27 27 29 2.090 178 94 29 13 2 4 4 Barang dengan Item ID tersebut adalah produk olahan teripang segar. Musim puncak penangkapan teripang terjadi bulan Mei sampai Juli. Hal inilah yang menyebabkan produk tersebut mengalami puncak penjualan pada bulan Mei hingga Juli 2020. c ) Barang yang hanya ada beberapa bulan saja. Dalam satu tahun , terdapat barang yang hanya memiliki data beberapa bulan saja. Barang yang laku terjual di bulan tertentu tetap memiliki data yang disimpan meskipun nilai barang Makalah Skripsi – Program Studi D-IV Komputasi Statistik terjual bulanan adalah nol , sedangkan barang yang hanya ada beberapa bulan saja muncul di sebagian bulan. Misalnya , barang A muncul hanya 2 bulan sepanjang tahun 2020. Perlu diketahui bahwa tidak semua barang memiliki data lengkap di semua bulan. Hal ini dapat diakibatkan item tersebut hanya dimunculkan pada bulan-bulan tertentu oleh penjual , baru dibuat , dihapus , atau variabel jumlah barang terjual kumulatif tidak konsisten. 3 ) Barang yang Dijual Tidak Konsisten Pada prinsipnya Satu Item ID ditujukan unik untuk setiap barang. Namun , pada kenyataannya satu Item ID dapat terdiri dari beberapa barang. Beberapa penjual memilih untuk mengubah barang daripada membuat Item ID baru. Hal ini mengakibatkan ketidakkonsistenan data barang. Berikut merupakan contoh ketidakunikan Item ID : Kategori Otomotif TABEL II Contoh Barang Tidak Konsisten dalam Satu Item ID Sub-Sub Kategori Masker Sub Kategori Nama Masker scuba Aksesoris Pengendara Motor Serba Serbi Lain-lain Serba Serbi Lain-lain Fashion Bayi Anak & Pakaian Anak Perempuan Lain-lain Lain-lain Kaos Perempuan Anak Mesin press Masker scuba isi 12 pcs KAOS ANAK Dari tabel diatas satu Item ID dapat diubah-ubah kategori , sub-kategori , sub-sub kategori , dan namanya sehingga menyebabkan Item ID tidak unik lagi. B. Pendefinisian Toko Aktif berdasarkan Data Barang : Penentuan Parameter Pada tahap awal pemrosesan , dilakukan filterisasi data. Filterisasi data dilakukan untuk mendapatkan data barang dan toko yang berada di Provinsi DKI Jakarta saja. Setelah itu , data tersebut digunakan sebagai input pada proses pembersihan data , yaitu , pengecekan validitas dan konsistensi , penghilangan outlier , dan imputasi Bulan Agustus 2020. Proses tersebut menggunakan algoritma yang dirancang oleh Bustaman et al. ( 2020 ) . Gambar 4. Algoritma Keseluruhan Penentuan Toko Aktif 3 / 8 Gambar diatas adalah sub-algoritma yang digunakan untuk mendefinisikan toko aktif berdasarkan data barang. Prinsip Pembangunan algoritma menggunakan Divide and Conquer dimana permasalahan ‘toko aktif’ dipecah-pecah menjadi permasalahan sebelumnya. Kemudian , Permasalahan tersebut dijadikan parameter untuk menentukan aktif atau tidaknya suatu toko. didefinisikan sudah yang Sebelum proses pembentukan toko aktif , barang-barang yang tidak pernah terjual dalam satu tahun dihilangkan. Barang-barang yang tidak pernah terjual dalam satu tahun ditandai dengan rata-rata penjualan dalam satu tahun yang sama dengan nol. Proses filterisasi ini perlu dilakukan untuk mengurangi data-data yang akan membebani performa algoritma. Proses Divide and Conquer dilakukan untuk mendapatkan direktori toko aktif sementara berdasarkan data barang. Pada Dasarnya , prinsip penyelesaian masalah ini menggunakan data cleaning , dimana langkah pertama adalah pendeteksian diskrepansi atau discrepancy detection. Diskrepansi yang muncul dapat disebabkan oleh penjual , karakteristik barang , marketing produk , dsb. Setelah diskrepansi barang ditemukan dan diselesaikan , Data Flags dari setiap parameter , Item ID , dan Shop ID digunakan untuk menentukan aktif atau tidaknya sebuah toko dengan memodifikasi algoritma Boyer-Moore Majority Vote. 1 ) Barang yang Tidak Pernah Terjual selama Setahun Barang yang tidak pernah terjual selama setahun diwakili dengan rata-rata penjualan bulanan dalam satu tahun yang sama dengan nol. Proses ini dilakukan dengan menyaring barang dengan rata-rata penjualan tahunan lebih dari nol. Berikut merupakan kondisi sebelum dan sesudah proses filterisasi TABEL III Kondisi Sebelum dan Sesudah Proses Filterisasi Kondisi Perubahan ( % ) Jumlah Item ID Jumlah Baris Sebelum 6.957.459 24.580.029 Sesudah 4.661.132 16.504.949 -33,01 -32,85 2 ) Parameter 1 : Barang Musiman Penentuan barang musiman dilakukan dengan menghitung rasio jumlah barang terjual perbulan dengan rata-rata penjualan barang dalam setahun. Setelah itu , setiap barang akan dihitung varians dari rasio tersebut untuk digunakan sebagai parameter pertama , yaitu variance cut off. 1 Rasio Rasio dihitung berdasarkan perbandingan jumlah barang terjual setiap bulan dengan rata-rata penjualan dalam satu tahun. Setiap Item ID akan memiliki rasio tiap bulannya. Jika terjadi perbedaan penjualan yang signifikan di bulan tertentu maka rasio pada bulan tersebut akan berbeda signifikan pula dengan bulan lainnya. Berikut merupakan rumusan rasio yang digunakan : Makalah Skripsi – Program Studi D-IV Komputasi Statistik Varians rasio digunakan untuk melihat seberapa tinggi keragaman yang terjadi antar Rasio tiap bulannya dalam satu Item ID. Hal ini bertujuan untuk melihat jika ada perbedaan yang signifikan antara penjualan di bulan tertentu dengan penjualan keseluruhan. Jika terdapat penjualan bulanan yang terlalu tinggi / rendah diantara bulan lainnya maka varians akan tinggi. 3 Penentuan Cut-off Variance Penentuan cut-off dari varians menggunakan persentase kumulatif data. Jika batasan varians yang ditentukan kecil maka akan banyak data yang hilang. Oleh karena itu , dipakai nilai cut-off persentil 95 Kemudian , didapatkan nilai Variance Cut- off sebesar 3.25. 3 ) Parameter 2 : Minimum jumlah Bulan setiap Item dalam Satu Tahun Untuk menghindari kehilangan data penting penentuan cut- off dari jumlah bulan memperhatikan logika sebagai berikut - Jika jumlah bulan 4 dan terdapat A jumlah barang terjual di satu bulan , yaitu bulan ke-n maka rasio bulan ke-n adalah 4 dan varians adalah 3 ( varians memenuhi cut-off tetapi barang tidak layak masuk ) Jika jumlah bulan 5 dan terdapat A jumlah barang terjual di satu bulan , yaitu bulan ke-n maka rasio bulan ke-n adalah 5 dan varians adalah 4 ( varians tidak memenuhi Cut-off dan barang tidak layak masuk ) - Berdasarkan logika diatas maka didapatkan nilai cut-off jumlah bulan yaitu lebih dari sama dengan 5. Tentunya nilai cut-off jumlah bulan akan berbeda jika nilai persentil 95 dari varians berbeda. 4 ) Parameter 3 : Item yang tidak unik Metode yang digunakan adalah dengan cara menghitung jumlah unik ( count distinct ) dari setiap kategori , sub-kategori , sub-sub-kategori , dan nama barang dari setiap item. Nilai Cut- off digunakan untuk menentukan minimum jumlah hitung ( count ) dari setiap kategori sampai nama barang. Secara umum terdapat 2 kasus yang menyebabkan Item ID tidak unik , yaitu 1. Kategori / sub-kategori / sub-sub kategori / nama barang berbeda , tetapi barang yang dijual sama. 2. Kategori / sub-kategori / sub-sub kategori / nama barang berbeda dan barang yang dijual berbeda. Hanya segelintir data barang saja yang mempunyai kasus nomor 2. Oleh karena itu , penelitian ini memutuskan untuk menggunakan persentil 99 sebagai nilai cut-off. Hal ini bertujuan untuk menghindari kehilangan banyak data. Berikut adalah nilai Cut-off jumlah perbedaan kategori yang diberikan penjual dalam satu Item ID : TABEL IV Nilai cut off hingga Kategori Terkecil Sub-Kategori 3 3 Kategori 2 Sub-Sub-Kategori Nama Barang 4 𝑅𝑎𝑠𝑖𝑜 = 𝑇𝑒𝑟𝑗𝑢𝑎𝑙_𝑏𝑖 𝑥̅𝑡 2 Varians dari Rasio ( 1 ) Terdapat penyesuaian nilai persentil 99 pada bagian sub- kategori dan sub-sub-kategori dari nilai 2 digeser ke nilai 3 , hal ini disebabkan oleh masih banyak barang dengan kasus 1 jika sub-kategori dan sub-sub kategori menggunakan nilai 2. 4 / 8 Item yang melewati nilai Cut-off selanjutnya ditandai dan digunakan untuk penentuan toko aktif. Namun , setelah penentuan toko aktif dilakukan barang dengan Item ID tersebut akan dihilangkan. Setelah digunakan untuk menentukan toko aktif , barang yang tidak memenuhi kondisi parameter di toko aktif yang terpilih akan dihilangkan. Berikut merupakan perubahan jumlah barang dari proses Makalah Skripsi – Program Studi D-IV Komputasi Statistik C. Pendefinisian Toko Aktif berdasarkan Data Barang : Penentuan Toko Aktif berdasarkan Parameter Pembangunan algoritma penentuan toko aktif berdasarkan parameter dengan cara memodifikasi algoritma Boyer-Moore Majority Vote. Hal ini beralasan jika hanya dengan prinsip voting akan menghilangkan informasi penting pada item lainnya yang dapat melewati nilai cut-off. Berikut merupakan algoritma yang dibangun untuk menentukan toko aktif berdasarkan parameter yang ditentukan : Gambar 5. Algoritma Penentuan Toko Aktif Berdasarkan Nilai Parameter Berikut merupakan logika dari algoritma penentuan toko aktif yang dibangun : 1. Toko aktif akan ditentukan berdasarkan karakteristik barang yang dijual 2. Parameter 1 dan Parameter 2 akan digabung di tingkat data barang. Kondisi gabungan parameter akan terpenuhi jika kedua parameter terpenuhi 3. Jika dalam satu toko tidak ada satupun item yang memenuhi kondisi gabungan parameter 1 dan 2 maka toko tersebut akan dihilangkan 4. Parameter gabungan 1 dan 2 dan parameter 3 akan dihitung score di tingkat toko 5. Untuk parameter 3 akan memakai prinsip algoritma Boyer- Moore Majority Vote. Dimana parameter 3 akan terpenuhi di tingkat toko jika parameter 3 dengan label ‘terpenuhi’ menang oleh voting barang-barang di toko tersebut. 6. Jika Gabungan Parameter 1 dan 2 terpenuhi dan Parameter 3 terpenuhi maka toko tersebut dikatakan toko aktif sementara. Berikut merupakan perubahan jumlah toko yang terjadi pada pembentukan direktori toko aktif berdasarkan data barang : kondisi awal gabungan parameter 1 dan 2 parameter 3 TABEL V Perubahan Jumlah Toko jumlah toko 269.358 113.498 113.488 % perubahan -57,864 -0,009 pembentukan direktori toko aktif keseluruhan : TABEL VI Perubahan Jumlah Item ID dan Jumlah Baris Kondisi % Perubahan Sebelum 4.661.132 16.504.949 Sesudah 1.255.947 8.542.654 Jumlah Item ID Jumlah baris Pada tabel diatas dapat dilihat bahwa persentase perubahan jumlah baris jauh lebih kecil dibandingkan dengan perubahan jumlah Item ID. Hal ini berarti bahwa barang-barang yang jarang muncul dalam satu tahun berhasil dihilangkan. -73,05 -48,24 D. Pendefinisian Permasalahan di Tingkat Data Toko Pengecekan konsistensi omzet dilakukan guna untuk melihat anomali data yang masih tersisa , anomali dapat disebabkan oleh variabel harga barang yang berbeda drastis walaupun mempunyai Item ID yang sama. Metode yang digunakan untuk mengecek konsistensi omzet dalam satu tahun menggunakan rasio antara omzet bulan i dengan rata rata omzet dalam satu tahun. Berikut merupakan formula rasio yang digunakan : 𝑅𝑎𝑠𝑖𝑜 = 𝑂𝑚𝑠𝑒𝑡𝑖 𝑥̅𝑡 ( 2 ) Setelah dihitung rasio , dilakukan penghitungan terhadap varians rasio dari setiap Shop ID. Kemudian , varians diurutkan dari yang terbesar hingga terkecil. Varians terbesar dari omzet bulanan adalah 8,9. berikut merupakan distribusi omzet bulanan toko dengan varians omzet antar bulannya terbesar , yaitu 8,9 : TABEL VII Distribusi Omzet Per Bulan Toko dengan Varians Omzet antar Bulan Terbesar Bulan Februari Maret April Mei Juni Juli Agustus September Oktober November Desember Omzet 155.000 355.000 290.000 1.025.000 892.200 1.214.250 940.200 459.250 1.239.500 15.905.750 407.623.450 Dari tabel tersebut terlihat terjadi ledakan omzet pada bulan November. Lalu di bulan Desember , omzet mengalami anomali yang cukup parah. Setelah ditelusuri , permasalahan terdapat pada variasi harga yang tinggi antar bulan di Item ID yang sama. Berikut merupakan data dari Item ID 3726806370 yang merupakan salah satu penyebab omzet melambung tinggi : TABEL VIII Contoh Harga yang Mengakibatkan Omzet Jauh Berbeda 5 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Bulan April Mei Juni Juli Agustus September Oktober Desember Harga 500 500 500 500 500 500 500 150.000 Terjual_b 0 0 182 324 430 267 654 2.712 Omzet 0 0 91.000 162.000 215.000 133.500 327.000 406.800.000 % 𝑗𝑎𝑛𝑔𝑘𝑎𝑢𝑎𝑛 ℎ𝑎𝑟𝑔𝑎 = 𝑚𝑎𝑥 ( ℎ𝑎𝑟𝑔𝑎 ) −𝑚𝑖𝑛 ( ℎ𝑎𝑟𝑔𝑎 ) 𝑚𝑎𝑥 ( ℎ𝑎𝑟𝑔𝑎 ) × 100 ( 3 ) Dari hasil perhitungan yang didapatkan , persentase jangkauan harga diurutkan dari yang terbesar hingga yang terkecil. Kemudian , Item ID yang memiliki persentase perubahan harga yang besar diteliti lebih lanjut untuk mengidentifikasi penyebab , berikut merupakan hasil dari identifikasi masalah : Barang tersebut adalah produk sunscreen. Setelah diselidiki harga pasaran produk tersebut memang berada pada sekitar 150 ribu. Namun harga-harga di bulan sebelumnya sangat jauh berbeda dan tidak konsisten. Setelah dirangkum , terdapat beberapa kemungkinan hal ini dapat terjadi : 1 Barang yang dijual tidak sama TABEL IX Contoh Barang yang Dijual Tidak Sama dalam Satu Item ID Sub-Sub- Kategori Mouse Mouse Mouse Mouse Laptop Konsumer Bulan Harga Terjual_b Omzet Agustus September Oktober November Desember 165.000 165.000 165.000 165.000 13.150.000 1 0 2 0 0 165.000 0 330.000 0 0 Pada tabel diatas dapat telihat bahwa Item ID yang sama dapat menjual produk yang berbeda. Sebenernya , kasus ekstrim dari penjualan barang yang berbeda sudah dihilangkan dengan metode pembentukan toko aktif di tingkat data barang. Namun , tidak dapat menyaring kasus seperti diatas. Jika ditinjau dari segi omzet , Item ID tersebut tidak akan menimbulkan anomali di tingkat toko karena omzet masih terlihat wajar. Hal ini disebabkan oleh barang yang berbeda , yaitu laptop tidak terjual secara masif sunscreen diatas yang menyebabkan anomali di tingkat data toko. seperti produk 2 Kemungkinan lainnya Setelah di cek sampai ke nama barang , barang yang dijual di Item ID 3726806370 adalah sama. Oleh sebab itu , dapat disimpulkan bahwa lainnya yang menyebabkan harga barang dapat berbeda signifikan , diantaranya adalah metode scraping atau API dari marketplace yang bersangkutan. Tentunya , hal ini perlu didiskusikan lebih lanjut kepada pemangku kepentingan yang terkait. terdapat kemungkinan E. Shop Processing : Deteksi Anomali dan Konsistensi Variabel Harga dan Omzet di Tingkat Data Toko 1 ) Metode Pendeteksian Anomali pada Variabel Harga Perlu untuk mengecek anomali pada variabel harga di setiap Item ID yang sama. Hal ini berguna untuk mengantisipasi perbedaan besar pada omzet yang dihasilkan setiap bulannya akibat variabel harga. Pengecekan anomali harga dilakukan dengan membagi jangkauan dengan nilai maksimum harga pada Item ID yang sama. Berikut merupakan formula yang digunakan : Gambar 6. Ishikawa Diagram Omzet Bulanan Tinggi Jika masalah harga disebabkan oleh proses scraping atau API yang disediakan maka omzet akan tidak representatif. Sebaliknya , jika masalah harga disebabkan oleh barang yang dijual berbeda maka omzet tetap representative. Namun , perlu dilakukan pengkodean kembali terhadap Item ID setiap toko. Masalah lainnya adalah jika perbedaan signifikan harga disebabkan oleh flash sale / diskon , tetapi dalam kasus ini omzet tetap representatif. Solusi yang dapat dilakukan untuk mengatasi konsistensi harga adalah sebagai berikut : 1. Menghapus barang yang menyebabkan omzet di bulan tertentu melambung tinggi , dengan catatan tidak banyak barang yang terlibat untuk menghindari kehilangan banyak data. 2. Mengganti harga terendah yang mempunyai persentase jangkauan harga yang tinggi. jangkauan 1 ) Menghapus barang yang menyebabkan omzet tinggi Item yang menyebabkan omzet tinggi diidentifikasi dengan persentase harga. Dengan memperhatikan karakteristik harga dan kemungkinan perubahan harga karena efek barang yang dijual berbeda , ditentukan nilai cut-off dari persentase jangkauan harga sebesar 95 % . Berikut merupakan ringkasan data setelah barang yang menyebabkan omzet tinggi dihapus : TABEL X Kondisi Sebelum dan Sesudah Penghapusan Barang yang Menyebabkan Omzet Bulanan Tinggi Kondisi 6 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Sebelum Sesudah Item ID Shop ID 1.255.557 113.458 1.253.774 113.438 Perubahan ( % ) -0,14 -0,02 toko yang sudah diproses kemudian diberikan atribut-atribut yang dibutuhkan untuk pembentukan direktori. Berikut merupakan sebagian source system metadata yang digunakan , yaitu pada tabel direktori toko aktif : Dapat dilihat dari tabel diatas bahwa tidak ada perubahan yang berarti pada jumlah Shop ID. Sehingga , metode ini dapat dipertimbangkan untuk menghindari omzet yang tinggi di bulan tertentu. Setelah dilakukan penghapusan , varians dari omzet bulanan tertinggi pun menurun dari 8,90 ke 6,74. 2 ) Mengganti anomali harga Solusi ini hanya bisa diaplikasikan jika terdapat proses pengelompokan terhadap anomali harga terlebih dahulu. Pengelompokkan anomali harga perlu dilakukan untuk jika menentukan perlakuan dari setiap data. Tentunya perbedaan harga disebabkan oleh barang yang dijual berbeda dalam satu item ID yang sama atau karena flash sale / diskon maka penggantian anomali harga tidak dapat dilakukan karena hal tidak tersebut akan menyebabkan omzet penjual representatif. Oleh karena itu , penggantian anomali harga memerlukan perhatian khusus dan penelusuran lebih lanjut dengan melakukan konfirmasi terhadap setiap pemangku kepentingan baik dari segi subject matter ataupun pihak marketplace. Tentunya proses penggantian anomali harga akan memerlukan usaha yang ekstra. Untuk daerah DKI Jakarta , jumlah item ID yang mengalami anomali harga hanya sekitar 0,14 % . Penting atau tidaknya dampak yang ditimbulkan oleh anomali harga tergantung kepada tujuan analisis. Jika anomali tersebut akan menimbulkan masalah pada proses analisis dan mengakibatkan berubahnya kesimpulan dari sebuah penelitian maka anomali tersebut perlu diperhatikan lebih lanjut. Secara teori , kondisi anomali harga 0,14 % dari jumlah keseluruhan item ID terbilang sangat kecil. Namun , jika 0,14 % item ID tersebut akan menimbulkan perbedaan penarikan kesimpulan maka anomali tersebut perlu diperlakukan khusus. Pada pembentukan direktori toko aktif terdapat atribut omzet bulanan. Omzet bulanan yang dihitung dengan mengalikan jumlah barang terjual dengan harga akan tidak representatif jika harga yang digunakan tidak representatif pula. Oleh karena itu , fokus utama adalah anomali harga yang menimbulkan anomali omzet sehingga menyebabkan omzet di bulan tertentu akan berbeda secara signifikan. Perlu diperhatikan bahwa penyesuaian terhadap variabel harga yang menyebabkan anomali akan menimbulkan anomali lainnya atau tidak. Jika langkah tersebut akan menimbulkan anomali lainnya yang akan berpengaruh terhadap penarikan kesimpulan maka upaya tersebut tidak bisa dilakukan. Tentunya , upaya ini memerlukan penelitian lanjut yang menguraikan mekanisme rinci tentang prosedur beserta dampak yang ditimbulkan. Oleh karena hal tersebut dan jumlah anomali harga terbilang relatif kecil , upaya penghapusan menjadi opsi yang baik untuk mengatasi anomali omzet pada penelitian ini. lebih F. Pembentukan Direktori Toko Aktif Penelitian ini menghasilkan hasil 2 tabel , yaitu tabel toko aktif dan tabel barang dengan foreign key adalah shop ID yang digunakan untuk menghubungkan kedua tabel tersebut. Data TABEL XI Metadata Direktori Toko Aktif Atribut shop_id num_item Tipe String Integer annual_turnover umkm Float String username name tipe_toko provinsi kabupaten kecamatan String String String String String String Deskripsi ID unik dari setiap toko aktif jumlah barang pada toko aktif yang lolos dari preprocessing omzet tahunan toko aktif klasifikasi umkm. Mikro < = 300 juta , kecil = > 300 juta dan < = 2,5 milyar , menengah = > 2,5 milyar dan < = 50 milyar , besar > 50 milyar username yang digunakan untuk mendaftar nama took tipe toko : regular , star seller provinsi toko aktif berada kabupaten toko aktif berada kecamatan toko aktif berada Perlu digaris bawahi bahwa pada direktori yang dihasilkan tidak terdapat atribut alamat secara detail , tetapi hanya berupa ini nama provinsi , kabupaten , hingga kecamatan. Hal dikarenakan bahwa marketplace yang dipakai tidak memberikan informasi alamat toko tersebut di dalam public API yang disediakan. Hal ini dapat dikatakan wajar karena alamat merupakan bagian dari Personal Identifiable Information ( PII ) , dimana terdapat kewajiban dari setiap perusahaan untuk melindungi informasi tersebut. tetapi tidak menutup kemungkinan bahwa marketplace lain menyediakan informasi alamat secara lebih rinci. Kedepannya , jika akan to machine dengan pihak dilakukan proses machine marketplace alamat menjadi atribut yang penting untuk dipertimbangkan. G. Analisis Deskriptif Gambar 7. Distribusi Jumlah Toko Aktif Berdasarkan Klasifikasi UMKM dan Kabupaten / Kota di Provinsi DKI Jakarta Dapat dilihat pada gambar diatas bahwa mayoritas toko aktif tergolong kedalam usaha mikro yaitu sebesar 92.1 % , kemudian sisanya berturut-turut dari persentase terbesar adalah usaha kecil , menengah , dan besar. Hal ini disebabkan oleh marketplace yang digunakan dalam penelitian ini adalah marketplace berjenis customer-to-customer ( C-to-C ) , dimana 7 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik konsumen individu dapat menjual atau membeli produk dari konsumen lainnya. Sehingga , hal tersebut akan menyebabkan banyak usaha yang berjenis mikro dan kecil. G. Performa Algoritma Algoritma dianggap efisien jika konsumsi sumber dayanya ( computational cost ) berada pada atau di bawah beberapa tingkat yang dapat diterima. Secara umum , ‘dapat diterima’ berarti bahwa algoritma tersebut akan berjalan dalam jumlah waktu atau ruang yang wajar pada komputer yang tersedia biasanya fungsi dari ukuran input. Ada banyak cara untuk mengukur sumber daya yang dikonsumsi oleh algoritma. Dua ukuran yang paling umum adalah kecepatan dan penggunaan memori. Beberapa pilihan juga bergantung kepada ukuran input ke algoritma , yaitu jumlah data yang akan diproses. Dalam penelitian ini Notasi Big O Donald Knuth digunakan untuk merepresentasikan kompleksitas algoritma sebagai fungsi dari ukuran input n. dilakukan eksperimen dengan jumlah data untuk mengetahui kompleksitas menambah algoritma yang diwakili oleh Notasi Asimtotik big O. Berikut merupakan grafik dari jumlah data dibandingkan dengan runtime dalam detik dari algoritma : pembentukan toko aktif berdasarkan data barang , dan pemrosesan data toko. 2. Direktori toko aktif telah dihasilkan dari 10 atribut. 3. Kompleksitas algoritma yang dibangun terklasifikasi ke dalam fungsi logaritma , dimana dapat dikatakan algoritma yang dibangun sangat efisien. Adapun saran dari penelitian ini adalah sebagai berikut : 1. Diperlukan penelitian lebih lanjut tentang metode dalam menangani anomali harga selain dengan cara penghapusan. 2. Diperlukan pengembangan metode pada platform marketplace lain. 3. Diperlukan penelitian lebih lanjut untuk mendapatkan atribut alamat lengkap , seperti peninjauan sumber data dari marketplace lain , machine to machine , atau menggunakan Teknik Matching dengan sumber data lain. DAFTAR PUSTAKA [ 1 ] A. Sapountzi and K. E. Psannis , Big Data Preprocessing : An Application on Online Social Networks , no. July. 2020. [ 2 ] H. J. Hadi , A. H. Shnain , S. Hadishaheed , and A. H. Ahmad , “Big Data and Five V ’ S Characteristics Big Data and Five V ’ S Characteristics , ” Int. J. Adv. Electron. Comput. Sci. , vol. 2 , no. January 2015 , pp. 16–23 , 2019. [ 3 ] U. Bustaman , D. N. Larasati , Z. H. S. Putri , S. Mariyah , Takdir , and S. Pramana , “Building Effective and Efficient Procedure for Preprocessing Marketplace Data , ” ICITEE 2020 - Proc. 12th Int. Conf. Inf. Technol. Electr. doi : 10.1109 / ICITEE49829.2020.9271717. 186–191 , 2020 , Eng. , pp. [ 4 ] P. Struijs , B. Braaksma , and P. J. H. Daas , “Official statistics and Big Data , ” doi : 2014 , 1–6 , vol. no. pp. 1 , 1 , Big Data Soc. , 10.1177 / 2053951714538417. Gambar 8. Fungsi Jumlah Input Dibandingkan dengan Runtime dari Algoritma Dapat dilihat dari grafik diatas bahwa seiring bertambahnya jumlah data maka pertambahan jumlah runtime akan cenderung lebih sedikit. Maka dapat disimpulkan bahwa kompleksitas algoritma terklasifikasi sebagai fungsi logaritma. Berikut merupakan Notasi Big O : 𝑂 ( 𝑙𝑜𝑔 𝑛 ) Dapat dikatakan bahwa tingkat kompleksitas dari algoritma akan berbanding lurus dengan log dari banyaknya data. Oleh karena itu , dapat dikatakan bahwa algoritma yang dibangun sangat efisien. VII. PENUTUP Berdasarkan pemaparan yang sudah dijelaskan sebelumnya , berikut merupakan kesimpulan akhir dari penelitian ini : 1. Algoritma yang dibangun telah mampu menghasilkan direktori toko aktif dari platform marketplace dengan 3 tahapan pemrosesan DAFTAR pemrosesan data barang , [ 5 ] A. C. Eberendu , “Unstructured Data : an overview of the data of Big Data , ” Int. J. Comput. Trends Technol. , vol. 38 , no. 1 , pp. 46–50 , 2016 , doi : 10.14445 / 22312803 / ijctt-v38p109. [ 6 ] S. H. Saleh , R. Ismail , Z. Ibrahim , and N. Hussin , “Issues , Challenges and Solutions of Big Data in Information Management : An Overview , ” Int. J. Acad. Res. Bus. Soc. Sci. , vol. 8 , no. 12 , 2019 , doi : 10.6007 / ijarbss / v8- i12 / 5240. [ 7 ] A. P. Reimer and E. A. Madigan , “Veracity in big data : How good is good enough , ” Health Informatics J. , vol. 25 , no. 4 , pp. 1290–1298 , 2019 , doi : 10.1177 / 1460458217744369. [ 8 ] V. L. Rubin , “Veracity roadmap : Is big data objective , truthful and credible ? , ” Adv. Classif. Res. Online , vol. 24 , no. July , pp. 4–15 , 2014 , doi : 10.7152 / acro.v24i1.14671. [ 9 ] S. García , S. Ramírez-Gallego , J. Luengo , J. M. Benítez , and F. Herrera , “Big data preprocessing : methods and prospects , ” Big Data Anal. , vol. 1 , no. 1 , pp. 1–22 , 2016 , doi : 10.1186 / s41044-016-0014-0. [ 10 ] Sfenrianto , I. Oliver , A. Christiano , and M. P. Mulani , “Impact of E-service on customer loyalty in marketplace in Indonesia , ” J. Theor. Appl. Inf. Technol. , vol. 96 , no. 20 , pp. 6795–6805 , 2018. [ 11 ] Data Reportal , 2020. https : / / datareportal.com / reports / digital-2020-indonesia ( accessed Mar. 06 , 2021 ) . INDONESIA , ” “DIGITAL 2020 : 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O B-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Pembangunan Algoritma Advanced Preprocessing untuk Data Marketplace Wiwin Srimulyani ( 221710059 , 4SD1 ) Dosen Pembimbing : Setia Pramana , Ph.D. Ringkasan— Karakteristik dari Big Data yaitu volume , variety , dan velocity menyebabkan masalah pada kualitas data dalam proses analisis , khususnya data marketplace. Hal ini membuat tidak semua data hasil proses scraping dapat digunakan sebagai data penunjang official statistics. Oleh karena itu , perlu dilakukan preprocessing lebih lanjut untuk mendapatkan data yang lebih berkualitas. Penelitian ini bertujuan untuk membangun algoritma preprocessing , menghasilkan direktori toko aktif dari platform marketplace , dan melakukan pengecekan performa algoritma. Algoritma utama dibangun menggunakan prinsip Divide and Conquer. Dari hasil penelitian , dihasilkan algoritma preprocessing lanjutan dengan 3 tahapan , yaitu pemrosesan data barang , pembentukan toko aktif berdasarkan data barang , dan pemrosesan toko. Dari algoritma tersebut dihasilkan direktori dengan 10 atribut. Setelah pengecekan , algoritma yang dibangun tergolong sangat efisien dengan kelas fungsi notasi Big O adalah logaritma. Kata Kunci— preprocessing , marketplace , Big Data , algoritma , data cleaning. Perkembangan
VII. PENUTUP Berdasarkan pemaparan yang sudah dijelaskan sebelumnya , berikut merupakan kesimpulan akhir dari penelitian ini : 1. Algoritma yang dibangun telah mampu menghasilkan direktori toko aktif dari platform marketplace dengan 3 tahapan pemrosesan
lebih lanjut untuk mendapatkan data yang lebih berkualitas. Penelitian ini bertujuan untuk membangun algoritma preprocessing , menghasilkan direktori toko aktif dari platform marketplace , dan melakukan pengecekan performa algoritma. Algoritma utama dibangun menggunakan prinsip Divide and Conquer. Dari hasil penelitian , dihasilkan algoritma preprocessing lanjutan dengan 3 tahapan , barang , pembentukan toko aktif berdasarkan data barang , dan pemrosesan toko. Dari algoritma tersebut dihasilkan direktori dengan 10 atribut. Setelah pengecekan , algoritma yang dibangun tergolong sangat efisien dengan kelas fungsi notasi Big O adalah logaritma. Kata Kunci— preprocessing , marketplace , Big Data , algoritma , data dijelaskan sebelumnya , berikut merupakan kesimpulan akhir dari penelitian ini : 1. Algoritma yang dibangun telah mampu menghasilkan direktori toko aktif dari platform marketplace dengan 3 tahapan pemrosesan
O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O B-METODE I-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN