Klasifikasi Multimodal pada Produk Marketplace Menggunakan Convolutional Neural Network (CNN) untuk Mendukung Penyusunan Statistik E-Commerce 
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Klasifikasi Multimodal pada Produk Marketplace Menggunakan Convolutional Neural Network ( CNN ) untuk Mendukung Penyusunan Statistik E- Commerce Nurul Handayani ( 221709923 , 4SD2 ) Dosen Pembimbing : Takdir , SST. , M.T. Ringkasan— Perkembangan teknologi informasi membuat aktivitas berbelanja secara online berkembang pesat. Terkait hal tersebut , Badan Pusat Statistik ( BPS ) melakukan penyusunan Statistik E-Commerce untuk memetakan perkembangan e- commerce di Indonesia , dengan terdapat marketplace salah satunya. Produk-produk marketplace dapat dikumpulkan datanya berdasarkan klasifikasi jenis produknya. Dalam hal ini , BPS memiliki standar klasifikasi produk yang berbeda dengan standar klasifikasi produk di setiap marketplace. Oleh karena itu , perlu dibuat sistem pengklasifikasian produk marketplace yang sesuai dengan standar klasifikasi BPS untuk mendukung penyusunan Statistik E-Commerce. Pada penelitian ini , klasifikasi produk dilakukan menggunakan data multimodal dengan pengkodean teks pada nama produk yang disematkan pada gambar produk sehingga menghasilkan gambar baru. Metode untuk klasifikasi produknya yaitu Convolutional Neural Network ( CNN ) menggunakan fungsi Tensorflow. Didapatkan hasil akurasi klasifikasi produk marketplace baik pada data validasi dan data test-nya yaitu berturut-turut sebesar 90,8 % itu , peneliti membandingkan akurasi dan 91,16 % . Selain klasifikasi pada data gambar produk dengan pengkodean teks dengan data gambar produk asli. Peneliti juga menguji pemodelan klasifikasi dengan data anomali. Kata Kunci— klasifikasi produk , CNN , multimodal , pengkodean teks I. LATAR BELAKANG Seiring dengan perkembangan teknologi informasi yang sangat pesat membuat beberapa aktivitas dapat dilakukan secara digital melalui perangkat media elektronik , termasuk aktivitas berbelanja salah satunya. Berbelanja secara online bagi beberapa pihak dirasa lebih praktis , cepat , dan efisien. Perdagangan secara online melalui media elektronik seperti handphone , laptop , dan perangkat lainnya atau yang disebut dengan elektronik commerce atau e-commerce dapat memudahkan baik dari sisi penjual maupun pembelinya. Hal ini menyebabkan maraknya perdagangan via online , salah satunya melalui media marketplace. Marketplace merupakan lokasi jual beli produk dimana seller dan juga konsumen bertemu di marketplace / platform digital [ 3 ] . Pesatnya perkembangan e-commerce tersebut tentunya berpotensi pada pertumbuhan ekonomi bagi Indonesia. Terkait hal tersebut , Badan Pusat Statistik ( BPS ) selaku badan statistik resmi di Indonesia melakukan pengumpulan data terkait Statistik E- Commerce dan mempublikasi hasilnya setiap tahun guna memetakan perkembangan e-commerce di Indonesia [ 3 ] . di marketplace. Pada perhitungan Statistik E-Commerce tersebut salah satunya dapat dilihat berdasarkan produk barang / jasa yang Produk-produk marketplace dijual diklasifikasikan berdasarkan kategori jenis produknya. Dalam hal ini , BPS memiliki standar pengklasifikasian produk yang berbeda dengan sistem pengklasifikasian produk di setiap marketplace. Oleh karena sistem pengklasifikasian produk marketplace yang sesuai dengan kebutuhan BPS dalam klasifikasi produk untuk mendukung penyusunan Statistik E-Commerce. itu , perlu dibuat Pada penelitian produk marketplace sehingga menghasilkan ini , klasifikasi produk dilakukan menggunakan metode Convolutional Neural Network ( CNN ) dengan pendekatan multimodal yang menggabungkan gambar dengan nama produk , dimana nama-nama produk dilakukan pengkodean teks dan disematkan pada gambar produk yang suatu gambar baru. berkaitan Penggunaan pengkodean teks atau text encoding pada nama produk yang disematkan pada gambar produk berdasarkan penelitian [ 5 ] dapat meningkatkan performa klasifikasi dan menghilangkan ambiguitas pada produk marketplace. Ambiguitas pada produk marketplace yang dimaksud adalah , pada yang mencantumkan nama produk dengan jelas namun gambar produk tidak teridentifikasi dengan jelas kategorinya , atau penjual yang mencantumkan gambar produk dengan jelas namun nama produk tidak dapat dengan jelas teridentifikasi kategorinya. Sehingga hasil akurasi klasifikasi pada data multimodal dapat meningkat jika dibandingkan dengan data unimodal yang hanya menggunakan teks saja atau gambar saja. Selain itu , metode Convolutional Neural Network ( CNN ) digunakan untuk proses klasifikasi produk marketplace. CNN merupakan metode untuk klasifikasi gambar yang dapat melakukan pelatihan data untuk identifikasi gambar secara otomatis [ 8 ] . Berdasarkan [ 1 ] dan [ 6 ] , metode CNN menghasilkan akurasi yang tinggi dan lebih baik pada masalah klasifikasi dengan kategori kelas yang banyak dibandingkan dengan metode klasifikasi gambar lainnya. terdapat penjual Pemodelan CNN tersebut diimplementasikan menggunakan library Tensorflow. Tensorflow merupakan salah satu perangkat lunak open source yang terdapat pada bahasa ini pemrograman Python [ 9 ] . Penggunaan Tensorflow 1 / 8 berdasarkan penelitian [ 9 ] dapat membuat pemodelan CNN menjadi lebih cepat. Untuk meningkatkan performa klasifikasi , model CNN dilatih menggunakan parameter ukuran batch ( batch size ) . Ukuran batch merupakan parameter yang paling berpengaruh untuk meningkatkan akurasi klasifikasi [ 10 ] . Parameter ini jumlah sampel pelatihan yang akan merepresentasikan digunakan selama pelatihan untuk membuat satu pembaruan pada parameter jaringan [ 10 ] . Penggunaan ukuran batch ini dapat mengefisiensikan waktu pelatihan model CNN [ 11 ] . Peneliti melakukan perbandingan akurasi klasifikasi pada gambar produk yang dilakukan text encoding pada nama produknya dengan gambar produk asli yang tidak dilakukan text encoding. Hal ini dilakukan untuk melihat bagaimana keterbandingan hasil akurasinya. Selain itu , peneliti juga melakukan pengujian model klasifikasi pada data anomali , yaitu data gambar produk yang sulit diidentifikasi kategorinya oleh pemodelan CNN karena gambar produk tidak menampilkan karakteristik produk dengan jelas. II. TUJUAN PENELITIAN Tujuan pada penelitian ini adalah sebagai berikut : 1. Merancang mekanisme untuk klasifikasi produk marketplace agar sesuai dengan standar klasifikasi yang ditetapkan BPS. 2. Mengevaluasi mekanisme pengklasifikasian produk marketplace yang disusun. III. PENELITIAN TERKAIT Berikut ini beberapa penelitian terkait implementasi metode Multimodal Fusion dan metode Convolutional Neural Network ( CNN ) yang dijadikan bahan acuan pada penelitian ini. Pada penelitian [ 5 ] dilakukan klasifikasi multimodal menggunakan gambar dan deskripsi teks pada produk e- commerce. Produk e-commerce diklasifikasikan dengan penyematan text encoding pada deskripsi teks dengan gambar produk dan menghasilkan suatu gambar yang disebut information enriched image. Proses text encoding dilakukan menggunakan metode CNN untuk klasifikasi teks. Gambaran proses ini dapat dilihat pada Gambar 1. Kemudian , dari gambar multimodal yang diperoleh dilakukan proses klasifikasi produk menggunakan metode CNN. Pada penelitian [ 5 ] , dilakukan perbandingan performa hasil klasifikasi produk dengan menggunakan teks saja , gambar saja , dan gabungan teks dan gambar dari hasil penyematan text encoding pada gambar produk. Hasilnya menunjukkan bahwa penggabungan teks dengan gambar untuk klasifikasi menghasilkan akurasi yang lebih tinggi. Selain itu , dilakukan perbandingan performa akurasi klasifikasi menggunakan pendekatan multimodal lainnya , yaitu metode early fusion dan late akurasi menggunakan pendekatan multimodal dengan penyematan text encoding pada gambar produk menghasilkan nilai akurasi yang lebih tinggi. fusion. Hasilnya menunjukkan bahwa Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 1. Gambaran Pengkodean Teks Pada Nama Produk dengan Gambar Produk. Pada penelitian [ 9 ] , dilakukan klasifikasi gambar menggunakan Advanced Convolutional Neural Network di mana klasifikasi produk dilakukan dengan kerangka kerja Tensorflow menggunakan bahasa pemrograman Python. Pada penelitian tersebut juga dilakukan perbandingan performa akurasi klasifikasi dengan metode lain , yaitu DNN , CNN tanpa kerangka kerja Tensorflow , dan Transfer Learning. Hasilnya menunjukkan bahwa penggunaan metode Advanced CNN menghasilkan nilai akurasi lebih tinggi , yaitu sebesar 95 % dibandingkan dengan metode lainnya. Pada penelitian [ 6 ] dilakukan perbandingan performa klasifikasi gambar pada metode Support Vector Machine ( SVM ) dengan CNN dan didapatkan bahwa CNN memberikan akurasi yang konsisten baik pada masalah klasifikasi biner maupun multiclass , sedangkan untuk metode SVM hanya memberikan akurasi yang lebih baik pada klasifikasi biner. Pada penelitian [ 6 ] penerapan metode CNN dibangun dengan package Tensorflow dan Keras. Pada penelitian [ 8 ] dan [ 4 ] dilakukan klasifikasi gambar menggunakan metode CNN , yang dibangun menggunakan kerangka Tensorflow dengan jaringan yang dapat bekerja pada CPU. Dari penelitian tersebut , peneliti mengidentifikasi bagaimana struktur CNN diimplementasikan dan mengamati bagaimana struktur jaringan CNN dibangun untuk proses klasifikasi. Pada penelitian [ 10 ] , dilakukan penelitian terkait performa pemodelan CNN yang dilatih menggunakan parameter ukuran batch. Dari penelitian tersebut didapatkan bahwa penggunaan ukuran batch mempengaruhi proses pelatihan CNN pada aspek waktu dan jumlah overfitting. IV. METODE PENELITIAN A. SUMBER DATA Pada penelitian ini , dataset yang digunakan bersumber dari halaman web marketplace Tokopedia menggunakan nama produk dan gambar produk. Kategori untuk klasifikasi produk yang digunakan adalah kategori berdasarkan jenis barang yang diimplementasikan oleh BPS dalam penyusunan Statistik E-Commerce [ 3 ] . Penyusunan data training dilakukan dengan terlebih dahulu mengamati produk-produk pada halaman web Tokopedia untuk melihat bagaimana karakteristik produk- 2 / 8 produknya dan mengumpulkan datanya secara manual pada setiap produk untuk memastikan kebenaran data training yang disusun sesuai dengan kategorinya. Selain itu , dilakukan verifikasi data oleh 3 orang selain peneliti untuk memberikan jaminan bahwa data training yang disusun sudah sesuai dengan kategorinya. klasifikasi percobaan Peneliti melakukan dengan mengambil 6 kategori untuk klasifikasi produk , yaitu 2 produk elektronik berupa oven dan printer , 2 produk gadget berupa laptop dan handphone , dan 2 produk furnitur rumah tangga berupa kasur dan sofa. Data training yang digunakan untuk pemodelan klasifikasi berjumlah 1000 produk untuk setiap kategorinya dan data test berjumlah 100 produk untuk setiap kategori , sehingga training yang digunakan berjumlah 6000 produk , dengan 16 % data dipilih secara acak untuk data validasi , sehingga data training untuk pelatihan model klasifikasinya berjumlah 5040 produk dan data validasi untuk perhitungan akurasi model klasifikasinya berjumlah 960 produk , serta test untuk pengujian model klasifikasinya berjumlah 600 produk. total data total data B. METODOLOGI Pada penelitian ini digunakan 2 metode untuk yaitu metode produk marketplace , pengklasifikasian Multimodal Fusion dengan pengkodean teks pada nama produk dan disematkan pada gambar produk yang berkaitan , dan metode Convolutional Neural Network ( CNN ) untuk proses klasifikasi pada gambar produk hasil penyematan teks yang dikodekan. Metode Multimodal Fusion , merupakan implementasi dari penelitian [ 5 ] . Metode Multimodal Fusion merupakan metode yang menggabungkan teks dengan gambar produk. Metode ini bekerja dengan pengkodean pada dokumen teks , dalam hal ini adalah nama produk , dan disematkan pada gambar produk sehingga menghasilkan suatu data multimodal baru. Proses pengkodean teks dilakukan dengan menggunakan metode CNN untuk klasifikasi teks. Pada jaringan CNN tersebut terdapat convolutional layer , maxpooling layer , dan fully connected fully connected layer , fitur teks diekstraksi dan ditransformasi menjadi pengkodean RGB sehingga dapat dilapiskan dengan gambar produk yang berkaitan. Pada fully connected layer tersebut , dilakukan perubahan bentuk yang mengubah array menjadi sebuah gambar yang merepresentasikan pengkodean teks untuk dilapiskan pada gambar aslinya [ 5 ] . Gambaran dari proses ini dapat dilihat pada Gambar 1. layer. Pada proses klasifikasi teks di Selanjutnya yaitu proses klasifikasi produk marketplace menggunakan metode Convolutional Neural Network ( CNN ) . Data yang digunakan pada tahap ini adalah data gambar hasil pengkodean nama produk pada gambar produk. Pemodelan CNN ini dilakukan dengan menggunakan fungsi Tensorflow. Struktur jaringan CNN memiliki input layer , output layer , dan hidden layer. Pada hidden layer terdiri dari convolutional layer , flatten layer , dan fully connected layer [ 8 ] . Lapisan pertama yaitu convolutional layer , tugas utamanya adalah untuk mengekstraksi [ 8 ] . CNN bekerja dengan memindahkan filter pada input gambar yang berfungsi untuk mengenali pola di seluruh input gambar. Input gambar fitur Makalah Skripsi – Program Studi D-IV Komputasi Statistik diproses pada lapisan konvolusi menggunakan filter-weight [ 11 ] . Filter tersebut berukuran lebih kecil dari ukuran gambar. Pada lapisan ini dilakukan perkalian matriks pada filter dan potongan gambar berukuran filter. Filter digeser ke seluruh gambar untuk menghitung output di seluruh gambar. Lapisan selanjutnya yaitu maxpooling layer , digunakan untuk mengurangi dimensi ukuran spasial ( tinggi , lebar ) gambar. Maxpooling layer mengurangi ukuran gambar menjadi setengah lebih kecil dari ukuran sebelumnya. Selanjutnya flatten layer , digunakan untuk mengubah gambar 3 dimensi menjadi satu dimensi. Pada lapisan ini , output dari lapisan konvolusi sebelumnya diratakan strukturnya menjadi sebuah vektor tunggal yang dapat digunakan pada lapisan selanjutnya , yaitu fully connected layer. Fully connected layer melakukan tugas klasifikasi gambar berdasarkan kelas / kategori yang telah ditentukan [ 8 ] . V. KERANGKA PIKIR Kerangka pikir pada penelitian ini ditunjukkan pada Gambar 2 yang merupakan gambaran bagaimana penelitian ini dilakukan. Gambar 2. Kerangka Pikir Penelitian. Tahap pertama yaitu mengidentifikasi permasalahan , di mana BPS memiliki standar klasifikasi produk yang berbeda dengan sistem klasifikasi di setiap marketplace. Dari permasalahan tersebut kemudian ditentukan tujuan penelitian , yaitu merancang mekanisme klasifikasi produk marketplace yang sesuai kebutuhan BPS untuk mendukung penyusunan Statistik E-Commerce dan mengevaluasi hasilnya. Setelah itu dilakukan studi literatur untuk menentukan metode klasifikasi produk. Peneliti menerapkan 2 metode untuk klasifikasi produk , yang pertama yaitu metode multimodal fusion untuk menggabungkan nama dengan gambar produk menggunakan text encoding pada nama produk dan disematkan pada gambar produk sehingga menghasilkan data multimodal baru berupa 3 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik suatu gambar. Kemudian mengimplementasikan metode CNN untuk klasifikasi gambar hasil penggabungan teks dengan gambar aslinya. Kemudian diterapkan metode CNN untuk klasifikasi gambar hasil penggabungan teks dengan gambar produk. Dalam mengimplementasikan metode tersebut , dilakukan pengumpulan data berupa nama dan gambar produk marketplace , kemudian dilakukan penggabungan nama dengan gambar produk dengan text encoding , selanjutnya dilakukan perancangan model CNN untuk pelatihan data training , setelah terbentuk diuji itu model CNN yang menggunakan data test , dan didapatkan akurasi klasifikasinya , baik pada data validasi dari pelatihan modelnya maupun pada data test dari pengujian model klasifikasi yang terbentuk. Pada tahap terakhir dari penelitian ini , peneliti mengevaluasi rancangan klasifikasi yang disusun. VI. HASIL DAN PEMBAHASAN Gambar 4. Tahapan Penerapan Metode CNN Tahap pertama yaitu mempersiapkan dataset berupa data multimodal , yang merupakan penggabungan nama produk text encoding. dengan gambar produk menggunakan Kemudian menginstall package yang diperlukan untuk pemodelan , salah satunya yaitu package Tensorflow untuk membangun lapisan-lapisan pada jaringan CNN. Setelah itu menginisialisasi hyperparameter untuk pemodelan CNN. Pada penelitian ini , hyperparameter yang digunakan adalah input gambar berukuran 128x128 piksel , filter di setiap lapisan konvolusi berukuran 3x3 piksel , jumlah filter untuk lapisan konvolusi ke-1 , 2 , dan 3 berturut-turut adalah 32 , 32 , dan 64. Selain itu , total neuron pada fully connected layer adalah 128 neuron , color channel adalah 3 , dan ukuran batch-nya yaitu 32. Tahap selanjutnya yaitu pemodelan CNN dengan membangun lapisan-lapisan jaringan CNN menggunakan dari fungsi convolutional layer yang diikuti maxpooling layer , keduanya sebanyak 3 lapisan berturut-turut , kemudian flatten layer , dan fully connected layer. Pada tahap ini digunakan fungsi aktivasi ReLU. Hasil pemodelan metode CNN menggunakan fungsi Tensorflow ditunjukkan pada Gambar 5. Pemodelan ini dihasilkan berdasarkan inisialisasi hyperparameter yang telah ditentukan. Lapisan-lapisannya Tensorflow. terdiri Pada penelitian ini , peneliti melakukan percobaan klasifikasi pada sistem operasi Windows 10 dengan sistem CPU , menggunakan bahasa pemrograman Python dan membuat model CNN berbasis fungsi Tensorflow. Implementasi metode multimodal fusion digunakan agar diperoleh data multimodal. Pada penelitian ini , nama produk yang ditransformasi kemudian disematkan menjadi gambar RGB dengan ukuran gambar diatur menjadi 227 x 227 piksel. Gambar 3 menunjukkan contoh produk sebelum dan sesudah proses text encoding pada gambar produk. Gambar-gambar produk hasil text encoding tersebut kemudian menjadi input pada struktur jaringan CNN untuk proses klasifikasi gambar. Gambar 3. Contoh Produk Sebelum dan Sesudah Proses Text Encoding Selanjutnya yaitu implementasi metode Convolutional Neural Network ( CNN ) yang dapat melakukan pelatihan data untuk identifikasi objek pada suatu gambar. Metode ini digunakan untuk proses klasifikasi gambar. Gambar 4 di berikut merupakan tahapan penerapan metode CNN untuk klasifikasi produk. Gambar 5. Hasil Pemodelan CNN menggunakan Fungsi Tensorflow 4 / 8 Tahap selanjutnya yaitu pelatihan model CNN dengan menggunakan optimizer Adam , dengan epoch sebanyak 25 , Categorical Crossentropy sebagai fungsi loss dan learning rate sebesar 0.0001. Pada pelatihan model CNN ini , didapatkan nilai akurasi dari perhitungan jumlah produk yang benar diklasifikasikan per total produk pada data validasi. Pada tahap ini peneliti melakukan perbandingan performa klasifiksi gambar produk yang telah dilakukan text encoding dengan gambar produk asli tanpa proses text encoding. Hal tersebut dilakukan karena data multimodal untuk klasifikasi produknya berupa suatu gambar , sehingga peneliti ingin melihat bagaimana keterbandingan akurasi klasifikasi pada data multimodal yang berbentuk gambar dengan data gambar produk asli. Setelah itu , dilakukan pengujian dengan data test. Peneliti mengukur akurasi dari data test untuk melihat apakah itu , hasil pemodelannya overfitting atau dilakukan juga pengujian pada data anomali. Data anomali ini merupakan data gambar produk yang sulit untuk diidentifikasi kategorinya oleh model klasifikasi karena gambar tersebut tidak menampilkan karakteristik produk dengan jelas. Gambar 6 berikut ini merupakan contoh data anomali untuk pengujian model klasifikasi. tidak. Selain Gambar 6. Contoh Gambar Produk Pada Data Anomali Hasil akurasi klasifikasi produk dapat dilihat pada Tabel I. Peneliti melakukan perbandingan akurasi klasifikasi pada gambar produk yang dilakukan text encoding dan tanpa text encoding. Selain itu peneliti juga membandingkan akurasi hasil pemodelan CNN pada data validasi dengan akurasi pada data test-nya. TABEL I PERBANDINGAN AKURASI KLASIFIKASI PRODUK Data validasi Data test Dataset Akurasi Jumlah produk yang benar diprediksi Akurasi Jumlah produk yang benar diprediksi Dengan text encoding Tanpa text encoding 90,8 % 872 / 960 91,16 % 547 / 600 74,4 % 714 / 960 71 % 426 / 600 Makalah Skripsi – Program Studi D-IV Komputasi Statistik bahwa klasifikasi Hasilnya menunjukkan produk menggunakan gambar yang dilakukan text encoding pada nama produknya menghasilkan nilai akurasi yang lebih tinggi. Akurasi pada data validasinya yaitu sebesar 90.8 % dengan 872 produk diklasifikasikan dengan benar dari total 960 produk pada data validasi , dan akurasi pada data test-nya yaitu sebesar 91,6 % dengan 547 produk diklasifikasikan dengan benar dari total 600 produk pada data test. Sedangkan , pada pemodelan klasifikasi produk dengan gambar asli tanpa text encoding menghasilkan nilai akurasi yang lebih rendah , yaitu sebesar 74,4 % pada data validasinya , dengan 714 produk tepat diklasifikasikan sesuai kategorinya dari total 960 produk , dan akurasi pada data test-nya yaitu sebesar 71 % , dengan produk yang tepat diklasifikasikan sesuai kategorinya yaitu sebanyak 426 dari total 600 produk pada data test. Hasil ini sudah sesuai dengan penelitian [ 5 ] yang menyatakan bahwa pengkodean teks pada gambar produk menghasilkan nilai akurasi yang lebih tinggi. Tabel II di bawah ini merupakan confusion matrix hasil pemodelan CNN pada gambar produk yang dilakukan text encoding pada data validasi. Pada tabel tersebut , baris menunjukkan total produk yang diprediksi oleh pemodelan CNN pada setiap kategorinya. Misalkan pada produk oven , dari 172 produk pada data validasi , 157 produk diprediksi dengan benar , sedangkan 5 produk salah diklasifikasikan ke dalam kategori printer , 2 produk menjadi kasur , 2 produk lainnya menjadi sofa , 5 produk menjadi handphone dan 1 produk diprediksi menjadi laptop. TABEL II CONFUSION MATRIX HASIL PEMODELAN CNN PADA DATA VALIDASI DENGAN ENCODING TEXT Oven Printer Kasur Sofa HP Laptop Oven 157 Printer Kasur Sofa HP Laptop 0 1 2 8 2 5 156 5 3 3 3 2 1 130 2 0 1 2 4 7 152 2 5 5 2 3 2 142 1 4 4 0 6 3 135 Sedangkan Tabel III di bawah ini merupakan confusion matrix hasil pemodelan CNN pada data validasi tanpa text encoding. Dapat dilihat pada Tabel III bahwa kebanyakan produk pada data validasi tanpa text encoding menghasilkan kesalahan yang lebih banyak dibandingkan pada Tabel II , yaitu data validasi dengan proses text encoding. 5 / 8 TABEL III CONFUSION MATRIX HASIL PEMODELAN CNN PADA DATA VALIDASI TANPA ENCODING TEXT TABEL V TOTAL KESALAHAN KLASIFIKASI PADA DATA VALIDASI TANPA TEXT ENCODING Makalah Skripsi – Program Studi D-IV Komputasi Statistik oven printer kasur sofa laptop Data tanpa text encoding hp 10 1 9 oven 105 printer 11 kasur sofa hp laptop 4 5 1 8 18 136 12 14 2 18 3 6 110 9 1 8 17 11 16 6 12 105 13 160 9 98 4 5 7 3 3 Berdasarkan confusion matrix pada Tabel II dan Tabel III , dapat dirangkum hasilnya untuk melihat karakteristik produk yang diklasifikasikan pada Tabel IV dan Tabel V di bawah ini. Dapat dilihat bahwa secara keseluruhan , klasifikasi pada data gambar yang tidak dilakukan text encoding menghasilkan total produk yang salah diklasifikasikan lebih banyak dibandingkan pada data gambar yang dilakukan text encoding. Pada Tabel IV yang menunjukkan jumlah kesalahan produk yang dikategorikan pada data validasi yang dilakukan text encoding , dengan kategori produk kasur , hp , dan laptop merupakan kategori dengan persentase produk yang salah dikategorikan paling banyak , yaitu berturut-turut adalah 13.3 % , 11.8 % , dan 9.4 % . Total error pada produk yang salah diklasifikasi pada data dengan text encoding sebesar 9.2 % . TABEL IV TOTAL KESALAHAN KLASIFIKASI PADA DATA VALIDASI DENGAN TEXT ENCODING Data dengan text encoding Kategori produk oven printer kasur sofa hp laptop Total Total produk pada data validasi 172 167 150 161 161 149 960 Total produk yang salah dikategorikan Persentase produk yang salah dikategorikan 15 11 20 9 19 14 88 8,7 % 6,6 % 13,3 % 5,6 % 11,8 % 9,4 % 9,2 % Kategori produk oven printer kasur sofa hp laptop Total Total produk pada data validasi 157 170 158 149 173 153 960 Total produk yang salah dikategorikan Persentase produk yang salah dikategorikan 52 34 48 44 13 55 246 33,1 % 20,0 % 30,4 % 29,5 % 7,5 % 35,9 % 25,6 % Dari Tabel IV dan Tabel V , perbandingan kesalahan pada data yang dilakukan proses text encoding dengan data tanpa text encoding untuk setiap kategorinya menghasilkan total kesalahan yang lebih besar pada data tanpa text encoding kecuali pada kategori handphone. Dan secara keseluruhan dapat dilihat bahwa klasifikasi pada data gambar tanpa text encoding menghasilkan persentase produk yang salah diklasifikasikan lebih besar , yaitu 25,6 % , sedangkan pada data gambar dengan text encoding persentase error-nya yaitu sebesar 9,2 % . Tabel VI berikut ini merupakan confusion matrix hasil pengujian model klasifikasi pada data test yang dilakukan text encoding. Dapat dilihat bagaimana detil produk yang benar dan salah diklasifikasikan pada setiap kategorinya. TABEL VI CONFUSION MATRIX HASIL PEMODELAN CNN PADA DATA TEST DENGAN TEXT ENCODING Oven Printer Kasur Sofa HP Laptop Oven 92 Printer Kasur Sofa HP Laptop 1 0 0 4 3 1 93 2 1 1 0 1 2 94 0 2 1 0 1 2 97 5 5 4 2 0 1 84 4 2 1 2 1 4 87 Sedangkan Tabel V menunjukkan jumlah kesalahan produk yang dikategorikan setiap produknya pada data validasi tanpa proses text encoding. Kategori produk laptop , oven , dan kasur merupakan kategori dengan persentase produk yang salah dikategorikan paling banyak , yaitu berturut-turut sebesar 35.9 % , 33.1 % , dan 30.4 % . Total error pada produk yang salah diklasifikasikan pada data tanpa proses text encoding sebesar 25.6 % . Sedangkan Tabel VII berikut ini merupakan confusion matrix pada data test yang tidak dilakukan proses text encoding. Sama halnya pada confusion matrix pada data validasi , dapat dilihat pada Tabel VII bahwa kebanyakan produk pada data test tanpa text encoding menghasilkan kesalahan yang lebih banyak dibandingkan pada Tabel VI , yaitu data test dengan proses text encoding. 6 / 8 Kategori produk Oven Printer Kasur Sofa HP Jumlah produk yang salah diprediksi per total produk 8 / 100 7 / 100 6 / 100 3 / 100 16 / 100 Laptop 13 / 100 TABEL VII CONFUSION MATRIX HASIL PEMODELAN CNN PADA DATA TEST TANPA TEXT ENCODING Oven Printer Kasur Sofa HP Laptop Oven 62 Printer Kasur Sofa HP Laptop 5 4 3 6 1 12 83 5 12 2 9 3 0 72 7 3 8 13 9 11 67 2 18 8 2 4 8 87 9 2 1 4 3 0 55 Rangkuman dari hasil confusion matrix pada Tabel VI dan VII di atas ditunjukkan pada Tabel VIII , terkait total produk yang salah diklasifikasikan di setiap kategorinya pada data test baik dengan text encoding maupun tanpa text encoding. TABEL VIII PERBANDINGAN TOTAL KESALAHAN KLASIFIKASI PADA DATA TEST Data test dengan text encoding Persentase produk yang salah diklasifikasika n Data test tanpa text encoding Jumlah produk yang salah diprediksi per total produk Persentase produk yang salah diklasifikasika n 8 % 7 % 6 % 3 % 16 % 13 % 38 / 100 17 / 100 28 / 100 33 / 100 13 / 100 45 / 100 38 % 17 % 28 % 33 % 13 % 45 % 29 % Total 53 / 600 8,83 % 174 / 600 Pada gambar produk dengan text encoding yang salah diklasifikasikan pada data test , kategori produk handphone , laptop , dan oven memiliki total error paling banyak , yaitu berturut-turut persentasenya sebesar 16 % , 13 % , dan 8 % . Sedangkan pada gambar produk tanpa text encoding pada data test , kategori produk laptop , oven , dan sofa memiliki total error terbesar , yaitu berturut-turut persentasenya sebesar 45 % , 38 % , dan 33 % . Selain itu , sama halnya dengan kesalahan pada data validasinya , data test tanpa proses text encoding menghasilkan total kesalahan yang lebih besar untuk setiap kategorinya kecuali pada kategori handphone. Dan total error secara keseluruhan menunjukkan bahwa error pada data test tanpa lebih besar , yaitu 29 % . Sedangkan text encoding-nya persentase error pada data test dengan text encoding-nya yaitu 8,83 % . Total kesalahan pada kategori handphone yang lebih besar pada data dengan text encoding dibandingkan pada data tanpa text encoding tersebut dapat menunjukkan bahwa data training yang digunakan untuk pemodelan klasifikasi pada semua datanya mewakili kategori handphone belum Makalah Skripsi – Program Studi D-IV Komputasi Statistik karakteristik dari setiap jenis dan merk handphone. Pada kategori handphone , terdapat banyak jenis handphone dan merk dari setiap jenisnya , sehingga diperlukan data training yang mewakili setiap jenis dan merk handphone tersebut agar sistem klasifikasi dapat mengenali produk handphone dengan baik sehingga hasil klasifikasinya pun baik pula. Tabel 9 berikut ini merupakan hasil pengujian model klasifikasi pada data anomali. TABEL IX AKURASI KLASIFIKASI PRODUK PADA DATA ANOMALI Data dengan text encoding Data tanpa text encoding Akurasi 46,60 % Jumlah produk yang benar diprediksi 56 / 120 Akurasi 55,83 % Jumlah produk yang benar diprediksi 67 / 120 Dari 120 data anomali yang peneliti dapatkan , hasil akurasi klasifikasi pada data dengan text encoding yaitu sebesar 46,6 % , sedangkan akurasi pada data tanpa text encoding menunjukkan nilai yang lebih besar yaitu 55,83 % . VII. PENUTUP Berdasarkan penelitian yang telah dilakukan , dapat diambil kesimpulan sebagai berikut : 1. Perancangan mekanisme untuk klasifikasi produk marketplace yang sesuai dengan standar klasifikasi BPS telah berhasil dilakukan. Pengklasifikasian produk tersebut dilakukan menggunakan data multimodal yang didapatkan dari hasil text encoding pada nama produk yang disematkan pada gambar produk sehingga dihasilkan suatu gambar baru. Kemudian untuk proses klasifikasinya diterapkan metode Convolutional Neural Network ( CNN ) berbasis fungsi Tensorflow 2. Dilakukan perbandingan performa klasifikasi pada data gambar produk dengan text encoding ( data multimodal ) dengan data gambar produk asli tanpa proses text encoding. Hasil perbandingan akurasi klasifikasi pada data dengan text encoding yaitu sebesar 90,8 % pada data validasi dan 91,16 % pada data test , sedangkan pada data tanpa text encoding yaitu sebesar 74,4 % pada data validasi dan 71 % pada data test. Akurasi klasifikasi menggunakan data multimodal menghasilkan nilai akurasi yang lebih tinggi. Hasil pemodelan klasifikasi tersebut dapat digunakan untuk mengklasifikasikan produk marketplace menggunakan nama dan gambar produk 3. Dilakukan pengujian model klasifikasi pada data anomali , yaitu data yang sulit untuk diidentifikasi kategorinya jika dilihat dari gambar produk , baik pada data dengan text encoding maupun pada data tanpa text encoding. Hasilnya menunjukkan bahwa data anomali dengan text encoding menghasilkan nilai akurasi yang lebih rendah , yaitu 46,6 % dibandingkan pada data anomali tanpa text encoding , yaitu 55,83 % . Hal tersebut menunjukkan bahwa proses text encoding pada gambar produk masih belum bisa meningkatkan performa klasifikasi pada data anomali. DAFTAR / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik VIII. SARAN Dari penelitian yang telah dilakukan , saran untuk penelitian selanjutnya yaitu dapat dilakukan penelitian dengan pendekatan multimodal lain , dan dengan variabel lain seperti deskripsi produk untuk dapat meningkatkan hasil akurasi klasifikasi produk , serta dapat menangani data produk yang ambigu ( data anomali ) karena nama produk atau gambar produk tidak teridentifikasi dengan jelas kategorinya. DAFTAR PUSTAKA [ 1 ] A. Jawale , G. Magar , “Comparison of Image Classification Techniques : Binary and Multiclass using Convolutional Neural Network and Support Vector Machines , ” INFOCOMP , vol. 18 , no. 2 , pp. 28-35 , Dec 2019. [ 2 ] Ang LI , Yi-Xang LI , and Xue-hui LI , “Tensorflow and Keras-based Convolutional Neural Network in Cat Image Recognition , ” 2017 2nd International Conference on Computational Modeling , Simulation and Applied Mathematics ( CMSAM 2017 ) , pp. 529-533 , 2017. [ 3 ] Badan Pusat Statistik , “Statistik E-Commerce 2020 , ” Publikasi BPS , Jakarta : 2020. [ 4 ] K. Chauhan , S. Ram , “Image Classification with Deep Learning and Comparison between Different Convolutional Neural Network Structures using Tensorflow and Keras , ” International Journal of Advance Engineering and Research Development , vol. 5 , pp. 533-538 , February 2018. [ 5 ] I. Gallo , A. Calefati , S. Nawaz , M.K. Janjua , “Image and Encoded Text Fusion for Multi-Modal Classification , ” Digital Image Computing : Technique and Applications , 2018 ( DICTA 2018 ) , pp. 1-7 , Des 2018. [ 6 ] L. Arevalo , E. Valdez , R. Quintela , N. Betancourt , and J. Alquisiras , “Comparison of Image Classification Algorithm using Meibography Images , ” IEEE Engineering in Medicine and Biology Society ( EMBC ) , Feb 2019. [ 7 ] M. E. H. Pedersen. ( 2020 , April ) . TensorFlow-Tutorials [ Online ] . Available : https : / / github.com / Hvass-Labs / TensorFlow-Tutorials. [ 8 ] M. Shanmukhi. K. Durga , M. Mounika , K. Keerthana , “Convolutional Neural Network for Supervised Image Classification , ” International Journal of Pure and Applied Mathematics , vol. 119 , no. 14 , pp. 77-83 , 2018. [ 9 ] P. Kumar , U. Dugal , “Tensorflow Based Image Classification using Advanced Convolutional Neural Network , ” International Journal of Advance Engineering and Research Development , vol. 8 , pp. 994-998 , March 2020. [ 10 ] P. M. Radiuk , “Impact of Training Set Batch Size on the Performance of Convolutional Neural Networks for Diverse Datasets , ” Information Technology and Management Science , vol. 20 , pp. 20-24 , December 2017. [ 11 ] Tensorflow. ( 2021 , March ) . Convolutional Neural Network ( CNN ) https : / / www.tensorflow.org / tutorials / Available [ Online ] . images / cnn # create_the_convolutional_base. : 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Klasifikasi Multimodal pada Produk Marketplace Menggunakan Convolutional Neural Network ( CNN ) untuk Mendukung Penyusunan Statistik E- Commerce Nurul Handayani ( 221709923 , 4SD2 ) Dosen Pembimbing : Takdir , SST. , M.T. Ringkasan— Perkembangan teknologi informasi membuat aktivitas berbelanja secara online berkembang pesat. Terkait hal tersebut , Badan Pusat Statistik ( BPS ) melakukan penyusunan Statistik E-Commerce untuk memetakan perkembangan e- commerce di Indonesia , dengan terdapat marketplace salah satunya. Produk-produk marketplace dapat dikumpulkan datanya berdasarkan klasifikasi jenis produknya. Dalam hal ini , BPS memiliki standar klasifikasi produk yang berbeda dengan standar klasifikasi produk di setiap marketplace. Oleh karena itu , perlu dibuat sistem pengklasifikasian produk marketplace yang sesuai dengan standar klasifikasi BPS untuk mendukung penyusunan Statistik E-Commerce. Pada penelitian ini , klasifikasi produk dilakukan menggunakan data multimodal dengan pengkodean teks pada nama produk yang disematkan pada gambar produk sehingga menghasilkan gambar baru. Metode untuk klasifikasi produknya yaitu Convolutional Neural Network ( CNN ) menggunakan fungsi Tensorflow. Didapatkan hasil akurasi klasifikasi produk marketplace baik pada data validasi dan data test-nya yaitu berturut-turut sebesar 90,8 % itu , peneliti membandingkan akurasi dan 91,16 % . Selain klasifikasi pada data gambar produk dengan pengkodean teks dengan data gambar produk asli. Peneliti juga menguji pemodelan klasifikasi dengan data anomali. Kata Kunci— klasifikasi produk , CNN , multimodal , pengkodean teks
VII. PENUTUP Berdasarkan penelitian yang telah dilakukan , dapat diambil kesimpulan sebagai berikut : 1. Perancangan mekanisme untuk klasifikasi produk marketplace yang sesuai dengan standar klasifikasi BPS telah berhasil dilakukan. Pengklasifikasian produk tersebut dilakukan menggunakan data multimodal yang didapatkan dari hasil text encoding pada nama produk yang disematkan pada gambar produk sehingga dihasilkan suatu gambar baru. Kemudian untuk proses klasifikasinya diterapkan metode Convolutional Neural Network ( CNN ) berbasis fungsi Tensorflow 2. Dilakukan perbandingan performa klasifikasi pada data gambar produk dengan text encoding ( data multimodal ) dengan data gambar produk asli tanpa proses text encoding. Hasil perbandingan akurasi klasifikasi pada data dengan text encoding yaitu sebesar 90,8 % pada data validasi dan 91,16 % pada data test , sedangkan pada data tanpa text encoding yaitu sebesar 74,4 % pada data validasi dan 71 % pada data test. Akurasi klasifikasi menggunakan data multimodal menghasilkan nilai akurasi yang lebih tinggi. Hasil pemodelan klasifikasi tersebut dapat digunakan untuk mengklasifikasikan produk marketplace menggunakan nama dan gambar produk 3. Dilakukan pengujian model klasifikasi pada data anomali , yaitu data yang sulit untuk diidentifikasi kategorinya jika dilihat dari gambar produk , baik pada data dengan text encoding maupun pada data tanpa text encoding. Hasilnya menunjukkan bahwa data anomali dengan text encoding menghasilkan nilai akurasi yang lebih rendah , yaitu 46,6 % dibandingkan pada data anomali tanpa text encoding , yaitu 55,83 % . Hal tersebut menunjukkan bahwa proses text encoding pada gambar produk masih belum bisa meningkatkan performa klasifikasi pada data anomali.
standar klasifikasi produk di setiap marketplace. Oleh karena itu , perlu dibuat sistem pengklasifikasian produk marketplace yang sesuai dengan standar klasifikasi BPS untuk mendukung penyusunan Statistik E-Commerce. Pada penelitian ini , klasifikasi produk dilakukan menggunakan data multimodal yaitu Convolutional Neural Network ( CNN ) menggunakan fungsi Tensorflow. Didapatkan hasil akurasi klasifikasi produk marketplace baik pada data validasi dan data test-nya yaitu berturut-turut sebesar 90,8 % itu , peneliti membandingkan akurasi dan 91,16 % . Selain klasifikasi pada data gambar produk dengan pengkodean teks dengan dapat diambil kesimpulan sebagai berikut : 1. Perancangan mekanisme untuk klasifikasi produk marketplace yang sesuai dengan standar klasifikasi BPS telah berhasil ( CNN ) berbasis fungsi Tensorflow 2. Dilakukan perbandingan performa klasifikasi pada data gambar produk dengan text encoding ( data multimodal ) dengan data gambar produk asli tanpa proses text encoding. Hasil perbandingan akurasi klasifikasi pada data dengan text encoding yaitu sebesar 90,8 % pada data validasi dan 91,16 % pada data test , sedangkan pada data tanpa text encoding yaitu sebesar 74,4 % pada data validasi dan 71 % pada data test. Akurasi klasifikasi menggunakan data multimodal menghasilkan nilai akurasi yang lebih encoding maupun pada data tanpa text encoding. Hasilnya menunjukkan bahwa data anomali dengan text encoding menghasilkan nilai akurasi yang lebih rendah , yaitu 46,6 % dibandingkan pada data anomali tanpa text encoding , yaitu 55,83 % . Hal tersebut menunjukkan bahwa proses text encoding pada gambar produk
O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O B-METODE O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O