Perancangan Arsitektur Penyimpanan Data pada Infrastruktur Big Data untuk Official Statistik di BPS 
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Perancangan Arsitektur Penyimpanan Data pada Infrastruktur Big Data untuk Official Statistik di BPS Malkan Ihwani ( 221709806 , 4SI1 ) Dosen Pembimbing : Takdir , SST. , M.T. dua , bagian penyimpanan menjadi Ringkasan— BPS sudah mulai menerapkan big data dalam memperoleh official satunya dengan statistiknya. Salah melakukan crawling / scrapping data pada beberapa web. BPS sudah memiliki infrastruktur big data pada bagian pengumpulan ( collection ) , namun perlu ditemukan arsitektur dengan teknologi yang tepat pada bagian penyimpanannya. Tim terkait di BPS merancang yaitu penyimpanan untuk OLTP dan OLAP. Penelitian ini berfokus pada bagian penyimpanan untuk OLTP. Teknologi usulan peneliti adalah Apache Ignite , namun teknologi tersebut masih implementasinya untuk bisa memenuhi harus dicari pola kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Berdasarkan hal tersebut , maka dilakukanlah penelitian ini yang memiliki tujuan utama untuk mendapatkan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Terdapat empat skenario arsitektur yang dirancang pada penelitian ini. Keempat skenario tersebut diimplementasikan pada prototype infrastruktur. Hasil evaluasi keempat skenario menunjukkan bahwa arsitektur dengan menggunakan Apache Ignite bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Kata Kunci— Big Data , Penyimpanan Big Data , Arsitektur Penyimpanan Data , OLTP. I. LATAR BELAKANG BPS sudah mulai menerapkan big data dalam memperoleh official statistiknya. Salah satunya dengan melakukan crawling / scrapping pada beberapa web. Data yang dikumpulkan dari kegiatan tersebut merupakan big data karena memenuhi tiga karakteristik big data yaitu volume datanya besar , aliran datanya cepat , dan variasi datanya beragam ada yang terstruktur maupun tidak terstruktur [ 1 ] . BPS sudah memiliki infrastruktur big data pada bagian pengumpulan ( collection ) , namun pada bagian penyimpanan perlu ditemukan arsitektur yang tepat untuk bisa menyimpan big data tersebut. Saat ini , tim terkait di BPS masih melakukan penelitian untuk mewujudkannya. Pada rancangan kebutuhan yang sudah dibuat oleh tim terkait infrastruktur big data di BPS , bagian penyimpanan dibagi menjadi dua , yaitu penyimpanan untuk OLTP dan penyimpanan untuk OLAP ( Online Analytical Processing ) . Penyimpanan untuk OLTP merupakan penyimpanan yang difokuskan dan penyimpanan untuk OLAP merupakan penyimpanan yang difokuskan untuk menangani proses analisis. ( Online Transaction Processing ) untuk menangani transaksi , proses Penelitian ini berfokus pada bagian penyimpanan untuk OLTP. Bagian ini merupakan tempat pertama data hasil crawling / scrapping disimpan. Setelah itu , data yang telah transformasi dan disimpan dilakukan proses ekstraksi , data hasil crawling / scrapping , dimasukkan pada bagian untuk OLAP. Sebagai tempat pertama penyimpanan bagian penyimpanan untuk OLTP harus bisa menyimpan data dengan karakteristik big data ini harus bisa menyimpan data dengan volume yang besar , memiliki kemampuan untuk menyimpan data ( performa write ) secara cepat agar bisa mengimbangi aliran data yang masuk , dan bisa menyimpan data yang bervariasi baik terstruktur maupun tidak terstruktur. tersebut. Bagian Big data sulit untuk diproses menggunakan teknologi konvensional dan perlu teknologi yang bisa menyimpan dan memproses data dalam jumlah terabytes , petabytes , atau bahkan exabytes [ 2 ] . Salah satu pendekatan yang dilakukan untuk bisa memproses big data yaitu menggunakan sistem terdistribusi. Sistem terdistribusi merupakan kumpulan komputer independen yang dilihat oleh penggunanya sebagai satu sistem yang saling berhubungan [ 3 ] . Sekarang sudah banyak teknologi untuk menunjang penyimpanan big data seperti Apache Hadoop , MongoDB , Apache Ignite , dll. Teknologi tersebut umumnya masih terbilang baru sehingga perlu dicari pola implementasi yang tepat agar bisa menunjang penyimpanan big data ini. Hasil penelitian [ 4 ] menunjukkan bahwa performa write Hadoop Cluster Multi Node akan mengalami penurunan ketika menambahkan komputer pada sistem terdistribusinya. Hal tersebut tidak sesuai dengan kebutuhan pada bagian penyimpanan untuk OLTP , dimana bagian ini memerlukan performa write yang cepat. Berdasarkan dokumentasi yang ada , diketahui bahwa MongoDB merupakan penyimpanan untuk data tidak terstruktur , dimana data disimpan sebagai dokumen- dokumen dengan menggunakan format JSON [ 5 ] . Hal ini juga tidak sesuai dengan kebutuhan pada bagian penyimpanan untuk OLTP , dimana bagian ini harus bisa menyimpan data yang bervariasi baik terstruktur. terstruktur maupun Berdasarkan dokumentasi yang ada , Apache Ignite memiliki performa write yang cepat karena ia menyimpan datanya pada RAM ( Random Access Memory ) [ 6 ] dan sebagaimana kita ketahui bahwa RAM memiliki performa write yang sangat cepat. Apache Ignite juga bisa menyimpan data dengan volume yang besar karena ia merupakan sistem penyimpanan yang [ 6 ] , dimana untuk menambah kapasitas terdistribusi penyimpanan bisa dilakukan dengan menambahkan komputer pada sistem juga bisa menyimpan data terstruktur maupun data tidak terstruktur [ 7 ] . Berdasarkan hal tersebut , Apache Ignite diperkirakan bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP. Oleh karena itu , teknologi yang digunakan pada penelitian ini adalah Apache Ignite. terdistribusinya. Apache Ignite tidak 1 / 8 Berdasarkan penjelasan di atas , maka dilakukanlah penelitian mengenai perancangan arsitektur penyimpanan data pada infrastruktur big data untuk official statistik di BPS ini. Penelitian ini berfokus pada bagian penyimpanan untuk OLTP dan teknologi yang digunakan pada penelitian ini adalah Apache Ignite. Penelitian ini akan merancang skenario- skenario arsitektur menggunakan teknologi Apache Ignite , mengimplementasikannya , lalu mengevaluasinya. Hasil penelitian ini merupakan gambaran mengenai bagaimana arsitektur menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. II. TUJUAN PENELITIAN Tujuan utama penelitian ini yaitu untuk memberikan teknologi gambaran bagaimana arsitektur menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Tujuan tersebut kemudian diuraikan menjadi lebih rinci menjadi :  Merancang skenario-skenario arsitektur pada bagian penyimpanan untuk OLTP di BPS menggunakan teknologi Apache Ignite.  Mengimplementasikan skenario-skenario arsitektur yang telah dirancang.  Mengevaluasi skenario-skenario arsitektur yang telah diimplementasikan III. PENELITIAN TERKAIT TABEL I TABEL LITERATUR Penulis M. Hana et al. [ 4 ] R. Faisal et al. [ 8 ] Y. H. Partogi et al. [ 9 ] Keterangan Mencoba untuk membangun infrastruktur big data berbasis Hadoop pada Universitas Jambi Mencoba untuk mengimplementasikan Hadoop Cluster Multi Node untuk membangun model infrastruktur big data. Mencoba infrastruktur pemrosesan big data menggunakan Apache Drill pada perusahaan e-commerce SIRCLO untuk merancang Terdapat penelitian terkait , seperti yang tertera pada Tabel I. Penelitian [ 4 ] mencoba untuk membangun infrastruktur big data berbasis Hadoop pada Universitas Jambi. Data yang digunakan dalam pengujian bersumber dari bank data UCI Machine Learning dan dalam pengujiannya dilakukan komputasi K-Means pada data. Hasil dari penelitian tersebut menunjukkan pembangunan infrastruktur big data pada Universitas Jambi bisa direkomendasikan untuk menggunakan Hadoop. Selanjutnya ada penelitian [ 8 ] . Penelitian tersebut mencoba untuk mengimplementasikan Hadoop Cluster Multi Node untuk membangun model infrastruktur big data. Penelitian tersebut menggunakan total lima buah node. Pengujiannya menggunakan tools TestDFSIO dengan data berukuran 1 GB , 2 GB , 4 GB , 8 GB , dan 16 GB untuk menguji performa write dan read dari infrastruktur yang dibangun. Hasil dari penelitian tersebut menunjukkan pada proses write , jumlah node yang sedikit menghasilkan waktu yang lebih cepat. Sedangkan pada proses read , penambahan jumlah node menghasilkan waktu yang lebih cepat. Lalu ada penelitian [ 9 ] yang mencoba untuk merancang infrastruktur pemrosesan big Makalah Skripsi – Program Studi D-IV Komputasi Statistik tempat penyimpanan secara data menggunakan Apache Drill pada perusahaan e-commerce SIRCLO. Pada penelitian tersebut menggunakan HDFS terdistribusi. Hasil sebagai pengujian pada bagian penyimpanan menunjukkan proses pengiriman ke HDFS dengan jumlah node yang sedikit lebih cepat. Sedangkan pada proses query dari Drill ke HDFS penambahan jumlah node menghasilkan waktu yang lebih cepat. IV. METODE PENELITIAN Gambar 1. Alur metode penelitian Langkah-langkah yang dilakukan untuk menyelesaikan penelitian ini , secara keseluruhan bisa dilihat pada Gambar 1. Penjelasan mengenai langkah yang dilakukan adalah sebagai berikut : A. Identifikasi kebutuhan pada bagian penyimpanan untuk OLTP di BPS Identifikasi kebutuhan dilakukan dengan mempelajari paparan yang diberikan tim terkait infrastruktur big data di BPS dan melakukan diskusi dengan dosen pembimbing. Pada bagian juga sudah dijelaskan beberapa hasil dari identifikasi kebutuhan yang dilakukan , lengkap. Berikut merupakan namun masih belum kebutuhan pada bagian penyimpanan untuk OLTP di BPS versi lengkapnya : latar belakang 1 ) Perlu performa write yang cepat 2 ) Harus bisa menyimpan data dengan volume yang besar 3 ) Harus bisa menyimpan data terstruktur maupun tidak terstruktur 4 ) Harus bisa menjamin ketersediaan data 5 ) Harus bisa menangani komputer dengan spesifikasi yang berbeda pada sistem terdistribusinya Karakteristik OLTP itu perlu waktu respon dan throughput yang cepat untuk bisa memproses banyaknya transaksi yang dilakukan secara bersama-sama [ 10 ] . Begitu juga dengan bagian penyimpanan untuk OLTP dimana ia perlu performa write yang cepat untuk bisa mengimbangi cepatnya aliran data yang masuk dari hasil crawling / scrapping web yang dilakukan BPS. Bagian penyimpanan untuk OLTP juga harus bisa menyimpan data dengan volume yang besar , karena dalam sekali proses crawling / scrapping web yang dilakukan BPS , besarnya data yang dikumpulkan bisa mencapai 1 terabytes dengan jumlah mencapai 425 juta data. 2 / 8 Bagian penyimpanan untuk OLTP juga harus bisa menyimpan data terstruktur maupun tidak terstruktur , proses karena crawling / scrapping web yang dilakukan BPS ada yang berupa data terstruktur maupun tidak terstruktur. dikumpulkan yang pada data Big data sulit untuk diproses menggunakan teknologi konvensional [ 2 ] . Salah satu pendekatan yang dilakukan untuk bisa memproses big data yaitu dengan menggunakan sistem terdistribusi. Sistem terdistribusi biasanya akan terus tersedia meski ada beberapa komputer yang mengalami masalah [ 3 ] . Begitu juga pada bagian penyimpanan untuk OLTP , dimana ia harus menjamin ketersediaan data meski ada beberapa komputer yang mengalami masalah pada sistem terdistribusinya. Proses bisnis yang terjadi di BPS saat ini ialah , ketika unit big data perlu infrastruktur , maka ia menyusun spesifikasi dari infrastruktur yang diperlukan sesuai dengan kebutuhannya saat itu , lalu menyerahkannya ke subdit JKD ( Jaringan Komunikasi Data ) . JKD lalu akan membuatkan infrastruktur yang berisikan beberapa virtual machine sesuai dengan spesifikasi yang diajukan. Masalahnya ketika di kemudian hari kebutuhan dari unit big data tersebut meningkat dan infrastruktur yang ada tidak mampu menangani kebutuhan tersebut. Ia perlu mengajukan kembali infrastruktur dengan spesifikasi sesuai dengan kebutuhan yang baru. Supaya tidak perlu membuat infrastruktur dari awal , maka sebaiknya hanya perlu menambahkan virtual machine dengan spesifikasi sesuai dengan selisih kebutuhannya. Oleh karena itu , untuk mendukung hal tersebut , maka bagian penyimpanan ini harus menangani komputer dengan spesifikasi yang berbeda pada sistem terdistribusinya. B. Perancangan skenario-skenario arsitektur dengan menggunakan teknologi Apache Ignite Perancangan skenario-skenario arsitektur dilakukan dengan menentukan fitur-fitur Apache Ignite yang diperkirakan bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Lalu dirancanglah skenario-skenario arsitektur dengan menggunakan fitur- fitur yang sudah ditentukan. Keterangan dari istilah-istilah teknologi Apache Ignite yang digunakan pada penelitian ini , bisa dilihat pada Tabel II. TABEL II TABEL KETERANGAN ISTILAH-ISTILAH APACHE IGNITE YANG DIGUNAKAN PADA PENELITIAN INI Istilah Node server Cluster Node client Cache Table Keterangan Unit komputer yang bertugas untuk melakukan komputasi dan penyimpanan data Sekelompok node server yang saling terhubung yang menyediakan sumber daya bersama seperti RAM , disk , dan CPU Gerbang antara pengguna dengan cluster Kumpulan dari entri data tidak terstruktur dalam bentuk key-value Kumpulan dari entri data terstruktur dalam bentuk SQL table Penentuan fitur-fitur yang diperkirakan bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP literatur pada dilakukan dengan melakukan studi Makalah Skripsi – Program Studi D-IV Komputasi Statistik dokumentasi Apache Ignite. Hasil studi literatur mengenai fitur-fitur yang diperkirakan bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP , bisa dilihat pada Tabel III. TABEL III TABEL HUBUNGAN ANTARA FITUR TERPILIH DENGAN KEBUTUHAN PADA BAGIAN PENYIMPANAN UNTUK OLTP DI BPS Fitur terpilih Keterangan Efek terhadap kebutuhan Native persistence Cache / table dengan mode partitioned dan jumlah backup n Menyimpan seluruh data pada disk dan memuat sebanyak mungkin data pada RAM untuk meningkatkan performa Keseluruhan data dipartisi dan didistribusikan hampir secara merata pada setiap node server , partisi data yang disimpan suatu node server dibuat salinannya sejumlah n dan disimpan pada node server yang berbeda Node filter Mengatur pendistribusian data dari suatu cache / table - Meningkatkan ketersediaan data - Meningkatkan kapasitas penyimpanan data - - Meningkatkan performa write Ketersediaan data terjamin selama tidak melebihi jumlah backup - Meningkatkan kapasitas penyimpanan data - Bisa melakukan pendistribusian sesuai kebutuhan ketika cluster yang digunakan terdiri dari node server dengan spesifikasi yang beragam Skenario-skenario yang dirancang pada penelitian ini mencakup skenario awal sebagai pembanding , skenario saat ada penambahan node server dengan spesifikasi sama , skenario saat ada penambahan node server dengan spesifikasi yang lebih rendah , dimana skenario ini bertujuan untuk mendapatkan gambaran bagaimana arsitektur dengan menggunakan Apache Ignite dalam menangani komputer dengan spesifikasi yang berbeda pada saat terdistribusinya , dan menggunakan node filter untuk mengatur pendistribusian data. skenario sistem C. Implementasi skenario-skenario arsitektur yang telah dirancang Skenario-skenario tersebut diimplementasikan pada prototype infrastruktur dengan menggunakan satu komputer fisik yang akan dipecah menjadi beberapa virtual machine. D. Evaluasi skenario-skenario arsitektur yang telah diimplementasikan Evaluasi skenario-skenario arsitektur bertujuan untuk mendapatkan gambaran bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Berikut merupakan evaluasi yang akan dilakukan beserta penjelasannya :  Evaluasi performa write 3 / 8 Evaluasi ini bertujuan untuk mendapatkan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan performa write pada bagian penyimpanan untuk OLTP di BPS. Evaluasi ini juga bertujuan untuk mendapatkan gambaran mengenai apakah arsitektur dengan menggunakan Apache Ignite bisa menyimpan data terstruktur dan tidak terstruktur. throughput transaction Kecepatan suatu sistem database dihitung menggunakan yang dinyatakan dalam banyaknya transaksi per detik [ 11 ] . Pada penelitian ini , performa write dihitung dengan menggunakan besarnya volume data yang ditulis pada database dalam periode waktu tertentu yang dinyatakan dalam megabytes per detik. Evaluasi ini dilakukan dengan mencatat waktu eksekusi dari suatu proses entri data , setelah itu dihitung performa write-nya dengan membagi besarnya volume data yang dientri dengan waktu eksekusi. Proses entri data dilakukan dengan memasukkan masing-masing 2.000.000 data dummy dengan besar volume sekitar 2.8 gigabytes untuk data terstruktur maupun tidak terstruktur pada setiap skenario arsitektur. Proses entri juga dilakukan dengan menggunakan beberapa cara / fungsi yang berbeda. Cara pertama yaitu memasukkan data secara satu per satu. Cara kedua yaitu memasukkan sejumlah data secara sekaligus ( batch ) . Cara ketiga yaitu dengan mengalirkan data ( stream ) . Data dientri dengan menggunakan API dan fungsi sebagai berikut :  Key-value API ( untuk data tidak terstruktur ) menggunakan thick client o Put – Memasukkan data satu per satu o PutAll ( 1000 ) – Memasukkan sekaligus 1000 data o DataStream – Mengalirkan data  SQL API ( untuk data terstruktur ) menggunakan JDBC-thin o o Insert – Memasukkan data satu per satu InsertBatch ( 1000 ) – Memasukkan sekaligus 1000 data InsertStream – Mengalirkan data o Makalah Skripsi – Program Studi D-IV Komputasi Statistik setiap node server yang ada. Informasi mengenai jumlah data yang disimpan pada setiap node server diperoleh menggunakan Apache Ignite Visor CMD.  Evaluasi ketersediaan data evaluasi Evaluasi ini bertujuan untuk mendapatkan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam menjamin ketersediaan datanya. Sebelum ini dilakukan , terlebih dahulu dimasukkan 2.000.000 data tidak terstruktur pada setiap skenario arsitektur. Evaluasi ini dilakukan dengan melakukan simulasi ada satu node server yang tidak aktif pada suatu cluster. Setelah pengecekan ketersediaan cara mengambil dengan keseluruhan data. Pengecekan dikatakan sukses bila tidak ada data yang hilang ataupun terjadi error. dilakukan data itu ,  Evaluasi keberlanjutan proses entri data Evaluasi ini bertujuan untuk mendapatkan gambaran mengenai bagaimana perilaku arsitektur dengan menggunakan Apache Ignite ketika ada node server yang penuh terlebih dahulu saat dilakukan proses entri data , apakah proses entri data bisa berlanjut atau tidak. Evaluasi ini hanya dilakukan yang melakukan pada penambahan node server dengan spesifikasi yang lebih rendah. arsitektur skenario Evaluasi ini dilakukan dengan cara membuat penyimpanan pada node server yang memiliki rendah hampir penuh. Lalu spesifikasi yang dilakukan proses entri data terstruktur tidak sebanyak 1.000.000 data. Setelah itu dilihat apakah proses entri data masih bisa berlanjut atau tidak ketika ada node server yang penuh terlebih dahulu. Dilihat juga apakah data yang disimpan pada node server yang penuh bisa diakses kembali atau tidak. Untuk bisa mendukung evaluasi yang akan dilakukan , dibuatlah program sederhana yang akan berjalan pada node client dengan menggunakan API yang sesuai dengan evaluasi yang akan dilakukan. Source code dari program sederhana pada https : / / git.stis.ac.id / televisi / ignite-client. dilihat dibuat yang bisa  Evaluasi persebaran data V. KERANGKA PIKIR Evaluasi arsitektur ini bertujuan untuk mendapatkan dengan bagaimana gambaran menggunakan Apache Ignite bisa menyimpan data dengan volume yang besar dan bagaimana pendistribusian datanya. Evaluasi ini sendiri hanya menghasilkan jumlah data yang disimpan pada setiap node server pada suatu skenario arsitektur. Tetapi ketika dilakukan analisis perbandingan hasil evaluasi ini dengan skenario arsitektur yang lainnya , bisa didapatkan gambaran mengenai bagaimana terhadap pengaruh penambahan node penambahan kapasitas penyimpanan datanya. Penambahan kapasitas penyimpanan data diketahui dari penurunan jumlah data yang disimpan pada server Gambar 2. Kerangka Pikir Gambar 2 menjelaskan mengenai bagaimana alur pemikiran peneliti dalam melaksanakan penelitiannya. Berawal dari masalah penelitian dimana belum ditemukan arsitektur dan 4 / 8 teknologi yang tepat pada infrastruktur big data bagian penyimpanan untuk OLTP di BPS , dan teknologi usulan peneliti yaitu Apache Ignite juga masih perlu dicari pola implementasinya untuk bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Dari masalah penelitian tersebut , ditetapkanlah tujuan penelitian. Tujuan utama ini yaitu memberikan gambaran mengenai penelitian bagaimana arsitektur dengan menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Tujuan utama tersebut kemudian diuraikan menjadi tiga tujuan yang lebih terperinci. Tujuan pertama yaitu merancang skenario-skenario arsitektur pada bagian penyimpanan untuk OLTP di BPS menggunakan teknologi yaitu mengimplementasikan skenario-skenario arsitektur yang sudah dirancang. Tujuan ketiga yaitu melakukan evaluasi terhadap skenario-skenario arsitektur yang sudah diimplementasikan. Apache Tujuan Ignite. kedua Langkah yang dilakukan peneliti untuk mencapai tujuan pertama adalah dengan melakukan identifikasi kebutuhan pada bagian penyimpanan untuk OLTP di BPS , lalu merancang skenario-skenario arsitektur menggunakan teknologi Apache Ignite yang diperkirakan bisa memenuhi kebutuhan tersebut. Setelah mendapatkan skenario-skenario arsitektur , langkah yang dilakukan peneliti untuk mencapai tujuan kedua adalah dengan mengimplementasikan skenario-skenario arsitektur tersebut. Langkah terakhir yang dilakukan peneliti untuk mencapai tujuan ketiga adalah melakukan evaluasi pada semua skenario yang telah diimplementasikan. Hasil evaluasi tersebut merupakan hasil dari tujuan utama penelitian ini yaitu berupa gambaran mengenai dengan menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. bagaimana arsitektur VI. HASIL DAN PEMBAHASAN A. Skenario-skenario Arsitektur yang Dirancang 1. Skenario satu Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 4. Skenario arsitektur 2 Gambar 4 merupakan gambaran dari skenario arsitektur dua. Skenario ini menambahkan satu node server dengan spesifikasi yang sama pada skenario satu. Jumlah node client serta fitur yang digunakan masih sama seperti pada skenario satu. 3. Skenario tiga Gambar 5. Skenario arsitektur 3 Gambar 5 merupakan gambaran dari skenario arsitektur tiga. Skenario ini menambahkan satu node server dengan spesifikasi yang lebih rendah pada skenario satu. Jumlah node client dan fitur yang digunakan masih sama seperti pada skenario satu. 4. Skenario empat Gambar 3. Skenario arsitektur 1 Gambar 3 merupakan gambaran dari skenario arsitektur satu. Skenario ini merupakan skenario awal yang nantinya digunakan sebagai pembanding dengan skenario yang lainnya. Skenario ini menggunakan cluster yang terdiri dari dua node server dengan spesifikasi yang sama , dan menggunakan satu node client. Fitur yang digunakan pada skenario ini yaitu native persistence , dan cache / table dengan mode partitioned dengan jumlah backup satu. 2. Skenario dua Gambar 6. Skenario arsitektur 4 Gambar 6 merupakan gambaran dari skenario arsitektur empat. Skenario ini menambahkan fitur node filter pada skenario tiga. Pada skenario ini , dua node server dengan spesifikasi yang sama diberi atribut “bigCache”. Pada skenario ini terdapat dua cache yaitu bigCache dan smallCache. Fitur node filter mengarahkan bigCache hanya disimpan node server yang memiliki atribut “bigCache” , dan untuk smallCache disimpan secara default pada setiap node server yang ada. 5 / 8 B. Implementasi Skenario-skenario Arsitektur Implementasi skenario dilakukan pada prototype infrastruktur dengan menggunakan beberapa virtual machine sebagai node server. Pada penelitian ini , semua virtual machine dibuat pada satu komputer host dan client akan berjalan pada komputer host , dimana komputer yang lab-241 Politeknik digunakan merupakan komputer Statistika STIS yang memiliki spesifikasi seperti yang tertera pada Tabel IV. TABEL IV TABEL SPESIFIKASI KOMPUTER HOST CPU RAM Disk OS Connection Intel Core i7-10700 @ 2.90Ghz ( 16 Core ) 16 Gb Single C : - > SSD 500Gb D : - > HDD 1Tb Windows 10 Enterprise 64-bit Ethernet ( stis.local ) Berdasarkan pertimbangan spesifikasi pada Tabel IV , node server yang identik memiliki spesifikasi seperti yang tertera pada Tabel V. Node server dengan spesifikasi yang lebih rendah memiliki rincian spesifikasi seperti yang tertera pada Tabel VI. TABEL V TABEL SPESIFIKASI NODE SERVER 1,2 , dan 3 CPU RAM Java Heap Disk OS Connection Ignite Ver. Java Ver. CPU RAM Java Heap Disk OS Connection Ignite Ver. Java Ver. 2 Core @ 2.90Ghz 3 GB 1.5 Gb SSD - > 20 GB Ubuntu Server 64-bit Bridged Connection 2.9.1 Open JDK 1.8 TABEL VI TABEL SPESIFIKASI NODE SERVER 3 LOW 1 Core @ 2.90Ghz 2 GB 1 GB SSD - > 10 GB Ubuntu Server 64-bit Bridged Connection 2.9.1 Open JDK 1.8 C. Evaluasi Skenario-skenario Arsitektur  Hasil evaluasi performa write ) s / B M ( e t i r W a m r o f r e P 41.26 39.59 34.88 32.55 65.1 51.4 41.85 40.13 Put PutAll ( 1000 ) DataStream Skenario 1 Skenario 2 Skenario 3 Skenario 4 Gambar 7. Grafik performa write data menggunakan key-value API untuk skenario 1,2,3 dan 4 Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 7 menunjukkan hasil evaluasi performa write key- value API ( untuk data tidak terstruktur ) , dimana fungsi dengan performa write tertinggi adalah DataStream , sedangkan fungsi dengan performa write terendah adalah Put. Pada skenario 1 , performa write DataStream sebesar 41.85 MB / s. Dengan menambahkan satu node server , baik dengan spesifikasi yang sama maupun yang lebih rendah , terjadi peningkatan performa write , dimana peningkatan tersebut terlihat cukup jelas pada fungsi DataStream. Pada skenario 2 , dimana ia menambahkan satu node server dengan spesifikasi yang sama , performa write fungsi DataStream meningkat sebesar 23.25 MB / s menjadi 65.1 MB / s. Pada skenario 3 , dimana ia menambahkan satu node server dengan spesifikasi yang lebih rendah , performa write fungsi DataStream juga meningkat , meskipun tidak sebesar skenario 2 , peningkatan yang terjadi sebesar 9.55 MB / s menjadi 51.4 MB / s. Pada skenario 4 , dimana ia menerapkan node filter sehingga data hanya disimpan pada dua node server dengan spesifikasi yang besar saja , performa write secara keseluruhan fungsi tidak jauh berbeda dengan skenario 1. tidak terstruktur pada skenario 3. Hal Gambar 7 juga menunjukkan hasil evaluasi performa write untuk data ini menunjukkan bahwa , Apache Ignite bisa berjalan pada komputer dengan spesifikasi yang berbeda-beda dan bisa terhubung pada cluster , serta menunjukkan bahwa data tidak terstruktur berhasil dientri pada cluster tersebut. ) s / B M ( e t i r W a m r o f r e P 48.83 48.03 46.5 39.59 Insert InsertBatch ( 1000 ) InsertStream Skenario 1 Skenario 2 Skenario 3 Skenario 4 Gambar 8. Grafik performa write data menggunakan SQL API untuk skenario 1,2,3 dan 4 Gambar 8 menunjukkan hasil evaluasi performa write SQL API ( untuk data terstruktur ) , dimana fungsi dengan performa write tertinggi adalah InsertStream , sedangkan fungsi dengan performa write terendah adalah Insert. Pada skenario 1 , performa write InsertStream sebesar 39.59 MB / s. Dengan menambahkan satu node server , baik dengan spesifikasi yang sama maupun yang lebih rendah , terjadi peningkatan performa write pada fungsi InsertStream. Pada skenario 2 , dengan menambahkan satu node server dengan spesifikasi yang sama , performa write fungsi InsertStream meningkat sebesar 8.44 MB / s menjadi 48.03 MB / s. Pada skenario 3 , dengan menambahkan satu node server dengan spesifikasi yang lebih rendah , performa write fungsi InsertStream juga meningkat , meskipun tidak sebesar skenario 2 , peningkatan yang terjadi sebesar 6.91 MB / s menjadi 46.5 MB / s. Pada skenario 4 , dengan menerapkan node filter sehingga data hanya disimpan pada dua node server berspesifikasi besar saja , performa write fungsi 6 / 8 InsertStream mengalami peningkatan paling tinggi sebesar 9.24 MB / s menjadi 48.83 MB / s. Gambar 8 juga menunjukkan hasil evaluasi performa write untuk data terstruktur pada skenario 3. Hal ini menunjukkan bahwa , Apache Ignite bisa berjalan pada komputer dengan spesifikasi yang berbeda-beda dan bisa terhubung pada cluster , serta menunjukkan bahwa data terstruktur berhasil dientri pada cluster tersebut.  Hasil evaluasi ketersediaan data TABEL VII TABEL HASIL EVALUASI KETERSEDIAAN DATA Skenario Hasil Skenario 1 Skenario 2 Skenario 3 Skenario 4 Sukses Sukses Sukses Sukses Semua skenario menggunakan jumlah backup satu dan Tabel VII menunjukkan bahwa data yang disimpan pada skenario satu , dua , tiga maupun empat , masih tersedia secara utuh meskipun ada satu node server yang tidak aktif. Hal ini menunjukkan bahwa Apache Ignite bisa menjamin ketersediaan data selama jumlah node server yang tidak aktif tidak melebihi jumlah backup.  Hasil evaluasi skalabilitas 2000000 1000000 0 1013682 986318 705073 654296 1013682 640634 675790 654293 669914 986318 Skenario 1 Skenario 2 Skenario 3 Skenario 4 Node 1 Node 2 Node 3 Gambar 9. Grafik perbandingan persebaran data pada cluster antar semua skenario Gambar 9 menunjukkan bahwa dengan menambahkan node server pada cluster akan mengurangi jumlah data yang disimpan pada setiap node server sehingga kapasitas untuk menyimpan data pun meningkat. Seperti pada perbandingan antara skenario 2 dan skenario 1 , awalnya setiap node server menyimpan hampir 1.000.000 data , setelah ditambahkan satu node server , itu berkurang menjadi sekitar 650.000 sampai 700.000 data sehingga kapasitas penyimpanan data untuk skenario 2 akan meningkat. Gambar 9 juga menunjukkan bahwa data akan didistribusikan secara hampir merata pada setiap node server yang ada di suatu cluster. Hal ini berlaku juga pada cluster yang memiliki node server dengan spesifikasi yang lebih rendah dari yang lainnya. Seperti pada skenario 3 , dimana node server dengan spesifikasi yang lebih rendah ( node 3 ) menyimpan sekitar 650.000 data , hampir sama dengan yang disimpan node server dengan spesifikasi yang lebih tinggi. Makalah Skripsi – Program Studi D-IV Komputasi Statistik Gambar 9 juga menunjukkan dengan menggunakan node filter , cache / table bisa dikontrol untuk disimpan hanya pada node server tertentu. Seperti pada skenario 4 , dimana data hanya disimpan pada node server dengan spesifikasi yang tinggi ( node 1 dan 2 ) .  Hasil evaluasi keberlanjutan proses entri data Gambar 10. Informasi penyimpanan node server dengan spesifikasi yang lebih rendah setelah dibuat hampir penuh. Gambar 10 menunjukkan informasi penyimpanan node server dengan spesifikasi yang lebih rendah setelah dibuat hampir penuh , dimana penyimpanan yang tersisa hanya sekitar 14 MB. Gambar 11. Output proses entri data pada skenario 3 ketika node server dengan spesifikasi yang lebih rendah penuh duluan Gambar 12. Output tes ketersediaan data saat node server yang penuh duluan diaktifkan kembali Gambar 11 dan 12 menunjukkan ketika ada node server yang penuh terlebih dahulu pada suatu cluster , proses entri data tetap bisa dilakukan. Dan ketika suatu node server penuh , ia akan menjadi nonaktif. Tetapi , ia bisa diaktifkan kembali sehingga keseluruhan data yang disimpan pada cluster tersebut masih utuh. VII. PENUTUP hasil didapatkan Berdasarkan beberapa penelitian , kesimpulan untuk menjawab tujuan penelitian yang dijabarkan sebagai berikut : 1. Terdapat empat skenario arsitektur yang dirancang pada penelitian ini untuk memberikan gambaran bagaimana arsitektur dengan menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. 7 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik [ 9 ] [ 10 ] [ 11 ] Data , ” vol. 7 , no. 2 , 2018. Y. H. Partogi , A. Bhawiyuga , and A. Basuki , “Rancang Bangun Infrastruktur Pemrosesan Big Data Menggunakan Apache Drill ( Studi Kasus : SIRCLO ) , ” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2 , no. 3 , pp. 951–957 , 2018. Oracle , “What is Online Transaction Processing ( OLTP ) | Oracle.” https : / / www.oracle.com / database / what-is-oltp / ( accessed Jul. 02 , 2021 ) . Oracle , “Transaction throughput.” https : / / docs.oracle.com / cd / E17276_01 / html / programmer_reference / transapp_throughput.html ( accessed Jul. 02 , 2021 ) . 2. Skenario-skenario tersebut berhasil diimplementasikan pada prototype infrastruktur dengan menggunakan satu komputer fisik yang dipecah menjadi beberapa virtual machine. 3. Hasil evaluasi skenario-skenario tersebut menunjukkan bahwa arsitektur dengan menggunakan teknologi Apache Ignite bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Berikut merupakan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS :  Performa write ditingkatkan dengan menambahkan node server pada cluster , sehingga untuk mendapatkan performa write yang diinginkan bisa dilakukan dengan menambahkan / mengurangi jumlah node server pada suatu cluster. bisa  Kapasitas penyimpanan data bisa ditingkatkan dengan menambah node server pada cluster , sehingga kapasitas penyimpanan data yang diinginkan bisa dilakukan dengan menambahkan / mengurangi jumlah node server pada suatu cluster. mendapatkan untuk  Data terstruktur maupun tidak terstruktur bisa disimpan pada Apache Ignite.  Ketersediaan data terjamin selama jumlah node server yang bermasalah pada suatu cluster tidak melebihi jumlah backup. Jaminan ketersediaan data bisa diatur dengan menambah / mengurangi jumlah backup.  Apache Ignite bisa menangani node server dengan spesifikasi yang berbeda-beda pada sistem terdistribusinya. Pendistribusian datanya bisa diatur dengan menggunakan node filter. Proses entri data tetap bisa berlanjut ketika ada node server yang penuh terlebih dahulu. Node server yang penuh akan menjadi tidak aktif , tetapi bisa diaktifkan kembali dan keseluruhan data yang telah disimpan tetap tersedia secara utuh. DAFTAR PUSTAKA IBM , “Big Data Analytics | IBM.” https : / / www.ibm.com / analytics / hadoop / big-data-analytics ( accessed Nov. 06 , 2020 ) . K. S. Raste , “Big Data Analytics-Hadoop Performance Analysis , ” 2014. A. S. Tanenbaum and M. van Steen , Distributed Systems : Principles and Paradigms , Second Edi. Amsterdam : Prentice Hall , 2006. M. Hana , J. Marzal , and Mauladi , “Pembangunan Infrasturktur Big Data Berbasis Hadoop Pada Universitas Jambi , ” J. Sains dan Sist. Inf. , vol. 1 , no. 1 , pp. 13–19 , 2018. MongoDB Inc. , “Structure your Data for MongoDB.” https : / / docs.mongodb.com / guides / server / introduction / ( accessed Jun. 30 , 2021 ) . Apache Ignite , “In-Memory Database - Apache Ignite.” https : / / ignite.apache.org / use-cases / in-memory-database.html ( accessed Mar. 26 , 2021 ) . Apache Ignite , “What is Apache Ignite.” https : / / ignite.apache.org / whatisignite.html ( accessed Mar. 27 , 2021 ) . R. Faisal , D. Nurmalasari , and P. Sari , “Implementasi Hadoop Cluster Multi Node Untuk Membangun Model Infrastruktur Big [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] 8 / 8
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
Makalah Skripsi – Program Studi D-IV Komputasi Statistik Perancangan Arsitektur Penyimpanan Data pada Infrastruktur Big Data untuk Official Statistik di BPS Malkan Ihwani ( 221709806 , 4SI1 ) Dosen Pembimbing : Takdir , SST. , M.T. dua , bagian penyimpanan menjadi Ringkasan— BPS sudah mulai menerapkan big data dalam memperoleh official satunya dengan statistiknya. Salah melakukan crawling / scrapping data pada beberapa web. BPS sudah memiliki infrastruktur big data pada bagian pengumpulan ( collection ) , namun perlu ditemukan arsitektur dengan teknologi yang tepat pada bagian penyimpanannya. Tim terkait di BPS merancang yaitu penyimpanan untuk OLTP dan OLAP. Penelitian ini berfokus pada bagian penyimpanan untuk OLTP. Teknologi usulan peneliti adalah Apache Ignite , namun teknologi tersebut masih implementasinya untuk bisa memenuhi harus dicari pola kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Berdasarkan hal tersebut , maka dilakukanlah penelitian ini yang memiliki tujuan utama untuk mendapatkan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Terdapat empat skenario arsitektur yang dirancang pada penelitian ini. Keempat skenario tersebut diimplementasikan pada prototype infrastruktur. Hasil evaluasi keempat skenario menunjukkan bahwa arsitektur dengan menggunakan Apache Ignite bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Kata Kunci— Big Data , Penyimpanan Big Data , Arsitektur Penyimpanan Data , OLTP.
VII. PENUTUP hasil didapatkan Berdasarkan beberapa penelitian , kesimpulan untuk menjawab tujuan penelitian yang dijabarkan sebagai berikut : 1. Terdapat empat skenario arsitektur yang dirancang pada penelitian ini untuk memberikan gambaran bagaimana arsitektur dengan menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. 7 / 8 Makalah Skripsi – Program Studi D-IV Komputasi Statistik [ 9 ] [ 10 ] [ 11 ] Data , ” vol. 7 , no. 2 , 2018. Y. H. Partogi , A. Bhawiyuga , and A. Basuki , “Rancang Bangun Infrastruktur Pemrosesan Big Data Menggunakan Apache Drill ( Studi Kasus : SIRCLO ) , ” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2 , no. 3 , pp. 951–957 , 2018. Oracle , “What is Online Transaction Processing ( OLTP ) | Oracle.” https : / / www.oracle.com / database / what-is-oltp / ( accessed Jul. 02 , 2021 ) . Oracle , “Transaction throughput.” https : / / docs.oracle.com / cd / E17276_01 / html / programmer_reference / transapp_throughput.html ( accessed Jul. 02 , 2021 ) . 2. Skenario-skenario tersebut berhasil diimplementasikan pada prototype infrastruktur dengan menggunakan satu komputer fisik yang dipecah menjadi beberapa virtual machine. 3. Hasil evaluasi skenario-skenario tersebut menunjukkan bahwa arsitektur dengan menggunakan teknologi Apache Ignite bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Berikut merupakan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS :  Performa write ditingkatkan dengan menambahkan node server pada cluster , sehingga untuk mendapatkan performa write yang diinginkan bisa dilakukan dengan menambahkan / mengurangi jumlah node server pada suatu cluster. bisa  Kapasitas penyimpanan data bisa ditingkatkan dengan menambah node server pada cluster , sehingga kapasitas penyimpanan data yang diinginkan bisa dilakukan dengan menambahkan / mengurangi jumlah node server pada suatu cluster. mendapatkan untuk  Data terstruktur maupun tidak terstruktur bisa disimpan pada Apache Ignite.  Ketersediaan data terjamin selama jumlah node server yang bermasalah pada suatu cluster tidak melebihi jumlah backup. Jaminan ketersediaan data bisa diatur dengan menambah / mengurangi jumlah backup.  Apache Ignite bisa menangani node server dengan spesifikasi yang berbeda-beda pada sistem terdistribusinya. Pendistribusian datanya bisa diatur dengan menggunakan node filter. Proses entri data tetap bisa berlanjut ketika ada node server yang penuh terlebih dahulu. Node server yang penuh akan menjadi tidak aktif , tetapi bisa diaktifkan kembali dan keseluruhan data yang telah disimpan tetap tersedia secara utuh.
dilakukanlah penelitian ini yang memiliki tujuan utama untuk mendapatkan gambaran mengenai bagaimana arsitektur dengan menggunakan Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Terdapat empat skenario arsitektur yang dirancang pada penelitian ini. Keempat skenario tersebut diimplementasikan pada prototype infrastruktur. Hasil evaluasi keempat skenario menunjukkan bahwa arsitektur dengan menggunakan Apache Ignite bisa memenuhi kebutuhan pada bagian penyimpanan untuk OLTP di BPS. Kata Kunci— Big Data , Penyimpanan Big Data untuk memberikan gambaran bagaimana arsitektur dengan menggunakan teknologi Apache Ignite dalam memenuhi kebutuhan pada bagian penyimpanan untuk OLTP
O O O O O O O O B-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN I-TUJUAN O O O O O O O O O O O O O O O B-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN I-TEMUAN O O O O O O O O O O O O O O O O B-METODE I-METODE O O O O O O O O