Big Data Setiap hari, lebih dari 2,5 triliun byte pendata dibuat. Itu 2,5 dengan 18 nol setelahnya! Dari pendata penjualan transaksional hingga perangkat Internet of Things (IoT), sumber data tumbuh dalam ukuran dan kecepatan dengan kecepatan tinggi. Saat memikirkan tentang skala pendata yang masif, kita mungkin bertanya-tanya: di mana semua pendata ini disimpan? Dan bagaimana kita mendapatkan daya komputasi yang cukup untuk memprosesnya?

Big Data

situs slot anti boncos

Secara tradisional, kita dapat melihat kumpulan data dasar sebagai tabel di Excel atau aplikasi yang setara. Solusi standar ini mengharuskan kami menarik seluruh kumpulan data ke dalam memori pada satu mesin pengolah. Ketika tabel data menjadi sangat besar, itu akan melebihi memori akses acak (RAM) yang tersedia untuk perhitungan dan crash atau memakan waktu terlalu lama untuk diproses, membuat analisis menjadi tidak mungkin. Oleh karena itu, kita perlu mencari cara alternatif untuk menyimpan dan mengolah big data ini!

See also  Mostbet Arizona 90 Casino Və İdman Mərclər

Penyimpanan Big Data
Solusi populer untuk kumpulan Big Data adalah sistem file terdistribusi pada jaringan perangkat keras yang disebut cluster. Cluster adalah sekelompok beberapa mesin yang disebut node , dengan node manajer cluster dan beberapa node pekerja.

Big Data Dan Pengelolaannya

Manajer cluster mengelola sumber daya dan mengirimkan perintah ke node pekerja yang menyimpan data. pendata yang disimpan di node pekerja direplikasi beberapa kali untuk toleransi kesalahan. Ini memungkinkan akses ke kumpulan pendata lengkap bahkan jika salah satu node pekerja offline. Jenis sistem penyimpanan file ini juga mudah dan dapat diskalakan tanpa batas, karena node pekerja tambahan dapat ditambahkan tanpa batas.

See also  Melakukan Wawancara Teknis

Sistem File Terdistribusi Hadoop
Salah satu framework yang biasa digunakan untuk sistem cluster disebut Hadoop Distributed File System (HDFS) , yang merupakan bagian dari seperangkat alat yang didistribusikan oleh Apache. HDFS dirancang untuk menyimpan pendata dalam jumlah besar untuk diproses menggunakan framework lain yang disebut MapReduce. Namun, menerapkan sistem file terdistribusi seperti ini memerlukan konfigurasi perangkat keras khusus yang dapat menjadi hambatan masuk yang mahal bagi banyak perusahaan. Untuk alasan ini, HDFS yang dihosting di cloud adalah perbaikan yang populer. Microsoft Azure dan Amazon Web Services (AWS) menawarkan solusi HDFS berbasis cloud, yang memungkinkan perusahaan mengalihdayakan penyiapan sistem dan manajemen perangkat keras dengan biaya tetap bulanan.

See also  Form Login PHP : Panduan Membuat Form Login di PHP

Karena solusi HDFS menyimpan dan memproses data di setiap node pekerja, mereka memastikan bahwa kami memiliki daya komputasi yang cukup untuk mengatasi masalah pendata kami. Saat ukuran pendata bertambah, jumlah node kami dapat ditingkatkan untuk menambah lebih banyak penyimpanan dan daya komputasi. Ini menguntungkan untuk penskalaan tetapi bisa menjadi mahal karena jumlah node meningkat.

By Admin