Pengenalan Big Data | Big Data

Di era digital saat ini, setiap detik manusia menghasilkan data dalam jumlah yang sangat besar, baik melalui media sosial, transaksi online, perangkat pintar, hingga sensor yang ada di sekitar kita. Data yang terus bertambah dengan kecepatan tinggi ini menjadi sumber informasi yang sangat berharga apabila mampu dikelola dengan baik. Fenomena inilah yang kemudian melahirkan istilah Big Data, sebuah konsep yang semakin penting dalam dunia teknologi dan berbagai bidang kehidupan.

A. PENGERTIAN

Big data adalah kumpulan atau himpunan data yang sangat besar dan beragam dari data terstruktur, tidak terstruktur, dan semiterstruktur yang terus bertambah dan tumbuh dari waktu ke waktu. Kumpulan data ini sangat besar dan kompleks sehingga sistem manajemen data tradisional sulit atau bahkan tidak dapat menyimpan, memproses, dan menganalisisnya.

Big data digunakan dalam machine learning, pemodelan prediktif, dan analisis lanjutan lainnya untuk memecahkan masalah bisnis dan mengambil keputusan masa depan yang tepat. Contoh Big Data yang kita temui sehari-hari adalah data perilaku dan kebiasaan konsumen saat berbelanja, interaksi (seperti like, komentar, dan share) pada akun media sosial, dan data pencarian produk pada sebuah e-commerce.

B. KARAKTERISTIK

Big Data juga memiliki karakteristik yang biasanya disebut dengan 5V Big Data. Banyak sumber mengatakan 3V, 5V, atau bahkan 10V. Namun, yang paling umum digunakan adalah 3V dan 5V, yaitu diantaranya:

1. Volume Volume adalah ukuran/skala besar suatu kumpulan big data. Sebagai contoh, bayangkan 2000 video TikTok diunggah tiap harinya. Di sisi lain, mungkin juga 1 dari 2000 pencarian video dilakukan pada TikTok tiap harinya, sehingga kedua proses tersebut akan menambah tumpukan Big Data yang sangat besar dan harus dikelola dengan baik.
2. Velocity Velocity adalah kecepatan data dibuat, diproses, dan diperbarui. Kecepatan ini juga memengaruhi Volume sehingga Big Data bersifat dinamis karena data masuk secara real-time. Contohnya, aplikasi Instagram menerima ribuan postingan per detik dari seluruh dunia yang langsung diproses dan dianalisis.
3. Variety Variety adalah berbagai macam tipe data (terstruktur, semi-struktur, dan tidak terstruktur) yang dihasilkan. Sebagai contoh, dalam aplikasi WhatsApp, terdapat beberapa jenis data yang diunggah tiap harinya, seperti gambar, suara, teks, dan video.
4. Veracity Veracity adalah tingkat keandalan suatu sumber data. Veracity sangat penting untuk membuat keputusan selanjutnya berdasarkan masukan data suatu bisnis atau perusahaan. Oleh karena itu, perusahaan yang menggunakan Big Data harus memastikan sumber data yang digunakan benar-benar valid dan dapat dipercaya untuk mendukung pengambilan keputusan.
5. Value Value adalah nilai atau manfaat dari suatu data. Tidak ada artinya jika suatu Big Data tidak menghasilkan nilai yang bermakna. Misalnya, sebuah kedai kopi memanfaatkan Big Data untuk mengetahui kebiasaan pelanggan sehingga bisa memberikan rekomendasi produk dan promo untuk event selanjutnya.

C. MANFAAT BIG DATA

Big Data juga sangat memberikan keuntungan berbagai perusahaan dalam mengelola data mentah menjadi sesuatu yang berharga dan bernilai tinggi. Beberapa manfaat tersebut diantaranya:

1. Meningkatkan proses pengambilan keputusan Big Data menjadi salah satu faktor utama bagi organisasi yang mengimplementasikan sebuah konsep data di dalamnya. Dengan mengolah dan menganalisis data dalam jumlah besar, perusahaan dapat menemukan pola penting serta mendapatkan wawasan yang membantu dalam membuat keputusan dan strategi yang lebih tepat.
2. Mendorong inovasi lebih cepat Dengan Big Data, perusahaan dapat mengumpulkan dan mengolah data secara langsung saat itu juga sekaligus menganalisisnya untuk cepat beradaptasi dan meraih keunggulan. Hasil yang diperoleh dapat membantu mempercepat proses perencanaan, produksi, serta meluncurkan produk, fitur, atau update baru dengan lebih efisien.
3. Menemukan peluang baru Big Data memungkinkan aliran data real-time (streaming) dapat dihubungkan langsung dengan teknologi analisis data canggih, sehingga perusahaan mampu mengumpulkan data secara berkelanjutan, menemukan pola baru, dan membuka peluang baru untuk meningkatan nilai bisnis.
4. Meningkatkan efisiensi operasional Big Data dapat mengolah data lebih cepat dan mendapatkan wawasan baru untuk membantu perusahaan menemukan bagian mana yang bisa dipangkas biayanya, dihemat waktunya, dan ditingkatkan efisiensinya.
5. Evaluasi risiko lebih baik Dengan menganalisis data dalam jumlah besar, perusahaan dapat menilai risiko dengan lebih baik. Hal ini membantu mengidentifikasi dan memantau berbagai ancaman, lalu membangun strategi pengendalian dan pencegahan yang lebih kuat.

D. IMPLEMENTASI PADA PYTHON

Tahap selanjutnya, kita akan mencoba mengimplementasikan konsep Big Data secara sederhana pada Python.

1. Pengenalan dan Praktik Dasar PySpark

PySpark adalah API Python untuk Apache Spark, yaitu sebuah framework yang digunakan untuk Big Data secara terdistribusi. PySpark akan membuat sebuah data frame yang mirip dengan SQL. Untuk lebih jelasnya, perhatikan kode di bawah ini.

Kode 1 dan output 1

Penjelasan: Kode di atas adalah kode untuk mengolah data sederhana. Kode tersebut diawali dengan mengimpor SparkSession untuk menggunakan fitur PySpark SQL. Selanjutnya, dibuat sebuah session Spark baru dengan nama BigDataPractice melalui perintah SparkSession.builder.appName("BigDataPractice).getOrCreate(). Selanjutnya membuat sebuah kumpulan data sederhana berupa daftar tuple yang berisi nama dan usia, kemudian daftar ini dikonversi menjadi DataFrame dengan dua kolom, yaitu Nama dan Usia, menggunakan spark.createDataFrame(data, columns). Terakhir, DataFrame tersebut ditampilkan dalam bentuk tabel ke layar dengan perintah df.show(), untuk melihat isi data yang telah dimasukkan.

2. Pengenalan PySpark Lanjutan

Selanjutnya, kita akan mencoba beberapa operasi yang ada pada modul PySpark. Perhatikan kode di bawah ini.

Kode 2

Output 2

Penjelasan: Langkah berikutnya adalah melakukan penyaringan data dengan perintah df.filter(df[‘Usia’]>30), di mana hanya orang yang berusia lebih dari 30 tahun saja yang ditampilkan. Setelah itu, kode menghitung nilai rata-rata dari kolom Usia menggunakan fungsi agregasi avg. Setelah itu, terdapat juga perintah untuk mengurutkan data berdasarkan usia dari yang tertinggi ke yang terendah dengan menggunakan orderBy dan opsi ascending=False.

3. Pengenalan dan Praktik Dasar Pandas

Pandas adalah salah satu library Python yang sangat populer untuk mengolah, menganalisis, dan memanipulasi data. Library ini dirancang khusus agar bekerja dengan data yang berbentuk tabel (seperti Excel atau database), sehingga memudahkan pengguna dalam membaca, mengubah, dan menganalisis data dengan cepat. Untuk lebih jelasnya, perhatikan kode berikut.

Kode 3 dan output 3

Penjelasan: Pertama, library Pandas diimpor dengan alias pd. Lalu, dibuat sebuah dictionary bernama data_pandas yang berisi dua kunci, yaitu "Nama" dan "Usia". Dictionary ini kemudian dikonversi menjadi sebuah DataFrame Pandas dengan perintah pd.DataFrame(data_pandas). DataFrame yang dihasilkan akan berbentuk tabel dengan dua kolom, yaitu Nama dan Usia, serta empat baris berisi data dari Ali, Budi, Citra, dan Dina beserta usianya.

4. Pengenalan Pandas lanjutan

Selanjutnya, kita akan mencoba beberapa operasi yang ada pada modul Pandas. Perhatikan kode di bawah ini.

Kode 4

Output 4

Penjelasan: Setelah sebelumnya telah dibuat DataFrame pertama, selanjutnya dibuat DataFrame kedua dengan df_pandas_2, yang menyimpan informasi Nama dan Pekerjaan. Kedua DataFrame ini digabungkan menggunakan pd.merge() dengan kunci penghubung kolom Nama, sehingga terbentuk DataFrame baru bernama df_joined yang menampilkan kolom Nama, Usia, dan Pekerjaan sekaligus.

Selanjutnya, df_pandas.describe() digunakan untuk menghasilkan statistik deskriptif dari kolom numerik, seperti nilai rata-rata, standar deviasi, nilai minimum, maksimum, serta kuartil. Terakhir, data pada kolom Usia divisualisasikan dalam bentuk grafik batang menggunakan plot(kind='bar'), lalu ditampilkan dengan plt.show().

5. Menggabungkan dan mengonversi PySpark ke Pandas dan sebaliknya

Menggabungkan PySpark dan Pandas memungkinkan pengguna memanfaatkan PySpark untuk mengolah data berskala besar secara terdistribusi, sekaligus menggunakan Pandas untuk memanipulasi dan analisis data. Metode ini sangat efektif ketika berhadapan dengan dataset yang sangat besar namun tetap ingin melakukan analisis cepat dan visualisasi data.

Konversi data antara PySpark dan Pandas memungkinkan pengguna untuk memindahkan data dari lingkungan terdistribusi (Spark) ke analisis lokal (Pandas) dan sebaliknya. Hal ini memudahkan pemrosesan dataset besar dengan Spark sekaligus memanfaatkan fungsi Pandas yang lebih mudah untuk memanipulasi, analisis cepat, dan visualisasi data. Untuk lebih jelasnya, perhatikan kode di bawah ini.

Untuk lebih jelasnya, perhatikan kode di bawah ini.

Kode 5 dan output 5

Penjelasan: Kode tersebut digunakan untuk mengonversi DataFrame antara PySpark dan Pandas. Pertama, perintah df.toPandas() digunakan untuk mengubah DataFrame yang dibuat di PySpark menjadi DataFrame Pandas. Dengan cara ini, data yang sebelumnya dikelola di Spark dapat diproses secara menggunakan fungsi-fungsi Pandas yang lebih mudah. Sebaliknya, spark.createDataFrame(df_pandas) digunakan untuk mengubah DataFrame Pandas kembali menjadi DataFrame PySpark, sehingga data yang telah dimanipulasi dapat diproses secara terdistribusi menggunakan Spark. Terakhir, hasil konversi ditampilkan dengan df_pandas_from_spark untuk melihat DataFrame Pandas dan menggunakan df_spark_from_pandas.show() untuk menampilkan DataFrame PySpark dalam format tabel.

E. TUGAS

Setelah mencoba mengimplementasikan konsep Big Data sederhana pada Python, kita akan mencoba beberapa tugas yang telah disediakan. Tugas-tugas ini masih berhubungan dengan implementasi sebelumnya, sehingga kita hanya perlu memodifikasi kode yang telah dibuat. Langsung saja kita menuju ke penugasan.

SOAL 1

Untuk tugas pertama, kita hanya perlu menambahkan tiga data baru ke dalam data tuple yang telah dibuat sebelumnya. Data yang perlu ditambahkan adalah data mengenai pekerjaan, hobi, dan gender. Kode yang telah dimodifikasi adalah sebagai berikut.

Kode dan output soal 1

Penjelasan: Kode ini adalah modifikasi dari bab sebelumnya, di mana sebelumnya DataFrame hanya berisi kolom Nama dan Usia. Pada modifikasi ini, ditambahkan tiga kolom tambahan, yaitu Pekerjaan, Hobi, dan Gender, sesuai dengan penugasan. Data dibuat dalam bentuk tuple, kemudian dikonversi menjadi DataFrame PySpark dengan nama kolom yang sesuai. Terakhir, DataFrame ditampilkan menggunakan df.show(), sehingga semua data terlihat secara rapi dalam format tabel.

SOAL 2

Untuk tugas kedua, kita perlu membuat operasi filter, perhitungan rata-rata, dan pengurutan data tuple yang telah dibuat sebelumnya. Kode yang telah dimodifikasi adalah sebagai berikut.

Kode soal 2

Output soal 2

Penjelasan: Masih menggunakan data sebelumnya, kita akan melakukan filtering data. Filtering menggunakan kodedf.filter(df['Gender'] == 'L'), sehingga hanya baris dengan gender laki-laki yang ditampilkan. Setelah itu, kode menghitung rata-rata usia seluruh data menggunakan df.groupBy().agg(avg("Usia")). Terakhir, data diurutkan berdasarkan kolom Usia secara menaik (ascending) menggunakan df.orderBy("Usia", ascending=True), dan hasilnya ditampilkan dengan show() .

SOAL 3

Untuk tugas ketiga, kita akan menambahkan tiga data baru ke dalam data tuple yang telah dibuat sebelumnya. Data ditambahkan adalah data mengenai gender, prodi, dan tahun masuk. Kemudian, akan dilakukan filtering berdasarkan data usia. Kode yang telah dimodifikasi adalah sebagai berikut.

Penjelasan: Pertama, dibuat sebuah DataFrame Pandas bernama df_pandas dari dictionary data_pandas yang berisi kolom Nama, Usia, Gender, Prodi, dan Tahun masuk. Kemudian, dilakukan filtering untuk menampilkan hanya baris dengan usia lebih dari 30 menggunakan sintaks df_pandas[df_pandas['Usia'] > 30]. Hasilnya disimpan ke variabel df_filtered_3. Output tersebut menghasilkan informasi Ali dan Dina karena hanya kedua informasi tersebut yang memiliki Usia diatas 30.

SOAL 4

Untuk tugas ketiga, kita akan menggabungkan dua buah data Pandas. Kode yang telah dimodifikasi adalah sebagai berikut.

Kode soal 4

Output soal 4

Penjelasan: Pertama, dibuat dua DataFrame, yaitu df_pandasyang berisi kolom Nama dan Usia, lalu df_pandas_2 yang berisi kolom Nama dan Pekerjaan. Kedua DataFrame ini digabungkan menggunakan pd.merge() berdasarkan kolom Nama dan disimpan pada df_joined yang memiliki kolom Nama, Usia, dan Pekerjaan.

Setelah itu, DataFrame df_joined divisualisasikan dalam bentuk bar chart menggunakan plot(x='Nama', y='Usia', kind='bar'), sehingga tinggi batang merepresentasikan nilai usia masing-masing orang. Perintah plt.show() menampilkan grafik tersebut. Terakhir, dengan menuliskan df_joined di akhir untuk menampilkan tabel hasil merge.

SOAL 5

Untuk tugas ketiga, kita akan mengonversi data dari PySpark ke Pandas dan sebaliknya. Kemudian, dilakukan fungsi agregat untuk menghitung rata-rata usia. Kode yang telah dimodifikasi adalah sebagai berikut.

Penjelasan: Mula-mula, DataFrame PySpark df dikonversi menjadi DataFrame Pandas dengan perintah df.toPandas(). Sebaliknya, DataFrame Pandas df_pandas dikonversi kembali menjadi DataFrame PySpark menggunakan spark.createDataFrame(df_pandas). Terakhir, kode df.groupBy().agg(avg("Usia")).show() digunakan untuk menghitung rata-rata usia dari seluruh data PySpark.

SOAL 6

Untuk tugas ketiga, kita akan mengonversi data dari PySpark ke Pandas dan sebaliknya. Kemudian, dilakukan fungsi agregat untuk mencetak usia tertinggi. Kode yang telah dimodifikasi adalah sebagai berikut.

Penjelasan: Mula-mula, DataFrame PySpark df dikonversi menjadi DataFrame Pandas dengan perintah df.toPandas(). Sebaliknya, DataFrame Pandas df_pandas dikonversi kembali menjadi DataFrame PySpark menggunakan spark.createDataFrame(df_pandas). Selanjutnya, kita perlu mengimpor fungsi max dari library PySpark. Terakhir, kode df.groupBy().agg(max("Usia")).show() digunakan untuk menghitung rata-rata usia dari seluruh data PySpark.

F. KESIMPULAN

Big Data adalah kumpulan data besar dan kompleks yang membantu sebuah organisasi atau perusahaan untuk meningkatkan keputusan, inovasi, efisiensi, dan manajemen risiko. PySpark digunakan untuk memproses data besar secara terdistribusi, sedangkan Pandas memudahkan analisis data secara lokal, termasuk filtering, merge, agregasi, dan visualisasi. Dengan menggabungkan PySpark dan Pandas, kita bisa memindahkan data antara lingkungan terdistribusi dan lokal, sambil memanfaatkan keunggulan keduanya untuk analisis dan penyajian data secara efektif.

Terima kasih telah membaca. Semoga membantu:)

Referensi :

1. Definisi Big Data: Contoh dan Manfaat. (n.d.). Google Cloud. https://cloud.google.com/learn/what-is-big-data?hl=id

GitHub : 1. Project