Tugas Pemrograman dan Data Raya Lanjutan

Dosen Pengampu : Sabo Hermawan, S Kom., M.Si.

Seysa Ria Amanda (1710625010)

Prodi S-1 Bisnis Digital (Kelas B)

Universitas Negeri Jakarta

RANGKUMAN BAB 4 INTERAKSI API (PUBLIC DATA)

REST API dan HTTP GET

REST API (Representational State Transfer Application Programming Interface) didefinisikan sebagai gaya arsitektur yang mengatur mekanisme komunikasi lintas sistem melalui protokol HTTP. Arsitektur ini menetapkan seperangkat batasan desain yang menjamin interoperabilitas antara komponen client selaku pemohon data dan komponen server selaku penyedia layanan.

Tiga prinsip inti yang membentuk karakteristik REST API mencakup hal-hal berikut. Prinsip Stateless mewajibkan setiap permintaan bersifat atomik dan self-contained, di mana server tidak mempertahankan status sesi antarpermintaan. Prinsip Client Server Separation memisahkan tanggung jawab antara antarmuka pengguna dan lapisan penyimpanan data, yang pada gilirannya meningkatkan skalabilitas dan fleksibilitas pengembangan sistem. Prinsip Uniform Interface menjamin konsistensi interaksi melalui konvensi yang telah distandarisasi.

Dalam konteks metode HTTP, operasi GET difungsikan secara eksklusif untuk pengambilan data tanpa menginduksi modifikasi apapun pada sumber daya di sisi server konsep ini dikenal sebagai operasi idempotent dan safe. Setiap permintaan GET secara struktural terdiri atas URL Endpoint sebagai pengenal lokasi sumber daya, HTTP Headers sebagai media penyampaian metadata termasuk kredensial autentikasi, serta Query Parameters sebagai instrumen pemfilteran data.

Implementasi Pengambilan Data: Kasus OpenWeatherMap dan Alpha Vantage

Implementasi pengambilan data dari API publik dapat didemonstrasikan melalui dua platform berikut. OpenWeatherMap merupakan layanan penyedia data atmosferik yang memberikan akses terhadap variabel meteorologi termasuk temperatur, kelembapan udara, dan kecepatan angin dalam format JSON, dengan menyertakan identifikasi lokasi, kunci autentikasi, dan preferensi satuan pengukuran dalam setiap permintaan.

JSON OpenWeatherMap

Alpha Vantage merupakan platform data keuangan yang menyediakan rekam historis harga instrumen ekuitas. Data yang dapat diakses meliputi harga pembukaan (open), tertinggi (high), terendah (low), penutupan (close), serta volume transaksi harian dari emiten yang terdaftar di pasar modal, yang diidentifikasi melalui kode ticker seperti MSFT untuk saham Microsoft.

Prosedur standar pengambilan data dari API publik dapat diformulasikan ke dalam empat tahap sekuensial yaitu konstruksi endpoint disertai parameter dan kredensial autentikasi, eksekusi GET request ke server yang dituju, penerimaan dan pembacaan respons berformat JSON, serta pengolahan data untuk keperluan analitik lanjutan.

Strategi Parsing Struktur JSON Hierarkis

Data yang dikembalikan melalui API pada umumnya mengadopsi format JSON dengan struktur hierarkis berlapis, yang dalam literatur teknis diistilahkan sebagai nested JSON. Fenomena ini merujuk pada kondisi di mana suatu objek JSON memuat objek atau array lain sebagai nilai dari propertinya, membentuk pohon data dengan kedalaman yang bervariasi.

Tiga tantangan utama yang dihadapi dalam penguraian nested JSON mencakup variasi kedalaman dan kompleksitas struktur antar penyedia API yang berbeda, ketidakseragaman skema data yang mengharuskan pemahaman dokumentasi spesifik tiap layanan, serta keberadaan field kondisional yang tidak hadir secara konsisten dalam setiap respons. Kegagalan mengantisipasi kondisi terakhir akan mengakibatkan eksepsi bertipe KeyError, sehingga validasi keberadaan key sebelum pengaksesan nilai merupakan praktik yang direkomendasikan.

Konversi Data ke Struktur Pandas DataFrame untuk Analisis Lanjutan

Tahap akhir dalam alur kerja pengolahan data API adalah transformasi respons JSON ke dalam Pandas DataFrame, yakni struktur data tabular dua dimensi yang menjadi fondasi analisis data dalam ekosistem Python. Transformasi ini secara inheren diperlukan karena representasi hierarkis JSON tidak kompatibel secara langsung dengan operasi komputasi numerik, sedangkan DataFrame memfasilitasi berbagai operasi analitik mulai dari agregasi statistik, penyaringan berbasis kondisi, visualisasi grafis, hingga pra pemrosesan data untuk keperluan pemodelan machine learning.

Alur transformasi mencakup empat prosedur berurutan seperti ekstraksi dan validasi data JSON dari respons API, normalisasi struktur berlapis ke dalam representasi satu dimensi dimana rekonstruksi data ke dalam format dictionary Python serta instansiasi objek DataFrame dari dictionary tersebut.

transform JSON data into Pandas DataFrames

Pandas menyediakan fungsi utilitas json_normalize() yang mengotomasi proses normalisasi struktur JSON bersarang menjadi DataFrame tanpa memerlukan konstruksi loop secara manual, yang secara substansial meningkatkan efisiensi kode.

BAB 5 PEMBERSIHAN DATA (DATA CLEANING)

Missing Values (Data yang Hilang)

Missing values merupakan kondisi ketika suatu data tidak memiliki nilai, yang biasanya ditandai dengan sel kosong, NULL, NaN, atau indikator lainnya. Keberadaan data yang hilang dapat menyebabkan bias dalam analisis, menurunkan akurasi model machine learning, serta mengurangi keandalan hasil yang diperoleh. Oleh karena itu, identifikasi missing values perlu dilakukan sejak awal untuk mengetahui tingkat keparahan permasalahan.

Berdasarkan karakteristiknya, missing values dibagi menjadi tiga jenis. MCAR (Missing Completely at Random) terjadi secara acak tanpa keterkaitan dengan variabel lain. MAR (Missing at Random) masih memiliki hubungan dengan variabel lain dalam dataset. Sementara itu, MNAR (Missing Not at Random) memiliki pola tertentu karena berkaitan dengan nilai yang hilang itu sendiri. Penanganannya dapat berupa penghapusan data jika jumlahnya kecil atau menggunakan teknik imputasi seperti mean, median, modus, regresi, KNN, hingga MICE untuk kasus yang lebih kompleks.

Data Duplikat dan Inkonsisten

Data duplikat adalah data yang muncul lebih dari satu kali, baik identik maupun hampir serupa. Jika tidak ditangani, hal ini dapat menyebabkan perhitungan menjadi berlipat, analisis menjadi tidak akurat, serta meningkatkan risiko overfitting pada model. Oleh sebab itu, data duplikat perlu diidentifikasi dan dihapus secara cermat.

Selain itu, terdapat pula data inkonsisten, yaitu data yang sebenarnya sama tetapi ditulis dalam format berbeda, seperti “jakarta”, “Jakarta”, dan “JAKARTA”. Inkonsistensi ini dapat mengganggu proses pengelompokan, penggabungan data, dan visualisasi. Solusi yang umum dilakukan adalah standarisasi, seperti mengubah ke huruf kecil (lowercase), menghapus spasi berlebih, serta menyamakan format sesuai aturan yang berlaku.

Konversi Tipe Data

Konversi tipe data merupakan proses penyesuaian format data agar sesuai dengan kebutuhan analisis. Misalnya, data numerik yang terbaca sebagai teks perlu diubah menjadi tipe numerik, data tanggal dikonversi menjadi datetime, dan data kategori diubah menjadi tipe category agar lebih efisien.

Dalam Pandas, fungsi seperti astype, to_numeric, dan to_datetime digunakan untuk melakukan konversi tersebut. Ketepatan tipe data sangat penting karena dapat meningkatkan efisiensi pemrosesan, menghemat memori, serta mengurangi potensi kesalahan dalam analisis.

Regex untuk Pembersihan Teks

Regex (Regular Expression) yaitu metode berbasis pola yang digunakan untuk mencari, memvalidasi, mengekstrak, dan membersihkan data teks. Teknik ini sangat berguna ketika data berbentuk teks tidak terstruktur, seperti nomor telepon, email, atau tanggal dengan format yang beragam.

Simbol dasar dalam regex meliputi titik (.), bintang (*), plus (+), tanda tanya (?), dan kurung siku ([]). Pemahaman terhadap simbol-simbol ini memungkinkan proses pembersihan dan standarisasi teks dilakukan secara lebih cepat dan sistematis.