Membongkar Arsitektur Modern Data Stack dari Ingest data hingga Business Intelligence

Modern Data Stack (MDS) bukan sekadar kumpulan tools — Modern Data Stack (MDS) adalah filosofi arsitektur data yang modular, cloud-native, dan scalable. Menurut Domo, MDS adalah ekosistem modular cloud-native dari tools terbaik yang menangani seluruh siklus hidup data, mulai dari ingest data dan penyimpanan data hingga transformasi data, data analisis, data governance, dan observabilitas data [1]. Tapi bagaimana setiap layer bekerja? Artikel ini membongkar setiap lapisan MDS satu per satu.

Modern Data Stack

1. Layer Ingest: Proses pengambilan Data secara Otomatis

Layer ingest adalah pintu masuk data ke dalam ekosistem MDS. Tugasnya sederhana tapi krusial: menarik data dari berbagai sumber secara otomatis — aplikasi (CRM, ERP), database (PostgreSQL, MySQL), platform iklan (Google Ads, Meta Ads), SDK event (Segment, RudderStack), dan API pihak ketiga.

Ada dua mode operasi utama: terjadwal (batch), di mana data ditarik setiap jam atau setiap hari, dan near-real-time, di mana data mengalir setiap menit. Output dari layer ini adalah file atau tabel mentah — data “apa adanya” yang belum dilakukan transformasi.

Menurut Acceldata, tools data ingestion modern seperti Fivetran dan Stitch mengotomasi proses pengumpulan data dari berbagai sumber seperti sistem CRM dan ERP, lalu memindahkannya ke repositori terpusat untuk dianalisis [2]. Tools populer lainnya yang sejenis yaitu Airbyte (open-source), dan managed connectors dari cloud providers seperti AWS Glue dan Google Cloud Dataflow.

2. Layer Storage: Data Lake & Data Warehouse

Setelah data mendarat, ia butuh tempat tinggal. Di sinilah peran dua penghuni utama untuk penyimpanan data:

1. Data Lake

Data lake adalah gudang file berukuran besar yang menyimpan data mentah dalam format seperti Parquet, CSV, atau JSON. Data lake murah dari segi penyimpanan, fleksibel, dan cocok untuk arsip besar atau data yang belum jelas penggunaannya. Data lake menggunakan storage object seperti Amazon S3, Google Cloud Storage, atau Azure Data Lake Storage.

2. Data Warehouse

Data Warehouse menggunakan tabel SQL yang di optimalisasikan untuk analisis dengan format kolumnar (OLAP). Query-nya lebih cepat dari OLTP karena dirancang khusus untuk workload analitik. Cloud data warehouse populer diantaranya Snowflake, Google BigQuery, Amazon Redshift, dan Databricks.

Menurut Autonmis, cloud data warehouse menawarkan pemisahan storage dan compute yang memungkinkan keduanya bisa di-scale dan dibayar secara independen, mampu menangani volume data yang masif dan workload data yang berfluktuasi [3]. Prinsip hemat dalam MDS: simpan data mentah di lake (biaya rendah), lalu di olah dan di sajikan di data warehouse.

Tren terbaru dari data warehouse adalah Data Lakehouse. Data lakehouse menggunakan arsitektur yang menggabungkan antara fleksibilitas data lake dengan performa data warehouse. Data lakehouse didukung oleh format tabel open-source seperti Apache Iceberg, Delta Lake, dan Apache Hudi.

3. Layer Transform: Rapikan & Gabungkan data

Layer transform adalah jantung dari MDS. Di sinilah data mentah disulap menjadi model analitik siap pakai. Pendekatan yang paling populer adalah pendekatan ala dbt (data build tool) dengan tiga lapisan:

3.1. Staging:

Pada fase staging, proses yang dilakukan antara lain :

• Rapikan per sumber

• Rename kolom

• cast data types

• konversi timestamp

• standarisasi format.

• Tidak ada join lintas domain atau agregasi di sini.

Menurut dbt Labs, staging layer mempersiapkan building blocks data secara atomik yang menjadi fondasi seluruh transformasi selanjutnya [4].

3.2. Intermediate

Pada fase intermediate dilakukan gabungan logic data dengan mengkombinasikan beberapa staging model, proses yang dilakukan antara lain :

• menerapkan join tabel

• melakukan filter data

• melakukan windowing function

• membuat kalkulasi bisnis.

Fase intermediate ini adalah tempat logika bisnis mulai terbentuk.

3.3. Data Mart

Pada fase data mart, tabel final untuk Business intelligence sudah terbentuk. Menurut dbt Labs, data mart adalah lapisan di mana semua elemen data disusun menjadi entitas utuh yang memiliki identitas dan tujuan, siap untuk pelaporan, analisis ad-hoc, dan machine learning [5].

Analogi ala dapur: Staging adalah memotong bahan, intermediate adalah memasak, dan marts adalah menghidangkan makanan di piring cantik.

Yang tidak boleh dilupakan: sertakan tests!

• Cek not_null (pastikan kolom penting tidak kosong)

• unique (pastikan tidak ada duplikasi)

• accepted_values (pastikan hanya nilai valid)

• freshness (pastikan data masih segar).

Menurut Towards Data Science, pemisahan model ke dalam tiga layer ini memastikan pipeline yang lebih mudah di-debug, reusable, dan scalable [6].

4. Layer Orchestrate: Atur Urutan & Jadwal

Tanpa layer orchestration, pipeline data hanya kumpulan script yang berjalan sendiri-sendiri. Layer orchestrate mengatur siapa jalan duluan, retry kalau gagal, dan mengelola dependencies antar proses. Contoh dependency: tabel orders harus selesai diproses dulu sebelumnya sehingga tabel revenue bisa dihitung. Jika orders gagal, revenue tidak boleh jalan — dan tim harus mendapat notifikasi error.

Tools orchestration populer termasuk Apache Airflow (standar industri dengan komunitas besar), Dagster (modern, asset-centric), Prefect (developer-friendly), dan Kestra (26.600+ GitHub stars di 2025, workflow-centric). Fitur yang wajib ada: monitoring runtime, centralized logging, retry otomatis, notifikasi error (Slack, email, PagerDuty), dan dependency graph visualization.

Analogi: Orchestrator adalah konduktor orkestra. Setiap musisi (pipeline) punya partnya masing-masing, tapi konduktor yang memastikan semua bermain di tempo dan urutan yang tepat.

5. Layer BI & Semantic/Metric Layer

Layer BI adalah layer teratas tempat data yang sudah diolah bertemu dengan pengguna bisnis. Terdapat dua komponen utama pada layer BI:

1. BI (Business Intelligence)

Komponen ini terdiri dari Dashboard dan eksplorasi data melalui chart, tabel, dan filter interaktif. Tools popular yang digunakan oleh BI Developer adalah Looker/Looker Studio, Tableau, Power BI, Metabase (open-source), dan Apache Superset (open-source). Di sini, product manager bisa melihat funnel conversion, finance bisa monitor revenue harian, dan marketing bisa mentracking campaign performance.

2. Semantic/Metric Layer

Semantic layer berfungsi untuk menerjemahkan struktur data teknis menjadi terminologi bisnis yang mudah dipahami. Menurut dbt Labs, MetricFlow memungkinkan tim mendefinisikan metrik secara terpusat sehingga menghasilkan jawaban yang sama di mana pun dan kapan pun metrik diakses [7]. Hal ini penting karena tanpa metric layer, definisi “revenue” bisa berbeda antara dashboard finance dan marketing sehingga menyebabkan kebingungan dan keputusan yang salah.

Alur Ringkas yang Sehat

Ingest → Landing (raw) → Transform + Tests → Orchestrate → BI + Metric Layer → Pengguna ambil keputusan

tabel MDS

Video dari artikel

https://www.facebook.com/share/v/1FQAjkRowb/

https://youtube.com/shorts/A12i5E3WVfI

https://www.tiktok.com/@belajar12jam.id/video/7657189817540709633

https://www.instagram.com/reel/DaNpTXQvO-2/?igsh=MXd1ajhyeHF1aGpieA==

Kesimpulan

Modern Data Stack bukan sekadar buzzword. Modern data stack adalah arsitektur yang memungkinkan organisasi dari startup hingga enterprise mengelola data secara efisien, scalable, dan cost-effective. Kunci suksesnya ada pada modularitas: setiap layer bisa di-upgrade atau diganti tanpa harus membongkar seluruh sistem.

Pada tahun 2025–2026, tren MDS bergerak ke arah AI-native, di mana semantic layer menjadi jembatan antara data terstruktur dan AI agent. Organisasi yang membangun fondasi MDS yang kuat hari ini akan lebih siap memanfaatkan gelombang AI berikutnya.

Mau belajar Data Engineering dari nol dengan biaya terjangkau? Join komunitas Telegram Belajar12Jam di t.me/belajar12jam untuk update konten harian, diskusi, dan info micro-bootcamp!

Sumber Referensi

[1] Domo — “Modern Data Stack 2025: Tools, Trends, and How to Build It”

https://www.domo.com/glossary/modern-data-stack

Kutipan: “The modern data stack (MDS) is a modular, cloud-native ecosystem of best-in-class tools that handle the full data lifecycle.”

[2] Acceldata — “How the Modern Data Stack Really Works”

https://www.acceldata.io/blog/modern-data-stack-architecture-benefits-and-best-practices

Kutipan: “Data integration tools like Fivetran and Stitch automate the collection of data from multiple sources.”

[3] Autonmis — “What Is the Modern Data Stack and How Does It Work in 2025?”

https://autonmis.com/learning/what-is-the-modern-data-stack

Kutipan: “Decoupled Storage and Compute: Scale and pay for them independently.”

[4] dbt Labs — “Staging: Preparing our atomic building blocks”

https://docs.getdbt.com/best-practices/how-we-structure/2-staging

Kutipan: “We’ll make sure we’ve staged all the necessary atomic pieces into the project.”

[5] dbt Labs — “Marts: Business-defined entities”

https://docs.getdbt.com/best-practices/how-we-structure/4-marts

Kutipan: “This is the layer where everything comes together and we start to arrange all of our atoms and molecules into full-fledged cells.”

[6] Towards Data Science — “Staging vs Intermediate vs Mart Models in dbt”

https://towardsdatascience.com/staging-intermediate-mart-models-dbt-2a759ecc1db1/

Kutipan: “The process of structuring data models with dbt involves the separation of models into three primary layers.”

[7] dbt Labs — “Announcing open source MetricFlow”

https://www.getdbt.com/blog/open-source-metricflow-governed-metrics

Kutipan: “The semantic layer is the critical component to build a bridge between AI and structured data.”

[8] Alation — “Modern Data Stack 2026: Building the Foundation for AI Success”

https://www.alation.com/blog/modern-data-stack-explained/

Kutipan: “Modern data stacks become the essential backbone for enterprise AI initiatives.”