Microsoft Fabric’te Modern Veri Analitiği

Modern veri analitiği, büyük miktarda veriyi verimli bir şekilde depolayabilen, işleyebilen ve analiz edebilen güçlü veri ambarı çözümlerini gerektirir. Microsoft Fabric, veri çalışanlarının verileri ingest, store, transform ve visualize etmelerini sağlayan kapsamlı bir platform sunar. Bu rehberde, Microsoft Fabric kullanarak veri ambarı oluşturma sürecini adım adım ele alacağız.

Microsoft Fabric ile Veri Ambarı Nasıl Oluşturulur?

Fabric’in Lakehouse’u, veri gölü üzerinde bir veritabanı gibi davranan dosyalar, klasörler, tablolar ve kısayollar koleksiyonudur. Bu yapı, Spark engine ve SQL engine tarafından büyük veri işlemleri için kullanılır ve Delta formatlı tablolar kullanıldığında ACID transactions desteği sunar.

Fabric’in veri ambarı deneyimi, Lakehouse’un (data engineering ve Apache Spark’ı destekleyen) lake view’ından geleneksel veri ambarlarının sağladığı SQL deneyimlerine geçiş yapmanıza olanak tanır. Lakehouse, tabloları okuyabilmenizi ve SQL analytics endpoint kullanabilmenizi sağlarken, veri ambarı veriyi manipüle etmenizi sağlar.

Veri Ambarı Deneyimi

Veri ambarı deneyiminde, verileri tablolar ve görünümler (views) kullanarak modelleyebilir, T-SQL ile veri sorgulayabilir, DML operasyonları gerçekleştirebilir ve Power BI gibi raporlama katmanlarına veri sunabilirsiniz.

Veri Ambarı Oluşturma

Fabric’de bir veri ambarı oluştururken, Lakehouse’daki fiziksel verilerin üzerine bir ilişkisel katman inşa edebilir ve bu katmanı analiz ve raporlama araçlarına açabilirsiniz. Veri ambarınızı Fabric’deki create hub’dan veya bir workspace içinden doğrudan oluşturabilirsiniz. Boş bir veri ambarı oluşturduktan sonra objeler ekleyebilirsiniz.

Veri Ambarında Data Ingest

Veri ambarına data ingest işlemini gerçekleştirmek için birkaç yöntem vardır:

• Pipelines
• Dataflows
• Cross-database querying
• COPY INTO

Veri ingest edildikten sonra, bu veriler farklı iş grupları tarafından analiz için kullanılabilir hale gelir. Cross-database querying ve sharing özellikleri ile veriye erişilebilir.

Tablolar Oluşturma

Veri ambarında tablo oluşturmak için SQL Server Management Studio (SSMS) veya başka bir SQL client kullanarak veri ambarına bağlanabilir ve CREATE TABLE ifadesini çalıştırabilirsiniz. Ayrıca, Fabric arayüzünde doğrudan tablolar oluşturabilirsiniz.

Dış bir konumdan veri ambarındaki bir tabloya veri kopyalamak için COPY INTO komutunu kullanabilirsiniz.

Aşağıdaki SQL sorgusu, Azure Blob Storage’da depolanan bir CSV dosyasındaki verileri Fabric veri ambarındaki “Region” tablosuna yükler.

Tabloları Yükleme ve İşleme

Tablolar oluşturulduktan sonra, bu tablolara veri yükleme sürecini dikkate almak önemlidir. Yaygın bir yaklaşım, staging tables kullanmaktır. Staging tabloları, geçici tablolardır ve veri temizleme, dönüştürme ve doğrulama işlemleri için kullanılabilir. Ayrıca, farklı kaynaklardan gelen verileri tek bir hedef tabloya yüklemek için kullanılabilir.

Genellikle, veri yükleme işlemi, belirli aralıklarla (ör. günlük, haftalık veya aylık) gerçekleştirilen periyodik batch process olarak yapılır. Veri ambarı yükleme süreci genellikle şu sırayla gerçekleştirilir:

1. Yüklenecek yeni veriyi bir data lake’e ingest edin, gerekli ön yükleme temizliği veya dönüşümleri uygulayın.
2. Dosyalardan staging tablolara veri yükleyin.
3. Staging tablolardan dimension tablolara veri yükleyin, mevcut satırları güncelleyin veya yeni satırlar ekleyin ve gerekli olduğunda surrogate key değerleri oluşturun.
4. Staging tablolardan fact tablolara veri yükleyin, ilgili dimension’lar için uygun surrogate key’leri arayın.
5. Post-load optimizasyon işlemlerini gerçekleştirerek index ve tablo dağıtım istatistiklerini güncelleyin.

Eğer Lakehouse’ta tablolarınız varsa ve bu verileri veri ambarınızda sorgulamak, ancak değişiklik yapmamak istiyorsanız, veriyi Lakehouse’tan veri ambarına kopyalamanıza gerek yoktur. Cross-database querying kullanarak veri ambarından doğrudan Lakehouse’taki verileri sorgulayabilirsiniz.

Adım Adım Uygulama

1. Veri Ambarını Oluşturma:

Fabric portalında veya bir workspace içinde create hub kullanarak boş bir veri ambarı oluşturun.

2. Tablolar Oluşturma:

SQL Server Management Studio (SSMS) veya Fabric arayüzünü kullanarak CREATE TABLE komutuyla tablolar oluşturun.

3. Data Ingest:

Pipelines, Dataflows, cross-database querying veya COPY INTO komutunu kullanarak veri ambarına veri yükleyin.

4. Staging Tablolar Kullanma:

Veriyi staging tablolara yükleyin ve gerekli veri temizleme, dönüşüm ve doğrulama işlemlerini gerçekleştirin.

5. Veri Yükleme ve Optimizasyon:

Staging tablolardan dimension ve fact tablolara veri yükleyin.

Post-load optimizasyon işlemlerini gerçekleştirerek index ve tablo dağıtım istatistiklerini güncelleyin.