SSIS ile ETL Geliştirme Süreçlerine Kısa Bir Giriş

Herkese merhabalar. SSIS ile ETL Geliştirme Süreçleri’ne kısa bir giriş yapacağımız bu medium yazı dizisinde, ETL geliştirme süreçlerine geçmeden önce ETL kavramının ne olduğu hakkında birazcık konuşmak oldukça faydalı olacaktır.

Öncelikli olarak ETL; Extract, Transform ve Load kelimelerinin baş harflerinden oluşmaktadır. ETL’i kabaca tanımlayacak olursak verinin kaynak bir sistemden alınıp, belirli işlemlerden geçirildikten sonra hedef bir sisteme yüklenmesi süreci olarak adlandırılabilir.

Şekil 1. ETL Architecture Diagram

Extract: Kaynak sistemden veriyi okumak anlamına gelir.

Transform: Okuduğumuz veri üzerine farklı dönüşüm işlemlerinin gerçekleştirilmesidir.

Load: Dönüştürdüğümüz ve üzerinde çeşitli hesaplamalar yapmış olduğumuz verinin hedef bir sisteme yüklenmesi anlamına gelir.

1. SSIS (SQL Server Integration Services) Nedir?

SSIS (SQL Server Integration Services), Microsoft’un İş Zekası (Business Intelligence) alanında veri taşıma, dönüştürme ve yükleme işlemleri için geliştirmiş olduğu bir ETL (veri yükleme ve senkronizasyon) platformudur. SSIS ile farklı veri kaynakları arasında veri senkronizasyonu, veri taşıma, dönüştürme ve yükleme işlemleri gerçekleştirilebilir.

SSIS, bu noktada her ne kadar bir ETL aracı olsa da, ETL işlemleri mutlaka SSIS ile gerçekleştirilmesi gereken süreçler değildir. ETL süreçleri SQL kodlarıyla, Python diliyle vb. araçlarla da gerçekleştirilebilir.

2. SSIS Kurulumu Hakkında Bilinmesi Gerekenler

SSIS ile ETL işlemlerini gerçekleştirebilmek için bilgisayarımızda kurulu olması gereken 2 ana uygulama bulunmaktadır: Bunlardan birincisi SSIS servisinin kendisidir. İkincisi ise Microsoft tarafından geliştirilen SSDT (SQL Server Data Tools) isimli Visual Studio eklentisidir.

SSDT, aslında Microsoft tarafından geliştirilen bir İş Zekası paketidir. Bu noktada SSDT’nin bizlere sunmuş olduğu 3 farklı iş zekası servisi ise şunlardır:

• SQL Server Analysis Services (SSAS)
• SQL Server Reporting Services (SSRS)
• SQL Server Integration Services (SSIS)

3. SSIS Kullanım Alanları

SSIS, şirketlerin Büyük Veri Entegrasyonu ve Kurumsal Veri Ambarı (Enterprise Data Warehouse) çözümleri geliştirme gibi iş ihtiyaçlarını karşılamak üzere geniş yelpazade çözümler sunabilir:

a) Veri Entegrasyonu: SSIS, farklı veri kaynakları arasında veri senkronizasyonu sağlar. Örneğin, bir işletme içerisindeki herhangi bir CRM (Müşteri İlişkileri Yönetimi) sistemi ile finansal bir sistem arasında veri aktarımı gerçekleştirebilirsiniz.

b) Veri Taşıma: SSIS, farklı veri kaynaklarından gelen verilerin veri depolama alanlarına taşınmasını sağlayabilir. Örneğin, işletmeniz için bir web sitesinden veri toplayabilir ve bu verileri bir veri tabanına aktarabilirsiniz.

c) Veri Dönüştürme: SSIS, farklı veri kaynaklarından gelen veriler üzerinde çeşitli dönüşüm işlemleri gerçekleştirerek, veriyi veri depolama alanlarına uygun hale getirebilir. Örneğin, bir kaynak verideki tarihlerin formatını değiştirebilir veya veri kümelerini birleştirebilirsiniz.

d) Veri Yükleme: SSIS, farklı veri kaynaklarından gelen verileri veri depolama alanlarına yükleyebilir. Örneğin, verilerinizi bir veri tabanına yükleyebilir veya metin tabanlı bir dosyaya yazdırabilirsiniz.

4. SSDT (SQL Server Data Tools) Arayüzünü Tanıyalım

Öncelikli olarak, Visual Studio Community ortamında yeni bir SSIS (SQL Server Integration Services) projesi oluşturmak için sırasıyla File ve New butonlarına basıyoruz ve buradan Project seçeneğini seçiyoruz. Daha sonrasında ise C# projelerinden farklı olarak Business Intelligence başlığı altında yer alan Integration Services seçeneğini seçerek projemize bir isim veriyoruz.

Şekil 2. Yeni Bir SSIS Projesi Oluşturma Alanı

1. SSIS Toolbox: Sol tarafta görülen ekran SSIS Toolbox olarak adlandırılmaktadır. Aslında burası, ETL süreçlerini tasarlarken kullanacak olduğumuz tüm kompenentlerin yani (bileşenlerin) yer aldığı menü olarak özetlenebilir. Bu noktada, herhangi bir bileşen ilk defa kullanılacak olduğunda üzerinde küçük bir hatırlatma yazısı görebilirsiniz.

Şekil 3. SSIS Toolbox Sekmesi ve Bileşenleri

2. Solution Explorer: Sağ taraftaki Solution Explorer penceresi ise, oluşturmuş olduğumuz SSIS projelerinin klasör yapısını ve içeriğini gösterir. Bu pencere üzerinden, oluşturmuş olduğumuz projelere ait dosyaları ve alt bileşenlerini görebilir ve yönetebiliriz.

Şekil 4. Solution Explorer Sekmesi ve Bileşenleri

3. Dizayn (Canvas) Alanı: Orta kısımda yer alan boş alan ise, ETL süreçlerini tasarlayacağımız dizayn (canvas) alanıdır. Bu alana, sol taraftaki SSIS Toolbox’tan ilgili bileşenleri sürükleyip bırakarak tüm ETL süreçlerinizi tasarlayabilirsiniz.

Şekil 5. Dizayn (Canvas) Alanı için Örnek Bir Şablon

4. Connection Managers: Dizayn alanının en altında yer alan Connection Managers sekmesi, ETL projelerinizde kullanmış olduğunuz veri bağlantı bilgilerini gösterir. Buradan mevcut veri kaynaklarına ve hedef bileşenlere ait bağlantı bilgileri ekleyebilir, düzenleyebilir veya kaldırabilirsiniz.

5. Variables: Connection Managers sekmesinin daha altında bulunan Variables sekmesi ise, proje özelinde oluşturmuş olduğunuz değişkenleri listeler. Buradan yeni değişkenler oluşturabilir, mevcut değişkenleri düzenleyebilir veya silebilirsiniz. Bu değişkenler, veri akışı süreçlerinde dinamik değerler taşımak ve işlevselliği artırmak için kullanılır.

Buraya kadar büyük bir sabırla okuduğunuz için çok teşekkür ederim. Bir sonraki hafta Temel SSIS Bileşenlerini ele aldığımız serinin ikinci yazısında hep birlikte görüşmek üzere, sağlıcakla kalın :)

KAYNAKLAR

[1] https://learn.microsoft.com/en-us/sql/integration-services/integration-services-tutorials

[2] https://www.udemy.com/course/ssis-giris-egitimi

[3] https://www.ibm.com/topics/etl

[4] https://www.veribilimiokulu.com/10-soru-ile-ssis-e-giris