Uçtan Uca Databricks Projemizde Verilerin Temizlenmesi Uyumlu Hale Getirilerek Silver Layer Yüklenmesi Birinci Bölüm.

Projemizin bu bölümünde verilerimi silver layer tablolarına taşıyacağız. Workspace bölümünden “ Project_cemilk ” klasörümüze gidiyoruz. Ardından “ 1_medallion_processing_dim ” klasörünü açıyoruz. Create bölümünden yeni notebook oluşturup ismini “ 1_dim_silver ” veriyoruz.

yeni oluşturduğumuz silver notebook sayfamıza Python kodumuzu kodlayıp çalıştırıyoruz.

Brands delta tablomuzun ilk on satırını gösteriyoruz ve verilerimizde hataları inceliyoruz. Görüldüğü gibi “ brand_code ” sütunun sonlarında “ @”, “ * ” yer almaktadır. “ brand_name ” sütunun sonunda boşluklar vardır.

İlk olarak Python kodumuzu yazıyor ve çalıştırıyoruz. Görüldüğü gibi “ brand_name ” sütunun boşluklarını kaldırdık.

Python kodumuzu yazıyor ve çalıştırıyoruz. Görüldüğü gibi “ brand_code” sütunun sonlarında “ @”, “ * ” kaldırdık.

“ category_code ” kod hataları düzenyeceğiz.

Silver Brands tablomuzu oluşturuyoruz.

slv_brands tablomuz görülmektedir.

Kategori tablomuzu inceliyoruz. İki adet aynı kategori kodu görülmektedir.

İki adet olan kategorileri Python kodumuz ile gösterelim.

Python kodumuz ile iki adet olan kategorileri kaldırıyoruz. Görüldüğü gibi kategoriler tekil yapılmıştır.

Python kodumun ile kategori kodlarının hepsini büyük harflere çeviriyoruz. Kategori kodlarımızın hepsi büyük harfe çevrilmiştir.

Kategori delta tablomuzu oluşturuyoruz.

Kategori delta tablomuz oluşturulmuştur.

Ürünler tablomuza sayısına bakıyoruz.

Ürünler tablomuzdaki hataları inceliyoruz.

Ürünler tablosunun “weight_grams” sütununa bakıyoruz.

Ürünler tablosunun “weight_grams” sütunundaki “g” kaldırıyoruz.

Kategori ve Marka kodlarına bakıyoruz.

Kategori ve Marka kodlarına büyük harflere çeviriyoruz.

Material sütununu inceliyoruz.

Python kodumuz ile yazım hatalarını düzenliyoruz.

Rating code sütunundaki eksi numaraları gösteriyoruz.

Python koşumuz ile Rating code sütunundaki eksi numaraları düzenliyoruz.

Çalıştığımız tabloların son halini görüntülüyoruz.

Ürünler delta tablomuzu oluşturuyoruz.

Ürünler tablomuz görülmektedir.