Bulutta Veri Bilimi Yolculuğu: Huawei & SphereTech Data Science Bootcamp Deneyimim

Veri bilimi projelerinde veri boyutu büyüdükçe yerel donanımların sınırlarına takılmak kaçınılmaz hale geliyor. Bu noktada bulut altyapıları, esnek bilgi işlem gücü ve ölçeklenebilirlik sunarak süreci tamamen değiştiriyor. Huawei ve SphereTech ortaklığında düzenlenen 4 haftalık Data Science Bootcamp sürecinde, veri bilimi pratiklerini Huawei Cloud mimarisi üzerinde bizzat deneyimleme fırsatı buldum.

Bootcamp Süreci ve Teknik Kazanımlar

Dört haftalık eğitim boyunca veri analitiği yaşam döngüsünü ve bulut bilişimin bu süreçteki rolünü şu başlıklar altında inceledim:

• 1. Hafta: CRISP-DM metodolojisi ile veri analitiği projelerinin uçtan uca planlanması ve stratejik süreç yönetimi.
• 2. Hafta: Veri setlerinin yapılandırılması, keşifsel veri analizi (EDA) adımları ve makine öğrenmesi temelleri.
• 3. Hafta: Büyük veri ve bulut bilişim entegrasyonu (Big Data & Cloud Computing), bulut sunucularında veri işleme pratikleri.
• 4. Hafta: Derin öğrenme ve büyük dil modellerinin (LLM) Huawei Cloud altyapısında optimize edilmiş dağıtımı.

EDA, Model Eğitimi ve Lab Uygulamaları

Bootcamp süresince teorik bilgileri pekiştirmek adına sunulan üç ana laboratuvar senaryosuna odaklandım:

• Compute Services Practice: Bulut üzerindeki bilgi işlem kaynaklarının (CPU/GPU) yapılandırılması, sanal sunucu yönetimi ve veri işleme ortamlarının hazırlanması.
• Spark Correlation Analysis: Büyük veri setlerinde Keşifsel Veri Analizi (EDA) yaparken Apache Spark’ın dağıtık mimarisinden yararlanarak korelasyon analizlerinin nasıl yürütüldüğü.
• Custom Algorithm for Image Recognition: Görüntü tanıma süreçlerine yönelik özel algoritmaların bulut sunucularındaki GPU kaynakları kullanılarak eğitilmesi ve derin öğrenme (DL) modellerinin yapılandırılması.

Bulut Ortamında Öne Çıkan Zorluklar ve Yaklaşımlar

Veri setlerini bulut ortamına taşırken ve modelleri eğitirken karşılaşılabilecek temel teknik zorlukları ve çözüm yaklaşımlarını değerlendirme şansım oldu:

• Büyük Veri Setlerinde Bellek Limitleri: Yüksek hacimli verilerde korelasyon analizi yaparken yerel belleğin yetersiz kalması durumunda, Apache Spark’ın dağıtık veri işleme yeteneğinin ve esnek bulut bellek konfigürasyonlarının önemi.
• GPU/CPU Kaynak Optimizasyonu: Derin öğrenme algoritmalarının eğitimi sırasında maliyet ve süre dengesini kurabilmek için bulut sunucularındaki GPU kaynaklarının ihtiyaca göre doğru ölçeklendirilmesi gerekliliği.

Geleceğe Bakış

Huawei Cloud ekosistemini ve büyük veri araçlarını tanımak, modern bir veri bilimcinin yalnızca algoritma yazmakla kalmayıp bu sistemleri ölçeklenebilir bulut mimarilerinde çalıştırma vizyonuna sahip olması gerektiğini gösterdi. Bu süreçte edindiğim teorik ve pratik bakış açısıyla bulut yerel veri analitiği alanındaki çalışmalarımı sürdüreceğim.