Google Drive’dan Google Colab’e Veri Çekmek ve Birden Fazla Veri Dosyası İçeren ‘Klasörü’ Colab’e Aktardıktan Sonra Verileri Zamansal Olarak Sıralamak

Google Colab şu an için bizlere çalışma alanımızda verilerimizi kalıcı olarak tutabileceğimiz bir hafıza sunmuyor. Dolayısıyla çalışma alanımızı her kapatıp açtığımızda Colab’e çektiğimiz veriler hafızadan siliniyor ve bu durum, çalışmaya başlarken tüm verileri tekrar indirmemizi mecbur kılıyor. Herhangi bir public cloud’dan verileri çekiyorsanız bu durum size sorun çıkarmıyor çünkü istediğimiz verileri halihazırda public hizmete sunulmuş cloud sisteminden hızla çekebiliyorsunuz. Ya da colab’e atacağınız verilerinizin boyutu küçük ise bu da size problem yaşatmıyor. Ancak herhangi bir public cloud’dan çekmeksizin büyük verilerle çalışıyorsanız her seferinde verilerin inmesini bekleyip kodlamaya başlama gibi bir seçeneğiniz olmuyor. İşte bu durumda bir yöntem olarak, halihazırda elinizde bulunan verileri Google Drive’ınıza yükleyip hızlıca Google Colab hesabınıza çekebilir ve vakit kaybetmeden çalışmanıza odaklanabilirsiniz. Drive Colab arası veri çekme işleminden bahsetmeden önce size naçizane tavsiyem, büyük verilerle oynayacaksanız Google Drive’dan gerekli ücretler karşılığında hafıza satın almanız. Aksi takdirde bir zaman sonra Drive’ın ücretsiz olarak verdiği alan da size yetmeyecektir.

Gelelim Google Drive’dan Google Colab’e veri çekme işlemine. Öncelikle Colab’imizden Drive’a bağlantı sağlayabilmek için bir köprü oluşturacağız. Dolayısıyla google.colab kütüphanesinden drive modülünü içe aktaracağız(import edeceğiz):

from google.colab import drive
drive.mount('/content/drive')

drive.mount() ile Drive ortamındaki dosyalarınıza doğrudan erişmiş olacaksınız. Tek bir veri dosyanız varsa bu işlemden sonra dosya konumunu(file_path) belirlemeniz yeterli olacaktır ancak birden fazla NetCDF dosyası içeren bir ‘klasöre’ erişmek istiyorsanız glob modülünü import etmeniz gerekecektir:

import glob

folder_path = '/content/drive/MyDrive/VeriKlasörünüzünAdı'
file_paths = glob.glob(folder_path + '/*.nc')

Dosya yolunu belirledikten sonra xarray yardımı ile dosyaları açıyoruz. Burada dikkat edilecek nokta drive’dan tek bir NetCDF dosyası çektiyseniz xr.open_dataset(file_path) komutunu kullanacakken, birden fazla NetCDF dosyası çektiyseniz xr.open_mfdataset(file_paths, combine = ‘nested’) komutunu kullanacak olmanız. mf burada multiple files’a referans etmektedir.

import xarray as xr
df = xr.open_mfdataset(file_paths, combine='nested')

Verileri zamansal olarak sıralama yöntemlerine gelirsek:

Sıralama yapacağımız için sort() fonksiyonuna odaklanacağız. Elimizde NetCDF formatında iklim verilerimiz olduğunu düşünelim ve bu iklim verilerinin ise xarray’de okunduktan sonra zaman sütunundaki verilerin 1,2,3,4,5,….., 11688 şeklinde devam ettiğini düşünelim. Verilerimizi belli bir klasörden topluca çektiğimiz için 5.verisetimiz 1.sırada, 1.verisetimiz 10.sırada yer edinmiş olabilir klasörde. Bu durumu önlemek için uygulayacağımız yöntemlerden biri şu şekildedir: Öncelikle veri setimizin zaman kısmını Gregorian Calendar yani Miladi Takvim’e uygun olacak şekilde xr.decode_cf() fonksiyonunu kullanarak decode ederiz. Artık Miladi Takvim’e göre zamansal olarak decode edilmiş verilerimizi sortby() fonksiyonunu kullanarak veri setlerini zamanlarına göre sıralarız. Bu sıralamayı yapmadan zaman serisi grafiği çizdirirsek gerçek salınımından uzak yanlış bir grafik elde edeceğiz:

dst = dst.sortby('time')

sort() fonksiyonunu kullanarak sıralama yapmamızı sağlayacak diğer bir yöntem ise şu şekilde: