Mendownload file besar dengan aria2 di Ubuntu

Photo by Gabriel Heinzer on Unsplash

Ahir-ahir ini lagi asik belajar AI, bukan belajar menulis tentang prompt AI yang baik dan benar, tapi lagi belajar install AI di server sendiri. ternyata ukurannya gak kecil ya, contohnya GPT-J yang aku download tadi malam ukurannya sekitar 70Gb. dengan koneksi internet apa adanya, aku coba deh download dari sore (15:00 WIB) sampai malam (19:00 WIB) dan hasilnya apa? yaps, downloadnya gagal di tengah jalan 🤬.

Emosi dan kesal campur aduk, tapi tidak menyerah sampai disitu aku coba cari solusi dengan tanya ke chatGPT 🤣, chatGPT adalah tempat paling tepat mendapatkan jawaban saat kita butuh jawaban cepat. dari pada cape searching trus scroll di Google, mending langsung tanya chatGPT 🤣. ahirnya chatGPT menyarankan menggunakan aria2.

aria2 adalah utilitas baris perintah untuk melakukan download file di internet. tidak perlu tampilan antarmuka cukup baris perintah di terminal saja, sangat ringan.

contoh download file menggunakan aria2

Gak perlu khawatir lagi download gagal karena ini bisa melanjutkan download sebelumnya hanya dengan menjalankan perintah yang sama. sangat mempermudah hidup bukan ? 🤣.

Oh ya, disini aku kasi contoh mendownload model AI GPT-J yang total ukurannya 70Gb lebih, kamu bisa menggunakan aria2 untuk mendownload apa saja yang kamu mau.

Penasaran gimana pakainya? apa saja yang harus disiapkan? nih aku kasi tau tahapannya 😎.

• Install aria2

sudo apt update
sudo apt install aria2 -y

• Buat folder untuk menyimpan model

mkdir -p ~/models/gpt-j-6b
cd ~/models/gpt-j-6b

• Buat File Download List untuk aria2

nano gpt-j-download.txt

• Dapatkan daftar file dari model GPT-J dengan cara klik kanan pada icon download pada setiap file dan Copy Link Address

• Paste file gpt-j-download.txt yang barusan kita buat dan simpan

• Download model menggunakan aria2

aria2c -x 16 -s 16 -i gpt-j-download.txt --continue

-x 16 : Maksimal 16 koneksi per file (optimalkan kecepatan).

-s 16 : Maksimal 16 sumber per file.

--continue : Melanjutkan download jika terputus.

• Pantau Progress. jalankan perintah di bawah jika download gagal

aria2c -x 16 -s 16 -i gpt-j-download.txt --continue

• Dan hasilnya

hasil setelah download selesai

Mudah bukan ? 😊

Ini tulisan pertama aku di Medium 😅. maaf jika tulisannya tidak enak dibaca, tanda baca tidak sesuai. aku menulis ini hanya untuk dokumentasi belajar saja. jika suatu saat aku mengalami gagal download seperti ini aku tau harus kemana.

Terimakasih sudah membaca sampai disini , kamu hebat, sehat dan sukses selalu 😎.