Mengembangkan Sistem AI: Menyelami OpenAI API dengan Python (Bagian 1)

Photo by Bluestonex on Unsplash

Selamat datang kembali di jurnal Second Brain saya!

Setelah menyelesaikan trilogi arsitektur LLMOps, kini saatnya kita “turun ke lapangan”. kali ini saya akan membedah standar industri yang paling masif digunakan: OpenAI API.

Bagi seorang pengembang, memanggil API AI itu mudah. Namun, membawa integrasi tersebut ke lingkungan produksi (production environment) adalah cerita yang sama sekali berbeda. Berdasarkan modul Developing AI Systems with the OpenAI API (Bab 1), kita tidak hanya belajar memanggil model, tapi bagaimana membuat skrip Python yang kebal terhadap error dan batasan sistem.

Berikut adalah pilar utama dalam membangun skrip API tingkat produksi:

1. Struktur Pemanggilan dan JSON Object

Langkah pertama bukan sekadar mendapatkan teks balasan, melainkan menstrukturkan data. Dalam otomatisasi, kita membutuhkan output yang bisa langsung dibaca oleh sistem (seperti database). Di sinilah pentingnya memaksa AI untuk selalu membalas dengan format yang konsisten menggunakan parameter response_format={"type": "json_object"}. Dengan format JSON, data bisa diekstrak dengan presisi.

2. Antisipasi Bencana (Error Handling)

Di dunia nyata, koneksi internet bisa terputus, atau API key bisa kedaluwarsa. Skrip yang baik tidak boleh langsung mati (crash) ketika hal ini terjadi. Praktik terbaiknya adalah menggunakan blok try-except di Python untuk menangkap error secara spesifik. Misalnya:

• openai.AuthenticationError: Jika API Key salah.
• openai.RateLimitError: Jika aplikasi kita mengirim terlalu banyak request.
• openai.BadRequestError: Jika struktur prompt kita tidak valid. Dengan begini, aplikasi bisa memberikan pesan error yang ramah kepada pengguna tanpa merusak keseluruhan sistem.

3. Bertahan dari Rate Limits (Batas Permintaan)

Model AI komersial membatasi seberapa banyak dan seberapa cepat kita bisa melakukan permintaan (rate limits). Bagaimana jika aplikasi kita kebanjiran traffic? Ada tiga strategi tingkat lanjut yang saya pelajari:

• Retrying (Coba Lagi Otomatis): Alih-alih membuat skrip gagal saat terkena rate limit, kita bisa menggunakan modul seperti tenacity di Python. Modul ini memungkinkan skrip kita untuk "beristirahat sejenak" secara otomatis, lalu mencoba memanggil API kembali.
• Batching (Pengelompokan): Daripada mengirim 10 pertanyaan dalam 10 kali panggilan API yang berbeda, kita menyatukan semua pertanyaan tersebut ke dalam satu tumpukan pesan (batch) dan mengirimkannya sekaligus. Ini jauh lebih efisien.
• Reducing Tokens (Efisiensi Kata): API dihitung per token. Sebelum mengirim teks yang panjang, kita bisa menggunakan library tiktoken untuk menghitung secara pasti berapa jumlah token dari prompt kita. Ini membantu kita menyensor teks yang tidak perlu dan menjaga biaya tetap murah.

Kesimpulan Awal

Bab pertama ini membuka mata saya bahwa tugas seorang AI Automation Engineer bukan sekadar membuat prompt yang bagus, melainkan membangun infrastruktur kode yang kokoh. Dari JSON, Error Handling, hingga Token Optimization, ini adalah fondasi wajib sebelum kita mulai membuat alur AI yang lebih kompleks.