Perbandingan Pelatihan dan Inferensi Model GPT-2 untuk Aplikasi Chatbot dengan menggunakan SparkNLP dan tanpa SparkNLP

Pendahuluan

Pada Industri 4.0 beberapa teknologi berkembang pesat, diantaranya adalah data science, artificial intelligence (AI), internet of think (IoT), dan big data. Keempat teknologi tersebut saling berhubungan, dimana data science berkembang pesat karena didukung oleh tidak hanya metode-metode statistik, tetapi juga metode-metode yang berbasis AI. Metode-metode yang berbasis AI berkembang pesat dan semakin akurat karena didukung oleh tersedianya data yang melimpah (yang sering disebut corpus). Melimpahnya data, terjadi karena pemanfaatan IoT di masyarakat kita. Kemampuan untuk mengakuisisi, menyimpan dan memproses data yang melimpah tersebut dimungkinkan dengan adanya teknologi big data [1].

Big data merupakan istilah untuk sekumpulan data yang begitu besar atau kompleks, dimana tidak bisa ditangani lagi dengan sistem teknologi komputer konvensional (Hurwitz, et al., 2013) [2]. Adapun 3 macam jenis dari big data, yakni pertama adalah structured data, dimana jenis ini adalah memiliki keragaman ukuran, satuan pengukuran yang sesuai standar, format angka sudah setara dengan ketentuan, kemudahan akses, dan struktur angka yang jelas atau dapat dikatakan data memiliki terstruktu dengan baik. Kedua, semi-structured data adalah data tidak memiliki model data yang telah ditentukan sebelumnya dan lebih kompleks daripada data structured data, tetapi lebih mudah disimpan daripada data tidak terstruktur, contoh dari jenis ini adalah file .json, .xml, data email, data paket TCP/IP, dan file .zip. Ketiga, unstructured data adalah data yang tidak terstruktur contoh dari jenis ini adalah foto, video, audio, konten media sosial, pdf, dan slide presentasi [3].

Salah satu penggunaan big data adalah dapat diterapkan pada pemrosesan bahasa alami atau Natural Language Processing (NLP), dimana NLP adalah penerapan ilmu komputer, khususnya linguistik komputasional (computational linguistics), untuk mengkaji interaksi antara komputer dengan bahasa (alami) manusia [4]. Adapun beberapa library python yang dapat digunakan untuk melakukan proses NLP, yakni Natural Language Toolkit (NLTK), TextBlob, CoreNLP, Gensim, spaCy, polyglot, scikit-learn, Pattern [5]. Selain itu juga ada library bernama SparkNLP, dimana library ini tidak kalah populer dengan library di atas. Menurut penelitian, SparkNLP menjadi library yang sering digunakan di dunia, dimana menduduki posisi nomor 9 dengan tingkat kepopuleran sebesar 16% [6].

Pada penelitian ini bertujuan untuk mengetahui hasil penggunaan dan efektifitas chatbot pada penggunaan SparkNLP dan tidak menggunakan SparkNLP. Hasil penggunaan yang dimaksud adalah apakah dengan menggunakan SparkNLP dan tidak chatbot mana yang memberikan hasil yang terbaik. Kemudian, efektifitas yang dimaksud adalah bagaimana akurasi yang dihasilkan serta bagaimana penggunaan memorinya. Penelitian ini menggunakan dataset percakapan pada bank dengan 2248 percakapan.

Kajian Pustaka

Dalam penelitian ini peneliti mengambil beberapa tinjauan pustaka dari penelitian yang telah dilakukan, yakni sebagai berikut.

Tinjauan pustaka 1 :

a) Nama peneliti : Mutiara Zaafira Itonsaputri, Randy Erfa Saputra, dan Ratna Astuti Nugrahaeni (2023) [7].

b) Judul penelitian : Implementasi Rasa Pada Chatbot Layanan Akademik.

c) Persamaan antara penelitian sebelumnya dengan yang digagas:

• Membuat chatbot dengan NLP (Natural Language Processing).
• Menggunakan GPT-2

d) Perbedaan pada penelitian sebelumnya :

• Menggunakan dataset yang terdiri dari 36 rules, 35 intent, 36 respons dan 1,485 pertanyaan yang sudah disusun.
• Menggunakan chatbot Server (RASA).
• Mengetahui apakah aplikasi chatbot dapat membantu mahasiswa atau mahasiswi yang sedang mencari informasi seputar layanan akademik.
• Penggunaan chatbot dapat dijalankan pada aplikasi Telegram.

e) Perbedaan pada penelitian yang digagas :

• Menggunakan dataset FAQ (frequently asked questions) pengguna bank dan teller bank dengan jumlah percakapan sebanyak 2248.
• Tidak menggunakan chatbot Server (RASA), tetapi menggunakan GPT-2 baik menggunakan SparkNLP dan tanpa SparkNLP.
• Mengetahui apakah aplikasi chatbot dapat membantu pengguna bank untuk mengetahui bagaimana cara menggunakan layanan pada bank.
• Penggunaan chatbot dapat dijalankan text editor berupa Google Colab dan Microsoft Visual Studio Code.

Tinjauan pustaka 2 :

a) Nama peneliti : Kuncahyo Setyo Nugroho, Anantha Yullian Sukmadewa, Novanto Yudistira (2021) [8].

b) Judul penelitian : Large-Scale News Classification using BERT Language Model: Spark NLP Approach.

c) Persamaan antara penelitian sebelumnya dengan yang digagas:

• Menggunakan dan tidak menggunakan library SparkNLP (Memanfaatkan teknologi MapReduce).
• Mengetahui apakah terdapat pengaruh ketika menggunakan SparkNLP dan tanpa menggunakan SparkNLP.
• Mengamati penggunaan resource (RAM dan waktu) ketika menjalankan kode program.

d) Perbedaan pada penelitian sebelumnya :

• Menggunakan dataset berita dengan 65720 baris berita.
• Klasifikasi teks dengan menggunakan BERT.

e) Perbedaan pada penelitian yang digagas :

• Menggunakan dataset percakapan antara pengguna bank dan teller bank dengan jumlah percakapan sebanyak 2248.
• Pembuatan chatbot dengan menggunakan GPT-2.

Metodologi

Dataset :

Penelitian ini menggunakan dataset FAQ (frequently asked questions) atau pertanyaan yang sering ditanya oleh pengguna bank kepada teller bank [9]. Pada arsip dataset tersebut terdapat berbagai macam FAQ dataset, penelitian ini menggunakan dataset dengan nama file “HDFC_Faq.txt”. Isi dari dataset ini adalah menggunakan format json, dimana terdapat baris FAQ dengan jumlah 2248. Untuk setiap baris FAQ tersebut memiliki tiga key, yakni “question”, “answer”, dan “found_duplicate”. Dalam penelitian ini dilakukan data preprocessing yang dilakukan adalah menggunakan dua metode preprocessing. Metode pertama, menggunakan satu key saja (“combined”). Key “combined” merupakan gabungan dari “question” dan “answer”, metode ini digunakan untuk chatbot dengan menggunakan SparkNLP. Metode kedua, menggunakan dua key (“question” dan “answer”), diaman metode ini digunakan untuk chatbot tanpa menggunakan SparkNLP. Tujuan dilakukannya data preprocessing adalah menjadi data input untuk diolah pada chatbot GPT-2.

Chatbot :

Chatbot adalah sebuah program komputer yang bertujuan untuk mensimulasikan sebuah kecerdasan buatan untuk dapat melakukan sebuah percakapan dengan manusia (Shawar & Atwell, 2002) [10]. Adapun dua cara kerja chatbot dan penjelasannya, yakni sebagai berikut [11].

a) Berorientasi pada tugas :

• Program dengan tujuan tunggal yang fokus menjalankan satu fungsi.
• Memberikan respon otomatis berupa percakapan untuk menjawab pertanyaan pengguna.
• Memiliki karakteristik yang spesifik dan tersetruktur sehingga cocok untuk memberikan layanan kepada pengguna.
• Contohnya adalah KayyisaBot (Chatbot untuk melihat jadwal shalat, Al-Qur’an, dan do’a sehari-hari yang diterapkan pada aplikasi telegram) [12].

b) Bekerja dengan dasar data dan prediktif :

• Dapat dikatakan sebagai asisten virtual karena menggunakan teknologi yang canggih.
• Memiliki kecerdasan yang prediktif dan analitik karena mampu mengenali linkungan disekitarnya.
• Mampu memberikan rekomendasi kepada penggunanya.
• Contohnya adalah Alexa dari Amazon, Google Assistant, atau Siri dari Apple.

Chatbot GPT-2 dengan SparkNLP :

Untuk membuat chatbot penelitian ini (dengan SparkNLP) memanfaatkan library GPT2Transformers dari SparkNLP. Library tersebut menggunakan algoritma GPT-2 (Generative Pre-trained Transformer 2) dengan model bahasa berbasis transformers, algoritma ini dikembangkan oleh OpeanAI yang rilis pada tahun 2019. Kelebihan algoritma ini dibandingkan algoritma sebelumnya atau GPT-1 adalah terdapat peningkatan pada ukuran, kemampuan, dan kompleksitas. Fungsi dari library ini adalah menghasilkan teks bahasa alami atau bahasa manusia, dimana caranya adalah melatih model/dataset untuk memprediksi kata berikutnya sehingga menghasilkan teks baru [13].

Penggunaan SparkNLP dapat memberikan keuntungan, yakni proses training dapat berjalan lebih cepat karena adanya fitur MapReduce. MapReduce adalah model pemograman yang didesain untuk dapat melakukan pemrosesan data dengan jumlah yang sangat besar dengan cara membagi pemrosesan tersebut ke beberapa tugas yang indipenden satu sama lain [14]. Cara kerja dari MapReduce adalah pertama menerima data input berupa teks. Kedua adalah splitting, memisahkan setiap baris data input ke dalam masing-masing satu baris data. Ketiga adalah mapping, seluruh kata dimasukkan ke dalam “key” dan setiap “key” diberi angka satu pada “value”. Hal ini sama seperti dengan konsep (“key”, “value”). Keempat adalah shuffling, mengelompokkan setiap “key” yang sama. Kelima adalah reducing, menjumlahakan “key” yang sama tersebut sehingga mendapatkan total value. Terakhir seluruh hasil dari reducing dikelompokkan pada array yang sama. Cara kerja tersebut diilustrasikan pada Gambar 1.

Gambar 1: Cara kerja MapReduce pada SparkNLP

Kemudian, setiap tahap dalam Spark NLP diimplementasikan pada “pipeline” sebagai sebuah urutan, dimana pada penelitian ini ditunjukkan pada Gambar 2 sebagai berikut.

Gambar 2: Cara kerja chatbot dengan SparkNLP

Gambar 2 di atas adalah isi dari “pipeline” yang menunjukkan alur chatbot dengan SparkNLP. Pertama, variabel “text” menjadi data input pada pembuatan chatbot. Dalam penelitian ini, “text” merupakan dataset yang telah dilakukan preprocessing sebelumnya, yakni menggunakan satu kolom dataset dengan nama “combined”. Data input tersebut akan dilakukan “DocumentAssmbler()”, dimana berfungsi untuk menerima inputan teks yang nantinya akan menghasilkan output berupa kolom “documents” [15]. Apabila program telah berhasil menjalankan fungsi tersebut, artinya inputan teks telah siap untuk diolah. Kedua, hasil dari “documents” akan dilakukan “GPT2Transformer.pretrained(“gpt2_medium”)”, dimana berfungsi untuk memuat model GPT-2 yang telah dilatih sebelumnya dengan ukuran “gpt2_medium” [16]. Model ini dapat dijalankan pada dataset yang memiliki ukuran besar dan memiliki kompleksitas sedang. Pada fungsi ini terdapat konfigurasi untuk mengatur seberapa banyak huruf yang dihasilkan, dimana terdapat pada fungsi “setMaxOutputLength(x)”, penelitian ini menggunakan nilai x sebesar 50. Hasil output dari proses ini adalah kolom “generation”.

Lalu setelah rangkaian “pipeline” berhasil dijalankan, langkah berikutnya adalah melakukan training model pipeline tersebut dengan dataset. Setelah proses training tersebut selesai, program chatbot sudah bisa digunakan. Untuk menggunakan program ini, hanya cukup memberikan pertanyaan saja nantinya chatbot akan memberikan jawaban berupa teks bahasa alami.

Chatbot GPT-2 Tanpa SparkNLP :

Untuk membuat chatbot penelitian ini (tanpa SparkNLP) memanfaatkan beberapa library, yakni sebagai berikut.

Tabel 3: Library yang digunakan untuk chatbot tanpa SparkNLP

Kemudian, langkah program yang dilakukan untuk membuat chatbot diilustrasikan melalui Gambar 3.

Gambar 3: Cara kerja chatbot tanpa SparkNLP

Gambar 3 di atas adalah cara kerja chatbot tanpa SparkNLP. Langkah awal yang dilakukan adalah chatbot menerima data input dari hasil preprocessing sebelumnya. Setelah itu, membuat konfigurasi GPT-2 dari library transformers gunanya adalah membagi teks menjadi unit yang lebih kecil yang dinamakan “token”. Setelah seluruh data input dilakukan tokenizer, langkah berikutnya adalah membuat model dengan menggunakan library GPT2LMHeadModel. Adapun parameter yang digunakan dalam membuat model tersebut yakni “pad_token_id”, fungsinya adalah menentukan token padding yang akan digunakan oleh model GPT-2 [17]. Token padding tersebut diisi dengan “pad_token_id dari tokenizer” yang digunakan.

Setelah proses konfigurasi GPT-2 berhasil dilakukan, peneliti melakukan data training dengan konfigurasi nilai learning rate sebesar “3e-3” dan nilai epoch sebesar 100, konfigurasi learning rate tersebut menggunakan library Adam dari torch. Setelah proses training selesai dilakukan, program menjawab pertanyaan yang telah diinisasikan ke dalam array serta menampilkannya ke pengguna program.

Hasil dan Evaluasi

Pembuatan chatbot baik menggunakan SparkNLP dan tanpa menggunakan SparkNLP telah berhasil dilakukan. Chatbot dengan SparkNLP dijalankan pada Google Colab GPU dengan spesifikasi Intel Xeon CPU @2.20 GHz, 13 GB RAM, GPU Nvidia Tesla K80 accelerator dengan 12 GB GDDR5 VRAM [18]. Sedangkan chatbot tanpa SparkNLP dijalankan pada Lab Komputasi Cerdas Universitas Brawijaya dengan spesifikasi Intel Xeon Gold 6230R CPU @2.10 GHz, 250 GB RAM, GPU Nvidia Quadro RTX 8000 dengan 48 GB VRAM [19]. Kemudian, kedua pengujian chatbot tersebut menggunakan pertanyaan yang sama. Pada list tersebut terdapat pengulangan pertanyaan, fungsinya untuk mengetahui apakah chatbot memberikan hasil yang sama ketika pertanyaan diulang kembali atau konvergen. List pertanyaan untuk pengujian chatbot dinyatakan pada Tabel 4.

Tabel 4: List Pertanyaan Pengujian Chatbot

Pengujian chatbot dengan SparkNLP dinyatakan pada Tabel 5, dimana terdapat 7 macam list yang masing-masing listnya memiliki komponen Qn dan An. “n” merupakan keterangan yang menunjukkan nilai dari list tersebut. Sebagai contoh Q1 menunjukkan pertanyaan 1 atau question 1 sedangkan A1 menunjukkan jawaban 1 atau answer 1, begitu juga dengan list berikutnya.

Tabel 5: Pengujian Chatbot dengan SparkNLP

Berdasarkan pengujian di atas, menunjukkan bahwa chatbot berhasil menjawab pertanyaan dengan baik. Kemudian, jawaban yang diberikan sudah konvergen, dimana dibuktikan pada A1 dengan A7, dan A3 dengan A4 sudah sama. Akan tetapi, jawaban yang diberikan oleh chatbot masih belum sesuai dengan dataset yang digunakan. Sebagai contoh A5 seharusnya menjawab “You can change / update the Email ID on your credit card account by downloading the ‘Change of Address, Mobile Number & Email ID’s’ MID from the link mentioned belowhttp://www.hdfcbank.com/assets/pdf/change_address_contact_details_email_id.pdfFill in the details and send the form toManager, HDFC Bank Cards Division,PO BOX # 8654Thiruvanmiyur POChennai — 600 041.”.

Lalu, proses training chatbot dengan SparkNLP hanya memerlukan CPU times sebesar user 1.9s dan wall time sebesar 4min 49s, dimana hasil ini juga diilustrasikan pada Gambar 4. Kemudian, penggunaan resource untuk menjalankan chatbot ini terdapat pada Gambar 5, dimana RAM yang digunakan sebesar 10.5 GB dan RAM GPU 2.5 GB. Pengujian chatbot ini tidak memerlukan waktu yang banyak, yakni membutuhkan waktu 15 menit.

Gambar 4: Waktu training chatbot dengan SparkNLP

Gambar 5: Penggunaan resource chatbot dengan SparkNLP

Pengujian chatbot tanpa SparkNLP dinyatakan pada Tabel 6, dimana penjelasannya sama dengan pengujian chatbot dengan SparkNLP diatas.

Tabel 6: Pengujian Chatbot tanpa SparkNLP

Berdasarkan pengujian di atas, menunjukkan bahwa chatbot belum berhasil menjawab pertanyaan dengan baik. Kemudian, jawaban yang diberikan belum konvergen, dimana dibuktikan pada A1 dengan A7, dan A3 dengan A4 masih berbeda. Akan tetapi, jawaban yang diberikan oleh chatbot masih banyak yang belum sesuai dengan dataset yang digunakan, dimana chatbot hanya berhasil menjawab dengan sesuai pada Q6 saja.

Lalu, proses training chatbot tanpa SparkNLP hanya memerlukan CPU times sebesar 20min 25s. Kemudian, penggunaan resource untuk menjalankan chatbot ini terdapat pada Gambar 6, dimana RAM yang digunakan sebesar 4972675072 Byte atau 4.972675072 GB.

Gambar 6: Penggunaan resource chatbot tanpa SparkNLP

Kesimpulan

Pada pengujian aplikasi chatbot dengan dataset Frequently Asked Questions (FAQ) bank pengujian dengan SparkNLP terbukti dapat mempercepat proses karena ada pengaruh dari MapReduce. Dari pengujian yang dilakukan penggunaan SparkNLP hanya membutuhkan waktu 4min 49s, sedangkan tanpa menggunakan SparkNLP membutuhkan waktu 20min 25s. Apabila hasil pengujian dengan SparkNLP dicocokan dengan dataset masih belum menjawab dengan sangat baik, tetapi hasil pengujian tersebut sudah konvergen. Kemudian, hasil pengujian tanpa SparkNLP yang dicocokan dengan dataset hanya satu pertanyaan yang bisa dijawab dengan baik dan juga hasil pengujian tersebut belum konvergen. Hal ini disebabkan karena jumlah FAQ yang ada pada dataset hanya sebesar 2248 percakapan saja. Oleh karena itu, saran untuk menyempurnakan aplikasi chatbot ini adalah dengan menggunakan dataset yang lebih banyak.

Referensi

[1] Universitas Katolik Parahyangan. (2021). Teknologi Big Data Kunci Pesatnya Perkembangan Data Science | Universitas Katolik Parahyangan. [online] Tersedia pada: https://unpar.ac.id/teknologi-big-data-kunci-pesatnya-perkembangan-data-science/ [Diakses 23 Juni 2023].

‌[2] Universitas Bina Sarana Informatika. Tersedia pada: https://lmsspada.kemdikbud.go.id/pluginfile.php/160339/mod_resource/content/2/Pertemuan%204%20PTIK.pdf [Diakses 23 Juni 2023].

[3] Reyvan Maulid (2022). Apa itu Big Data: Jenis, Ekosistem, dan Karakteristiknya. [online] Raka min Academy Blog. Tersedia pada: https://blog.rakamin.com/apa-itu-big-data-jenis-ekosistem-dan-karakteristiknya/ [Diakses 23 Juni 2023].

[4] WIDYATAMA. (2023). Tersedia pada: https://repository.widyatama.ac.id/server/api/core/bitst reams/37f8bd65-a963–489f-bca7–6529d8db2f86/ [Diakses 23 Juni 2023].

[5] Dominik Kozaczko (2018). 8 best Python NLP libraries | Sunscrapers. [online] Sunscrapers. Tersedia pada: https://sunscrapers.com/blog/8-best-python-natural-language-processing-nlp/ [Diakses 23 Juni 2023].

‌[6] Veysel Kocaman (2019). Introduction to Spark NLP: Foundations and Basic Components. [onlin e] Medium. Tersedia pada: https://towardsdatascience.com/introduction-to-spark-nlp-foundation s-and-basic-components-part-i-c83b7629ed59 [Diakses 23 Juni 2023].

‌[7] Itonsaputri, M, Saputra, R & Nugrahaeni, R (2023). Implementasi Rasa Pada Chatbot Layanan Akademik [online] Telkomuniversity.ac.id. Tersedia pada: https://openlibrarypublications.telko muniversity.ac.id/index.php/engineering/article/view/19546/18923 [Diakses 24 Juni 2023].

[8] Nugroho, K, Sukmadewa, A, & Yudistira, A (2021). Large-Scale News Classification using BE RT Language Model: Spark NLP Approach [online] Arxiv. Tersedia pada: https://arxiv.org/ftp/arxiv/pa pers/2107/2107.06785.pdf [Diakses 22 Juni 2023]

[9] Srivastava, A. (2020). FAQ Datasets for Chatbot Training. [online] Kaggle.com. Tersedia pada: https://www.kaggle.com/datasets/abbbhishekkk/faq-datasets-for-chatbot-training?resource=do wnload&select=HDFC_Faq.txt [Diakses 22 Juni 2023].

[10] Shawar, B. A., & Atwell, E. (2002). Chatbot: A computer program to simulate conversation with human users. Proceedings of the 3rd International Workshop on Learning and Evolution in Autonomous Robots (LEAR 2002), Edinburgh, UK, 29–36.

[11] Trias Ismi (2020). Chatbot: Definisi, Cara Kerja, Manfaat, dan Contohnya. [online] Glints Blog. Tersedia pada: https://glints.com/id/lowongan/chatbot-adalah/#cara-kerja-chatbot [Diakses 24 Juni 2023].

[12] Nasalsabila (2023). GitHub — nasalsabila/KayyisaBot: Tugas Akhir Pemrograman Python — Membuat Chatbot Telegram. [online] GitHub. Tersedia pada: https://github.com/nasalsabila/ KayyisaBot [Diakses 24 Juni 2023].

‌[13] PINTU. (2023). Pintu: Buy/Sell Digital Assets. [online] Tersedia pada: https://pintu. co.id/blog/gpt-2-adalah [Diakses 24 Juni 2023].

‌[14] Nagi, I. (2019). Implementasi Sederhana Framework MapReduce — Pujangga Teknologi — Me dium. [online] Medium. Tersedia pada: https://medium.com/pujanggateknologi/implementasi-sederhana-framework-mapreduce-8f80f22cc54f [Diakses 25 Juni 2023].

[15]‌ Veysel Kocaman (2019). Spark NLP 101: Document Assembler — spark-nlp — Medium. [online] Medium. Tersedia pada: https://medium.com/spark-nlp/spark-nlp-101-document-assembler-500018f5f6b5 [Diakses 24 Juni 2023].

‌[16] Panahi, M. (2022). Spark NLP 3.4.0: New OpenAI GPT-2, new ALBERT, XLNet, RoBERTa, XLM-RoBERTa, and Longformer for Sequence Classification, support for Spark 3.2, and lots more! [online] Medium. Tersedia pada: https://medium.com/spark-nlp/spark-nlp-3-4-0-new-openai-gpt2-new-transformers-and-lots-more-f3056b6b41c5 [Diakses 24 Juni 2023].

[17] HUGGINGFACE(2014). OpenAI GPT2. [online] Tersedia pada: https://huggingface.co/docs/transformers/v4.30.0/en/model_doc/gpt2#transformers.GPT2LMHeadModel [Diakses 25 Juni 2023].

‌[18] Das, T. (2022). Google Colab: Everything you Need to Know. [online] Geekflare. Tersedia pada: https://geekflare.com/google-colab/#:~:text=Free%20Colab%20users%20get%20chargeless,18 0%20teraflops%20of%20computational%20power. [Diakses 25 Juni 2023].

[19] FILKOM (2022). Sosialisasi Penggunaan Sumber Daya Komputasi GPU Oleh Laboratorium Komputasi Cerdas» Fakultas Ilmu Komputer | Universitas Brawijaya. [online] Fakultas Ilmu Komputer | Universitas Brawijaya. Tersedia pada: https://filkom.ub.ac.id/2022/08/03/sosialisasi-penggunaan-sumber-daya-komputasi-gpu-oleh-laboratorium-komputasi-cerdas/ [Diakses 25 Juni 2023].