CBOW & SKIP GRAM

CBOW এবং Skip-gram মডেল দুটোই Word2Vec এর দুটি ভিন্ন আর্কিটেকচার, যা শব্দের জন্য ভেক্টর রিপ্রেজেন্টেশন শেখানোর জন্য ব্যবহার করা হয়।

1. CBOW (Continuous Bag of Words)

CBOW মডেল প্রশিক্ষণ পদ্ধতি:

• আশেপাশের কিছু নির্দিষ্ট সংখ্যক শব্দ (context words) ইনপুট হিসেবে নেয়।
• সেই ইনপুট থেকে মাঝের শব্দ (target word) ভবিষ্যদ্বাণী করে।
• একটি নিউরাল নেটওয়ার্ক (একটি হিডেন লেয়ার সহ) ব্যবহার করে ওজন আপডেট করা হয়।

CBOW উদাহরণ:

ধরি, একটি বাক্য: “The cat sits on the mat”

যদি context window size = 2 হয়, তাহলে CBOW ইনপুট-আউটপুট হবে:

ফলাফল: CBOW পুরো করপাসের জন্য এটি করে, এবং শব্দগুলোর জন্য নির্দিষ্ট ভেক্টর রিপ্রেজেন্টেশন তৈরি হয়।

2. Skip-gram

Skip-gram মডেল প্রশিক্ষণ পদ্ধতি:

• এটি উল্টোভাবে কাজ করে — একটি শব্দ ইনপুট হিসেবে নেয় এবং এটি থেকে আশেপাশের সম্ভাব্য শব্দগুলোর ভবিষ্যদ্বাণী করে।
• নিউরাল নেটওয়ার্ক ব্যবহার করে এই সম্পর্ক শেখানো হয়।

Skip-gram উদাহরণ:

একই বাক্য “The cat sits on the mat” নিয়ে, যদি window size = 2 হয়, তাহলে ইনপুট-আউটপুট হবে:

ফলাফল: Skip-gram তুলনামূলকভাবে বেশি ডেটা তৈরি করে, যা কম ফ্রিকোয়েন্সির শব্দের জন্য ভালো পারফরম্যান্স দেয়। তবে, এটি CBOW-এর তুলনায় বেশি সময় নেয় ট্রেনিং করতে।

CBOW vs. Skip-gram তুলনা

উভয় মডেলই word embeddings তৈরি করতে ব্যবহৃত হয়, যা NLP-তে বিভিন্ন কাজে (সিমিলারিটি মেজারমেন্ট, টেক্সট জেনারেশন, ট্রান্সলেশন ইত্যাদি) ব্যবহার করা হয়।