AI কীভাবে উত্তর তৈরি করে? টোকেন ও অ্যাটেনশন সহজ ব্যাখ্যা
আপনি লিখলেন, “আকাশ নীল কেন?” কয়েক সেকেন্ডের মধ্যে একটি উত্তর এসে গেল। কিন্তু উত্তরটি তৈরি হওয়ার আগে মডেলের ভেতরে কী ঘটছিল?
PretendMind-এর তৃতীয় পর্বে আমরা এই একটি প্রশ্নের পথ ধরে এগিয়েছি। লেখা কীভাবে টোকেন হয়, টোকেন কীভাবে সংখ্যায় বদলায়, আর সেই সংখ্যা থেকে পরের টোকেন বেছে নিয়ে কীভাবে একটি উত্তর তৈরি হয়, সেটিই এই পর্বের বিষয়। এখানে “ভাবা” কথাটি বোঝানোর সুবিধার জন্য ব্যবহার করা হয়েছে। এটি AI-এর চেতনা আছে, এমন দাবি নয়।
ভিডিও: AI কীভাবে উত্তর তৈরি করে?
সরাসরি দেখুন: YouTube-এ পর্ব ৩ খুলুন।
প্রথমে পুরো বাক্য নয়, ছোট ছোট টোকেন
ভাষার মডেলের ইনপুট সাধারণত টোকেন আইডির একটি তালিকা। একটি টোকেন পুরো শব্দ হতে পারে, শব্দের অংশ হতে পারে, আবার যতিচিহ্নও হতে পারে। একই বাক্য আলাদা টোকেনাইজারে আলাদাভাবে ভাগ হতে পারে।
ইংরেজিতে গড়ে একটি টোকেন প্রায় চারটি অক্ষর বা চিহ্নের কাছাকাছি বলা হয়। এটি আনুমানিক হিসাব; বাংলা বা অন্য ভাষায় একই অনুপাত ধরে নেওয়া ঠিক নয়।
এই পার্থক্য অক্ষর গোনার মতো কাজেও প্রভাব ফেলে। একটি শব্দ যদি একটি টোকেন হিসেবে আসে, তার অক্ষরগুলো আলাদা ইনপুট হিসেবে পাওয়া যাচ্ছে না। তাই কিছু চ্যাটবট “strawberry”-এর r গুনতে ভুল করেছে। তবে টোকেন ব্যবহার মানেই অক্ষর গোনা অসম্ভব নয়। শব্দটি বানান করে বা উপযুক্ত টুল ব্যবহার করে ঠিক উত্তর পাওয়া যেতে পারে।
টোকেন থেকে সংখ্যার তালিকা
টোকেন আইডিকে মডেল একটি সংখ্যার ভেক্টরে রূপান্তর করে। এই সংখ্যাগুলোকে অর্থের একটি মানচিত্রের সঙ্গে তুলনা করলে ধারণাটি সহজ হয়, যদিও বাস্তব ভেক্টর দুই বা তিন মাত্রার ছবির চেয়ে অনেক বড়।
ভিডিওতে ২০২০ সালের প্রকাশিত GPT-3 আর্কিটেকচার উদাহরণ হিসেবে এসেছে। এর সবচেয়ে বড় সংস্করণে ভেক্টরের প্রস্থ ১২,২৮৮। সব মডেলের জন্য এই সংখ্যা প্রযোজ্য নয়। নতুন মডেলের গঠন ভিন্ন হতে পারে, আর অনেক ক্ষেত্রেই সব বিবরণ প্রকাশিত হয় না।
অ্যাটেনশন: কোন প্রসঙ্গটি কাজে লাগবে?
একই শব্দের অর্থ প্রসঙ্গ বদলালে বদলায়। “bank” নদীর পাড়ও বোঝাতে পারে, আবার টাকা রাখার প্রতিষ্ঠানও। অ্যাটেনশন মডেলকে বর্তমান অবস্থানের তথ্যের সঙ্গে আগের টোকেনগুলোর সম্পর্ক হিসাব করতে সাহায্য করে।
তারপর অনেকগুলো লেয়ারের মধ্য দিয়ে এই উপস্থাপনাগুলো বদলায়। শেখার সময় নির্ধারিত প্যারামিটারগুলো এই হিসাবের অংশ। ভিডিওর টাওয়ার ও মানচিত্রের দৃশ্যগুলো ধারণা বোঝানোর ছবি, মডেলের আক্ষরিক ভেতরের দৃশ্য নয়।
পরের টোকেন বেছে নেওয়া
মডেল সম্ভাব্য পরের টোকেনগুলোর স্কোর তৈরি করে। সেই স্কোর থেকে সম্ভাবনার বণ্টন পাওয়া যায়। উত্তর তৈরির পদ্ধতির ওপর নির্ভর করে সবচেয়ে সম্ভাব্য টোকেনটি নেওয়া হতে পারে, অথবা সম্ভাবনা অনুযায়ী স্যাম্পল করা হতে পারে।
এই কারণেই একই প্রশ্নে সব সময় একই উত্তর পাওয়া জরুরি নয়। তবে প্রতিটি মডেল প্রতিবার এলোমেলোভাবে শব্দ বেছে নেয়, এমনও নয়। ব্যবহৃত সেটিংস ও নির্বাচনের পদ্ধতি এখানে গুরুত্বপূর্ণ।
একটি টোকেন যোগ হলে প্রসঙ্গ বড় হয়। সেই বড় হওয়া প্রসঙ্গ ব্যবহার করে পরের টোকেন আসে। এভাবে উত্তর এগোয়। বাস্তবে KV cache-এর মতো কৌশল আগের হিসাবের কিছু অংশ সংরক্ষণ করে কাজ দ্রুত করতে পারে।
মডেল কি আগে থেকে কিছু পরিকল্পনা করে?
২০২৫ সালে Anthropic-এর গবেষণায় Claude 3.5 Haiku-এর কিছু নির্দিষ্ট কাজে আগাম পরিকল্পনার মতো অভ্যন্তরীণ প্রক্রিয়ার প্রমাণ পাওয়া যায়। একটি উদাহরণ ছিল কবিতার মিল তৈরি করা।
তবে একটি মডেলের নির্দিষ্ট পরীক্ষার ফল সব AI-এর প্রতিটি উত্তরের ব্যাখ্যা নয়। গবেষণার পদ্ধতিরও সীমা আছে। তাই “AI শুধু পরের শব্দ বেছে নেয়” বললেই এর সব অভ্যন্তরীণ কাজ পুরোপুরি বোঝানো হয় না; আবার মানুষের মতো সচেতনভাবে চিন্তা করে বলাও এই ফল থেকে প্রতিষ্ঠিত হয় না।
নিজের ব্যাখ্যা কেন যাচাই করা দরকার
একটি চ্যাটবটকে “কীভাবে উত্তরটি করলে?” জিজ্ঞেস করলে সেটি সুন্দর একটি ব্যাখ্যা দিতে পারে। কিন্তু সেই লেখা তার আসল অভ্যন্তরীণ হিসাবের সরাসরি রেকর্ড নয়। গবেষণায় কিছু ক্ষেত্রে মডেলের বলা পদ্ধতি ও পর্যবেক্ষিত প্রক্রিয়ার মধ্যে পার্থক্য পাওয়া গেছে।
কাজের সিদ্ধান্তটি সহজ: ব্যাখ্যা পড়ুন, কিন্তু প্রমাণ, হিসাব ও উৎসও মিলিয়ে দেখুন। আত্মবিশ্বাসী ভাষাকে সঠিকতার প্রমাণ ধরে নেবেন না।
আগের পর্ব থেকে এবার কোথায় এলাম
আগের পর্বে প্রশ্ন পাঠানোর পর সার্ভার পর্যন্ত যাত্রা দেখানো হয়েছিল। এবার দেখা হলো মডেলের ভেতরে উত্তর তৈরির ধাপগুলো। পরের পর্বের বিষয়, বিপুল পরিমাণ লেখা থেকে এই প্যারামিটারগুলো শেখা হয় কীভাবে।
আরও পড়ুন
- টোকেনাইজারের বাস্তব উদাহরণ: OpenAI tiktoken
- GPT-3 গবেষণাপত্র
- Attention Is All You Need
- Anthropic-এর interpretability গবেষণা
আপনার কাছে কোন অংশটি সবচেয়ে নতুন লেগেছে: টোকেন, সম্ভাবনা থেকে নির্বাচন, নাকি কবিতার মিল আগে থেকে তৈরি করা?