হ্যালো বন্ধুরা, কেমন আছেন সবাই? আশাকরি সবাই ভালো আছেন। আজকের টিউনটি সেই সব Website Owner, Content Creator, এবং টিউনারদের জন্য যারা চান তাদের সৃষ্টিশীল Content AI (Artificial Intelligence) এর হাতে পড়লেও তার উজ্জ্বলতা বজায় থাকুক। আমরা অনেকেই চাই আমাদের Website এর Content যেন ChatGPT এর মতো Powerful Search Engine এও দেখা যায়, আবার একই সাথে আমাদের Website এর মূল্যবান Content কেউ বিনা অনুমতিতে ব্যবহার করতে না পারে। তাহলে চলুন, আজকের টিউনে আমরা খুঁটিনাটি সবকিছু জেনে নেই!
বর্তমান যুগটা হলো AI এর যুগ। ChatGPT এর মতো অত্যাধুনিক AI Search Engine গুলো আমাদের Information খোঁজার পদ্ধতিকে সম্পূর্ণ পরিবর্তন করে দিয়েছে। একদিকে যেমন Search করাটা আগের চেয়ে অনেক সহজ হয়ে গেছে, তেমনি অন্যদিকে তৈরি হয়েছে নতুন কিছু চ্যালেঞ্জ। আমরা যারা Content তৈরি করি, দিন রাত পরিশ্রম করে Website এ ভিজিটর আনার চেষ্টা করি, তারা চাই আমাদের Website এ Traffic আসুক, মানুষ আমাদের Content পড়ুক। কিন্তু সমস্যা হলো, এই Content যদি AI Training এর জন্য ব্যবহার করা হয়, তাহলে আমাদের পরিশ্রমের ফল অন্য কেউ ভোগ করতে শুরু করে। অনেকটা যেন নিজের সন্তানের ভবিষ্যৎ গড়ার স্বপ্ন দেখছেন, আর সেই সুযোগ অন্য কেউ কেড়ে নিচ্ছে!
আমি কিছুদিন আগে "Chatgpt Search: Openai এর বিপ্লবী AI Search Engine, কিভাবে ভবিষ্যতের Search কে নতুন রূপ দেবে?" নামে একটা টিউন লিখেছিলাম। সেখানে আমি AI Search Engine এর সম্ভাবনা এবং বিপদ নিয়ে আলোচনা করেছিলাম। কিন্তু এখন প্রশ্ন হলো, কিভাবে আমরা নিজেদের সৃষ্টিশীল Content রক্ষা করবো, আবার একই সাথে Search Engine এর Power ও ব্যবহার করতে পারবো? আজকের টিউনে আমি আপনাদের সেই সমস্যার সমাধান দেব।
চিন্তা করার কোনো কারণ নেই, সমস্যার যেমন উদ্ভব হয়েছে, তেমনই এর সমাধানও রয়েছে। সাধারণত আমরা Robots.TXT ফাইল ব্যবহার করে বিভিন্ন AI Service এর Web Crawler দের Block করে থাকি। যারা আমার আগের আর্টিকেল "কিভাবে Openai Chatgpt কে আপনার Website Content Crwal এবং ব্যবহার করা থেকে Block করবেন?" পড়েছেন, তারা হয়তো এই বিষয়ে আগে থেকেই অবগত। কিন্তু একটা বিষয় মনে রাখা দরকার, প্রতিটি Service এর Crawler এর User-Agent কিন্তু ভিন্ন ভিন্ন হয়। তাই সব Service এর জন্য আলাদা করে সেটিংস করতে হয়।
নিচে একটা Robots.TXT ফাইলের উদাহরণ দেওয়া হলো। এই ফাইলটি ব্যবহার করে আপনারা প্রধান Generative AI Robot গুলোকে আপনাদের Website Content AI Training এর জন্য ব্যবহার করা থেকে সহজে Block করতে পারবেন:
User-Agent: Amazonbot User-Agent: Anthropic-AI User-Agent: Applebot-Extended User-Agent: Awario Rss Bot User-Agent: Awario Smart Bot User-Agent: Bytespider User-Agent: CC Bot User-Agent: Chat GPT-User User-Agent: Claude Bot User-Agent: Claude-Web User-Agent: Cohere-AI User-Agent: Data for SEO Bot User-Agent: Facebook Bot User-Agent: Google-Extended User-Agent: GPT Bot User-Agent: Imagesift Bot User-Agent: Magpie-Crawler User-Agent: Omgili User-Agent: Omgilibot User-Agent: Peer39_Crawler User-Agent: Peer39_Crawler/1.0 User-Agent: You Bot Disallow: /
এই কোডটি আপনার Website এর Root ডিরেক্টরিতে Robots.TXT নামে সেভ করুন।
Robots.TXT হলো এক ধরনের টেক্সট ফাইল। এই ফাইলটি আপনার Website এর Root ডিরেক্টরিতে থাকে। এই ফাইলের মাধ্যমে আপনি Search Engine গুলোকে একটা বার্তা দেন যে তারা আপনার Website এর কোন Page গুলো Crwal করতে পারবে, আর কোন Page গুলো Crwal করতে পারবে না। ফাইলটি সাধারণত টেক্সট এডিটর দিয়ে তৈরি করা হয়, যেমন নোটপ্যাড (notepad)।
বিষয়টা আরও সহজভাবে বোঝানোর জন্য, ধরুন আপনি একটি Building তৈরি করেছেন। Building এর নিরাপত্তা নিশ্চিত করার জন্য আপনি একজন দারোয়ান (security Guard) নিয়োগ দিলেন। আপনি দারোয়ানকে কিছু Rules বলে দিলেন। যেমন, কোন ভিজিটর কোন ফ্লোরে যেতে পারবে, আর কোন ফ্লোরে যেতে পারবে না। Robots.TXT ঠিক একই কাজ করে। এটা Search Engine Crawler দের জন্য একটা Rules এর তালিকা তৈরি করে।
সাধারণত, আমরা Search Engine Crawler দের কিছু নির্দিষ্ট Page Crwal করা থেকে আটকানোর জন্য Robots.TXT ব্যবহার করি। উদাহরণস্বরূপ, লগইন করা Page, যেখানে ভিজিটরদের Username এবং Password দিতে হয়। এছাড়া Traffic নিয়ন্ত্রণ করার জন্য এবং Image, Video অথবা Audio ফাইল গুলো Search ফলাফলে দেখানো থেকে আটকানোর জন্যও এই ফাইল ব্যবহার করা হয়। তবে একটা কথা মনে রাখতে হবে, এই ফাইলটি শুধুমাত্র সেই Crawler দের জন্য কাজ করে, যারা নিয়ম মেনে চলে। যারা নিয়ম ভাঙে, তাদের জন্য অন্য ব্যবস্থা নিতে হয়।
Robots.TXT ফাইলে দুইটি প্রধান নির্দেশাবলী থাকে:
এখানে টিউনের সবচেয়ে আকর্ষণীয় অংশটি হলো ChatGPT এর বিশেষ কৌশল। ChatGPT একটি নতুন System তৈরি করেছে, যা Website Owner তাদের Website এর Content AI Training এর জন্য ব্যবহার করা থেকে Block করেও ChatGPT Search ফলাফলে দেখানোর সুযোগ দেয়।
এখন প্রশ্ন হলো, এটা কিভাবে সম্ভব? ChatGPT Search এর জন্য Data সংগ্রহ করে Bing Search এবং OpenAI এর নিজস্ব OAI-Search Bot Crawler এর মাধ্যমে। যদি আপনি এই Crawler দুটোকে Block না করেন (এবং এদের IP Address ও Block করা যাবে না), তাহলে আপনার Website ChatGPT Search এর ফলাফলে দেখানোর সুযোগ পাবে। একদিকে AI Training বন্ধ, অন্যদিকে Traffic পাওয়ার সুযোগ খোলা।
বিষয়টা অনেকটা এমন, আপনি আপনার বাগানকে কাঁটাতার দিয়ে ঘিরে রেখেছেন, যাতে বাইরের কেউ ফল চুরি করতে না পারে, কিন্তু আপনি আপনার বন্ধুদের জন্য সবসময় দরজা খোলা রেখেছেন, যাতে তারা এসে ফল উপভোগ করতে পারে।
যারা Cloudflare ব্যবহার করেন, তাদের জন্য আরও একটি দারুণ সুযোগ আছে। Cloudflare এর Security সেটিংসে "block AI Robots" নামে একটি অপশন রয়েছে। এই অপশনটি ব্যবহার করে আপনি খুব সহজেই AI Application এর জন্য আপনার Content Crwal করা থেকে Robot দের Block করতে পারবেন। এর ফলে আপনার Content Model Training এর জন্য ব্যবহার হওয়া থেকে রক্ষা পাবে। Robots.TXT ফাইলের জটিলতা এড়িয়ে Cloudflare এর এই সহজ ফিচার ব্যবহার করে আপনি আপনার Website কে আরও বেশি নিরাপদ করতে পারবেন।
তবে Cloudflare এর এই অপশনটি ব্যবহারের আগে কিছু বিষয় মনে রাখতে হবে। এই অপশনটি চালু করলে আপনার Website এ আসা সমস্ত AI Robot Block হয়ে যাবে, এমনকি ভেরিফাইড Robot গুলোও। তাই ব্যবহারের আগে ভালোভাবে ভেবে দেখবেন, আপনার জন্য কোনটা বেশি গুরুত্বপূর্ণ।
আমি ব্যক্তিগতভাবে মনে করি, Website মালিকদের AI কে Access দেওয়া উচিত। আমার কাছে Website এর Content হলো মূল্যবান সম্পদ, যা মানুষের উপকারে আসা উচিত। AI Service গুলো কিভাবে আমাদের Data দেখাবে, আর আমাদের Website এ Traffic বাড়বে কিনা - এই প্রশ্নগুলোর উত্তর হয়তো সময়ের সাথে সাথে আরও স্পষ্ট হবে।
তবে Content এর সুরক্ষা নিশ্চিত করাও আমাদের দায়িত্ব। তাই সঠিক পদক্ষেপ নেওয়ার মাধ্যমে আমরা AI এর সুবিধা গ্রহণ করতে পারি, আবার নিজেদের Content এর Control ও ধরে রাখতে পারি।
আজকের টিউনটি কেমন লাগলো, টিউমেন্ট করে অবশ্যই জানাবেন। যদি কোনো প্রশ্ন থাকে, তাহলে নির্দ্বিধায় জিজ্ঞাসা করতে পারেন। আর টিউনটি শেয়ার করে অন্যদেরও জানার সুযোগ করে দিন। ধন্যবাদ!
আমি মো আতিকুর ইসলাম। সনিক টিউনার, টেকটিউনস, গাইবান্ধা। বিশ্বের সর্ববৃহৎ বিজ্ঞান ও প্রযুক্তির সৌশল নেটওয়ার্ক - টেকটিউনস এ আমি 5 বছর 4 মাস যাবৎ যুক্ত আছি। টেকটিউনস আমি এ পর্যন্ত 734 টি টিউন ও 94 টি টিউমেন্ট করেছি। টেকটিউনসে আমার 67 ফলোয়ার আছে এবং আমি টেকটিউনসে 3 টিউনারকে ফলো করি।
“আল্লাহর ভয়ে তুমি যা কিছু ছেড়ে দিবে, আল্লাহ্ তোমাকে তার চেয়ে উত্তম কিছু অবশ্যই দান করবেন।” —হযরত মোহাম্মদ (সঃ)
