একটি ওয়েবসাইট কে সার্চ ইঞ্জিনে ইনডেক্স করার জন্য Robots.txt অত্যন্ত গুরুত্বপূর্ণ। এই ফাইলটিতে যদি কোনভাবে গরমিল করা হয়, তাহলে ওয়েবসাইটের কনটেন্ট সার্চ ইঞ্জিনে ইনডেক্স হবে না। আবার, এই ফাইলটির মাধ্যমে কোন একটি ওয়েবপেজকে সার্চ ইঞ্জিনে ইনডেক্স করা থেকে বাধা প্রদান করা যায় অথবা সব সার্চ ইঞ্জিনকে আপনার ওয়েবসাইটের সকল কনটেন্ট ইনডেক্স করার জন্য বলা যেতে পারে।

তো যাইহোক, আমরা প্রত্যেকেই আমাদের ওয়েবসাইটের জন্য একটি Robots.txt সেটআপ করে থাকি। আমরা চাইলে পরবর্তীতে আমাদের ওয়েবসাইট অথবা অন্য কোন ওয়েবসাইটের Robots.txt ফাইল চেক করতে পারি। তাই আজকের এই টিউনে এরকম ৫ টি ফ্রি Robots.txt Checker Website নিয়ে আলোচনা করা হয়েছে, যেগুলোর মাধ্যমে আপনি আপনার ওয়েবসাইট অথবা অন্য কোন ওয়েবসাইটের ফাইল চেক করতে পারবেন। এসব ওয়েবসাইট গুলো আপনার ওয়েবসাইটের হোম পেজের Robot File Analyze করে।

আর এসব ওয়েবসাইট গুলো আপনার সাইট স্ক্যান করার পরে যদি কোন সমস্যা দেখতে পায়, তাহলে এটি আপনাকে সতর্ক করবে। যদি ফাইলটিতে Valid Syntax থাকে, হলে এটি আপনাকে বলবে যে ফাইলটি Valid; আর অন্যথায় ওয়েবসাইট গুলো আপনাকে সেটি Fix করার সাজেশন দিবে। তো যাইহোক, এই ধরনের ওয়েবসাইটগুলো আপনার ওয়েবসাইটের ফাইল যাচাই করার পর আপনাকে সেটির বিষয়ে সাজেশন প্রদান করে, যেটি ব্যবহার করে পরবর্তীতে আপনি ফাইলটিতে কিছু পরিবর্তন করতে পারেন।

আমরা এটি সকলেই জানি যে, একটি ওয়েবসাইটকে সার্চ ইঞ্জিনের Crawl করার অনুমতি দেওয়ার ক্ষেত্রে Robots.txt কতটা গুরুত্বপূর্ণ ভূমিকা পালন করে। এখানে আপনি আপনার ওয়েবসাইটের কোন কোন URL কে সার্চ ইঞ্জিন গুলোকে Crawl করার অনুমতি দিতে চান, সেগুলো নির্দিষ্ট করতে পারেন। আর এই ফাইলের যেকোন ভুল আপনার ওয়েবসাইটের SERP বা Search Engine র‍্যাঙ্ক হারানোর কারণ হতে পারে। তবে আজকে আমি যে সকল ওয়েবসাইটগুলো নিয়ে আলোচনা করেছি, এগুলোর মাধ্যমে আপনি আপনার প্রতিযোগী ওয়েবসাইটগুলোর Robots.txt File এনালাইসিস করতে পারবেন, যার ফলে আপনি তাদের মত করে নতুন ফাইল সাজানোর পরিকল্পনা করতে পারবেন।

আজকের লিস্টে থাকা কিছু ওয়েবসাইট খুবই শক্তিশালী এবং এগুলো Robots.txt ফাইল চেক করার জন্য দুর্দান্ত হতে পারে। চলুন এবার তবে এই ওয়েবসাইট গুলো সম্পর্কে পরিচিত হয়ে নেয়া যাক।

১. Google Search Console

আমার জানামতে, Google Search Console হল সবচাইতে বেশি ব্যবহৃত Robots.txt ফাইল চেকার টুল। যাইহোক, আপনি শুধুমাত্র এই টুলটি তখনই ব্যবহার করতে পারবেন, যদি আপনার নিজস্ব কোন ওয়েবসাইট থাকে অথবা যদি আপনার টার্গেট করা ওয়েবসাইটের Cpanel এর Access আপনার কাছে থাকে। আপনার ওয়েবসাইট টি গুগল সার্চ কনসোলে যুক্ত করার পর, Google আপনার সাইট থেকে Robots.txt ফাইলসহ আরো অনেক বিস্তারিত তথ্য দেখাবে। এটি আপনার ফাইলকে স্ক্যান করবে এবং যদি কোন Error দেখা যায়, তাহলে আপনি সেটি জানতে পারবেন।

এছাড়াও যদি সেই ফাইল এর কনটেন্ট সম্পর্কে কোন Minor Warning থাকে, তাহলে সেটিও জানতে পারবেন। গুগল সার্চ কনসোলে আপনার ওয়েবসাইট যুক্ত করার পর, এটি শুধুমাত্র আপনার ওয়েবসাইটের Robots.txt ফাইলের পরিসংখ্যান ই প্রদান করবে না, বরং আপনি আপনার ওয়েবসাইট সম্পর্কে আরো অনেক বিস্তারিত তথ্য দেখতে পাবেন।

যাইহোক, আমাদেরকে Google Search Console ব্যবহার করার জন্য একটি গুগল একাউন্টের প্রয়োজন হবে। এক্ষেত্রে আপনি গুগলে Google Search Console লিখে সার্চ করলেই মূল ওয়েবসাইটে চলে যেতে পারেন অথবা নিচের দেওয়া লিঙ্ক থেকেও গুগল সার্চ কনসোলে যেতে পারেন। আর ইতিমধ্যে আপনার সাইটটি যদি এখানে যুক্ত করার থাকে, তাহলে Search Console এর Crawl অপশনে যান এবং "Robots.txt Checker" অপশনে ক্লিক করুন।

এই অপশন থেকে আপনি আপনার ওয়েবসাইটের Robots ফাইলের ডেটা দেখতে পাবেন। এছাড়াও সেই ফাইলে যদি কোন ভুল থাকে, তাহলে আপনি Warning এবং Error ও দেখতে পাবেন।

Google Search Console

অফিসিয়াল ওয়েবসাইট @ Google Search Console

২. TametheBots দ্বারা Robots.txt File চেক

TametheBots হল ফ্রিতে যেকোন ওয়েবসাইটের Robots.txt ফাইল চেক করার জন্য একটি সেরা ওয়েবসাইট। এটি শুধুমাত্র Robots ফাইলের URL Path ব্যবহার করে এবং তারপর পূর্ণাঙ্গ তথ্য দেখায়। এটি Robots.txt ফাইল থেকে প্রতিটি লাইন চেক করে এবং তারপর সেটির রেজাল্ট আপনার কাছে প্রদর্শন করে। এই ওয়েবসাইটটিতে প্রবেশ করে আপনি URL এর জায়গায় ইউআরএল টি দিবেন এবং তারপর Test URL বাটনে ক্লিক করলে Robots.txt ফাইলের ইউআরএল চলে আসবে।

এক্ষেত্রে আপনাকে নিচে ওয়েবসাইটটির URL-এ উপর ক্লিক করতে হবে এবং তারপর আপনি Robots.txt File দেখতে পাবেন। এই ওয়েবসাইটের মাধ্যমে রোবট ফাইল বের করা বা যাচাই করার প্রক্রিয়াটি অন্যান্য ওয়েবসাইট থেকে সহজ। এক্ষেত্রে এই ওয়েবসাইটে এসে আপনাকে কোন রেজিস্ট্রেশনও করতে হবে না। আপনি এখানে এসে যেকোনো ওয়েবসাইটের ইউআরএল লিখে, সেটির Robots.txt ফাইল বের করতে পারবেন।

তো বন্ধুরা, খুব সহজে এবং দ্রুত Robots.txt ফাইলের Content বের করার জন্য TametheBots আপনার প্রথম পছন্দ হতে পারে।

TametheBots

অফিসিয়াল ওয়েবসাইট @ TametheBots

৩. Yandex's Webmaster Tool

যেকোন ওয়েবসাইটের Robots.txt ফাইল চেক করা অথবা টিক করার জন্য Yandex's Webmaster Tool হল আরো একটি চমৎকার টুল। এটি আপনার টার্গেট করা ওয়েবসাইটের হোম পেজের ইউআরএল এর মাধ্যমে অটোমেটিক্যালি Robots.txt File বের করে আনে। এটি আপনার ফাইলের কনটেন্ট গুলো দেখায়, যা আপনি এনালাইসিস করতে পারেন। আপনার ফাইলের সবকিছু ঠিক আছে কিনা, এটি ব্যবহার করে তা দেখতে পারেন। যদি ফাইলটিতে কোন ত্রুটি থাকে, তাহলে আপনি সেটি জানতে পারবেন এবং এই টুলটি আপনাকে সেগুলো ঠিক করার জন্য ও পরামর্শ দিবে।

Google ব্যবহার করে Robots.txt ফাইল চেক করার জন্য আপনাকে যেমন তাদের একাউন্টে সাইনআপ করা বা লগইন করার প্রয়োজন হতো, কিন্তু Yandex ব্যবহার করার ক্ষেত্রে তা করতে হবে না। এক্ষেত্রে আপনি নিচের লিংকটি ব্যবহার করে তাদের ওয়েবসাইটে যান এবং সেখানে আপনার ওয়েবসাইটের হোমপেজের ইউআরএল টি দিন। এরপর এটি আপনাকে সেই ওয়েবসাইটটির Robots.txt ফাইলটি বের করে দিবে।

এছাড়াও এটি আপনাকে ফাইলের Warning এবং Error সমূহ Marked করে দিবে এবং সেগুলো Fix করার জন্য ও সাজেশন প্রদান করবে। আর এভাবে করে আপনি আপনার ওয়েবসাইটের জন্য Highly Optimized করা Robots.txt File তৈরি করতে পারেন।

Yandex's Webmaster Tool

অফিসিয়াল ওয়েবসাইট @ Yandex's Webmaster Tool

৪. Duplichacker ওয়েবসাইট দ্বারা Robots.txt ফাইল চেক করুন

আমরা যারা ওয়েবসাইট এবং কনটেন্ট নিয়ে কাজ করি, তারা হয়তোবা সকলেই Duplichacker ওয়েবসাইটের সাথে পরিচিত। বিনামূল্যে Robots.txt চেক করার জন্য Duplichacker আরো একটি জনপ্রিয় ওয়েবসাইট, যা আপনি ব্যবহার করতে পারেন। অন্যান্য ওয়েবসাইটের মত এটি আপনার ওয়েবসাইটের হোম-পেজের ইউআরএল ব্যবহার করে Robots.txt ফাইল বের করে থাকে। এটি ওয়েবসাইট থেকে সেই ফাইলটি বের করার পর, যদি সেখানের লাইনে কোন Error থাকে, তাহলে এটি আপনাকে তাও দেখাবে এবং যা আপনি খুব সহজেই ঠিক করতে পারেন।

এই টুলটির ব্যবহার অত্যন্ত সহজ এবং এটি খুব দ্রুত আপনাকে Robots.txt ফাইলটি বের করে এনে দিতে পারে। এই ওয়েবসাইটটি ও Robots.txt বের করার জন্য আপনাকে তাদের একাউন্টে রেজিস্ট্রেশন করতে বলে না। এক্ষেত্রে আপনি শুধুমাত্র তাদের ওয়েবসাইটে প্রবেশ করে Target করা ওয়েবসাইটটির URL প্রবেশ করান এবং তারপর সার্চ করলেই রোবট ফাইলটি দেখতে পাবেন। এছাড়াও, যদি সেই ফাইলের কোন লাইনে ত্রুটি থাকে, তাহলে এটি আপনাকে তার কারণ সহ দেখাবে।

আর এতে করে আপনি সেই সমস্যা গুলো সমাধান করতে পারেন এবং আপনার ওয়েবসাইটের ফাইলটিকে আবার পুনরায় কনফিগার করতে পারেন। যাইহোক, ফ্রিতে Robots.txt Check করার জন্য Duplichacker একটি দুর্দান্ত ওয়েবসাইট।

Duplichacker

অফিসিয়াল ওয়েবসাইট @ Duplichacker

৫. Search Engine Promotion Help ব্যবহার করে যেকোন ওয়েবসাইটের Robots.txt ফাইল বের করা

Search Engine Promotion Help হল যেকোন ওয়েবসাইটের Robots.txt ফাইল বের করা এবং Analyzing করার জন্য আজকের তালিকার শেষ টুল। এটিও অন্যান্য ওয়েবসাইটের মত টার্গেট করা ওয়েবসাইটের হোমপেজের ইউআরএল নেয় এবং সেটি ব্যবহার করে Automatically Robots.txt ফাইল বের করতে পারে। এই ওয়েবসাইটটি Robots.txt ফাইলের Content বের করার পর, এটি সেগুলোকে আপনার স্ক্রিনে রাখে এবং Error গুলো ডিটেক্ট করে সেগুলোকে হাইলাইট করে।

আর শুধুমাত্র তাই নয়, এটি আপনাকে সেই Error গুলোর Details দেখায়, যাতে করে পরবর্তীতে আপনি সেগুলো ঠিক করতে পারেন। আপনি অন্যান্য ওয়েবসাইটের মত এই ওয়েবসাইটটিও একই কাজের জন্য ব্যবহার করতে পারেন। এক্ষেত্রে আপনি নিচের লিংক থেকে এই ওয়েবসাইটের হোমপেজে যান এবং সেখানে আপনার ওয়েবসাইটের Robot ফাইলের URL টি লিখে Check করুন।

এছাড়াও আপনি ম্যানুয়ালি অন্য ওয়েবসাইট ব্যবহার করে, সেখান থেকে Robots.txt ফাইলের লেখা গুলো কপি করে এখানে Paste করতে পারেন। এর ফলে, এটি সেই লেখাগুলো স্ক্যান করবে এবং তারপর আপনাকে Error সমূহ দেখাবে। আর পরবর্তীতে আপনি ফাইলটি বিশ্লেষণ করার পর সেটি নিয়ে কাজ করতে পারেন।

Search Engine Promotion Help

অফিসিয়াল ওয়েবসাইট @ Search Engine Promotion Help

শেষ কথা

উপরের এসব ওয়েবসাইটগুলো হলো ফ্রিতে Robots.txt ফাইল চেক করার জন্য কিছু প্রয়োজনীয় ওয়েবসাইট। আপনি যে সমস্ত ওয়েবসাইট ব্যবহার করার মাধ্যমে কয়েক সেকেন্ডের মধ্যেই যে কোন ওয়েবসাইটের Robot ফাইল পরীক্ষা করতে পারেন এবং যা ব্যবহার করার মাধ্যমে আপনার প্রতিদ্বন্দ্বী ওয়েবসাইট সম্পর্কে আরো ধারণা অর্জন করতে পারেন। এসব ওয়েবসাইটগুলো আপনার টার্গেট করা ওয়েবসাইট থেকে ডেটা আনবে।

এছাড়াও আপনি এই ওয়েবসাইট গুলো আপনার ওয়েবসাইটের Robots.txt ফাইলের Error সমূহ সমাধান করার কাজে ব্যবহার করতে পারেন। আর আপনার কাজের জন্য, Google search console এবং Yandex's Webmaster Tool সহ এই তালিকার অন্যান্য টুলগুলো আপনার জন্য সেরা টুল হতে পারে। তাহলে আজ থেকে আপনিও আপনার কাজের জন্য এই ওয়েবসাইটগুলো ব্যবহার করে দেখতে পারেন এবং এগুলো সম্পর্কে আপনার মতামত টিউনমেন্ট করে জানান। ধন্যবাদ, আসসালামু আলাইকুম।