রোবটস.টেক্সট জেনারেটর

এই টুল সম্পর্কে

দেখুন, আপনি যদি কখনো কোনো ওয়েবসাইটের সাথে কাজ করে থাকেন, তবে আপনি সম্ভবত robots.txt শুনেছেন। এটি হল সেই ছোট ফাইলটি যা আপনি আপনার সাইটের রুট ফোল্ডারে রাখেন সার্চ ইঞ্জিনগুলিকে বলতে যে কোন কিছু ক্রল করা যাবে এবং কোন কিছু করা যাবে না। তাত্ত্বিকভাবে সহজ, কিন্তু সাবধান না থাকলে খুব সহজেই ভুল করা যায়। এখানেই এই robots.txt জেনারেটরটি আসে। কোনো অপ্রয়োজনীয় জিনিস নেই। কোনো জটিল UI নেই। আপনি যা ব্লক করতে চান তা টাইপ করুন, জেনারেট বাটনে ক্লিক করুন, এবং হয়ে গেল।

আমি এটি তৈরি করেছি কারণ আমি প্রতিবার syntax ভুলে যেতাম। একটি ভুল স্ল্যাশ রেখে হঠাৎ গুগল আপনার অ্যাডমিন প্যানেল ইনডেক্স করে ফেলতে পারে। এটি আদর্শ নয়। তাই "robots.txt disallow syntax" গুগল করার দশটি বারের বদলে, আমি এমন একটি টুল তৈরি করেছি যা আমার জন্য এটি করে। আর হ্যাঁ, যদি এটি আপনাকে একই ধরনের ঝামেলা থেকে বাঁচায়, তবে তাই ভালো।

মূল বৈশিষ্ট্যসমূহ

• কয়েক সেকেন্ডে বৈধ robots.txt ফাইল তৈরি করে—regex ছাড়া, কোনো দ্বিধা ছাড়া।
• আপনার সাইটের নির্দিষ্ট ফোল্ডার, ফাইল বা পুরো অংশ ব্লক করতে দেয়।
• একাধিক ইউজার এজেন্ট (Googlebot, Bingbot ইত্যাদি) সমর্থন করে যাতে আপনি শুধুমাত্র একটির সাথে আটকে না যান।
• ঐচ্ছিক সাইটম্যাপ লিঙ্ক অন্তর্ভুক্ত করে—কারণ ক্রলারদের জন্য জীবন সহজ না করা কেন?
• কপি-পেস্ট করার জন্য প্রস্তুত আউটপুট। কোনো অতিরিক্ত ফরম্যাটিং নেই। কোনো বাচ্চামারা জিনিস নেই।
• অফলাইনে কাজ করে। আপনার ডেটা কখনো আপনার ব্রাউজার থেকে বাইরে যায় না।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী (FAQ)

এটি কি আমার SEO নষ্ট করবে?
শুধুমাত্র তখনই যদি আপনি এটিকে বলেন। জেনারেটরটি স্ট্যান্ডার্ড robots.txt নিয়ম অনুসরণ করে। যদি আপনি দুর্ঘটনাবশত CSS বা ছবি ব্লক করে ফেলেন, হ্যাঁ, তা সমস্যা তৈরি করবে। কিন্তু তা টুলের দোষ নয়—আপনার দোষ। আপনি যা disallow করছেন তা সবসময় দ্বিতীয়বার চেক করুন।

এটি ব্যবহার করতে আমার কোড জ্ঞান লাগবে?
না। আপনি যে পাথগুলি ব্লক করতে চান সেগুলি টাইপ করুন (যেমন /admin বা /temp), আপনার ইউজার এজেন্টগুলি বাছাই করুন, এবং শুরু করুন। যদি আপনি একটি ফোল্ডারের নাম টাইপ করতে পারেন, তবে আপনি এটি ব্যবহার করতে পারবেন।