Yoast/Rankmath এবং cpanel এ কিভাবে robot.txt বসাবেন ও পারফেক্ট robot.txt নমুনা। robot.txt দিয়ে আপনি গুগল বোট বা বিং বোট বা যেকোনো বোটকে নির্দেশনা দিতে পারেন, যে সে কি কি ক্রল করবে। আপনি চাইলে একটি নির্দিষ্ট বিষয় ক্রল বন্ধ করে রাখতে পারেন আবার চাইলে নির্দিষ্ট বোটকে ক্রল করতে বাধা দিতে পারেন।
Yoast/Rankmath এবং cpanel এ কিভাবে robot.txt বসাবেন ও পারফেক্ট robot.txt নমুনা
ডিফল্টভাবেই ওয়ার্ডপ্রেস এ robot.txt জেনারেট করে থাকে যা দেখতে এমন:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
এখন চলুন SEO plugin ও cpanel এ কিভাবে robot.txt বসাতে পারেন;
Yoast SEO:
আপনি চাইলে yoast এসইও প্লাগিন এ এডিট করে robot.txt ফাইল বসাতে পারেন। তার জন্য আপনাকে নিচের স্টেপ গুলা ফলো করতে হবে;
স্টেপ-০১:
ওয়ার্ডপ্রেস ড্যাশবোর্ড এ লগইন করুন
স্টেপ-০২:
বাম পাশে SEO লিখা মেনুতে ক্লিক করুন।
স্টেপ-০৩:
SEO–>Tools এ ক্লিক করুন। সেখানে আপনি file editor পাবেন।
স্টেপ-০৪:
WP তে যদি File editior ডিসএবল থাকে তাহলে সিপ্যানেল থেকে FTP থেকে এডিট করে নিন। আপনি যদি FTP ব্যবহার করতে না পারেন তাহলে আপনার হোস্টিং প্রোভাইডার এর সাহায্য নিন।
স্টেপ-০৫:
File editor এ যেয়ে আপনি robot.txt বসিয়ে দিন। সেভ বাটন এ ক্লিক করুন।
Rankmath:
স্টেপ-০১:
যথারীতি ওয়ার্ডপ্রেস এ লগইন করবেন
স্টেপ-০২:
Rankmath–> Genaral Settings এ যাবেন
স্টেপ-০৩:
Robot.txt তে যেয়ে এডিট এ ক্লিক করে আপনার robot.txt কপি করে পেস্ট করে দিন। সেভ চেঞ্জেস বাটন এ ক্লিক করুন।
Cpanel:
স্টেপ-০১:
সিপ্যানেল এ লগইন করুন।
স্টেপ-০২:
File থেকে File manager এ ক্লিক করুন।
স্টেপ-০৩:
File manager—> public_html এ যেয়ে New file তৈরী করে robot.txt নাম দিন।
স্টেপ-০৪:
তারপর ঐ ফাইল এ আপনার রোবট টিএক্সটি দিয়ে দিবেন।
পারফেক্ট robot.txt যেমনঃ
User-agent: Googlebot
Allow: .js
Allow: .css
Allow: /wp-admin/admin-ajax.php
User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /wp-admin
Disallow: *feed/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
