الكثير من أصحاب المواقع والمدونات ليس لهم علم بأهمية ملف robots.txt, رغم أن لديه أهمية بالغة ويلعب دور مهم في أرشفة المواقع، وهذا يجعله يكون واحد من الملفات التي لا غنى عنها ومن الواجب أن يتوفر عليه كل موقع.
ما هو ملف robots.txt؟
robots.txt هو ملف يقوم بإعطاء توصيات وتوجيهات للعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه وما لا يمكنهم الدخول إليه، وأقول توصيات لأن بعض العناكب قد لا تحترم هذه الإعدادات، خاصة العناكب المزعجة “spammers ” وعناكب القرصنة التي تدخل لفحص الثغرات الأمنية في المواقع.
يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم كصفحة تسجيل الدخول، صفحة التسجيل، صفحات أو اقسام لا نريد أرشفتها وكذلك لتفادي المحتوى المتكرر في محركات البحث (خطأ قاتل بالنسبة لمحرك البحث قوقل) وحذف روابط معينة أو الموقع بأكمله منها.
كيف يمكنني إنشاء ملف robots.txt؟
لإنشاء ملف robots.txt يدويا فقط عليك تتبع المراحل التالية:
- أولا نقوم بإنشاء ملف نصّي بامتداد .txt نسميه robots.
- ثانيا نقوم بملء الملف “بالأوامر” التي نريد إعطاءها للعناكب حسب رغبتنا.
- ثالثا نقوم برفع الملف إلى جدر الموقع (الملف الرئيسي).
هذا نموذج مثالي لملف robots.txt يمكن استعماله في أي موقع تم إنشائه بواسطة ووردبريس فقط يجب عليك استبدال رابط خريطة الموقع XML Sitemap بالرابط الخص بك وطبعاً يمكنك إضافة وإزالة أي أمر حسب رغبتك.
# BEGIN XML-SITEMAP
https://saidelbakkali.com/sitemap_index.xml
# END XML-SITEMAP
User-agent: *
Crawl-delay: 10
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /*.php$
Disallow: *?replytocomكذلك يمكنك إنشاء وتحرير ملف robots.txt في ووردبريس بواسطة أحد الإضافات المخصصة لذلك كإضافة Virtual Robots.txt أو عن طريق أي إضافة أخرى توفر إمكانية التعديل عليه، كإضافة WordPress seo by Yoast مثلا.
أتمنا أن يكون قد أعجبك الموضوع، إلى اللقاء في المقالة القادمة بإذن الله.
