• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

سعيد البقالي

مطوّر ووردبريس

  • الرئيسية
  • المدونة
  • الأرشيف
  • راسلني
أنت في:الرئيسية / شرحات ووردبريس / ما هو ملف robots.txt وكيف يمكنك إنشاءه؟

ما هو ملف robots.txt وكيف يمكنك إنشاءه؟

أخر تحديث في 2 يناير، 2022 بواسطة سعيد البقالي 27 تعليق

محتوى المقالة إخفاء
  1. 1 ما هو ملف robots.txt؟
  2. 2 كيف يمكنني إنشاء ملف robots.txt؟

الكثير من أصحاب المواقع والمدونات ليس لهم علم بأهمية ملف robots.txt, رغم أن لديه أهمية بالغة ويلعب دور مهم في أرشفة المواقع، وهذا يجعله يكون واحد من الملفات التي لا غنى عنها ومن الواجب أن يتوفر عليه كل موقع.

إنشاء ملف [code lang=

ما هو ملف robots.txt؟

robots.txt هو ملف يقوم بإعطاء توصيات وتوجيهات للعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه وما لا يمكنهم الدخول إليه، وأقول توصيات لأن بعض العناكب قد لا تحترم هذه الإعدادات، خاصة العناكب المزعجة “spammers ” وعناكب القرصنة التي تدخل لفحص الثغرات الأمنية في المواقع.

يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم كصفحة تسجيل الدخول، صفحة التسجيل، صفحات أو اقسام لا نريد أرشفتها وكذلك لتفادي المحتوى المتكرر في محركات البحث (خطأ قاتل بالنسبة لمحرك البحث قوقل) وحذف روابط معينة أو الموقع بأكمله منها.

اقرأ أيضا: كيفية إخفاء إضافات معيّنة من لائحة الإضافات المثبتة

كيف يمكنني إنشاء ملف robots.txt؟

لإنشاء ملف robots.txt يدويا فقط عليك تتبع المراحل التالية:

  • أولا نقوم بإنشاء ملف نصّي بامتداد .txt نسميه robots.
  • ثانيا نقوم بملء الملف “بالأوامر” التي نريد إعطاءها للعناكب حسب رغبتنا.
  • ثالثا نقوم برفع الملف إلى جدر الموقع (الملف الرئيسي).

هذا نموذج مثالي لملف robots.txt يمكن استعماله في أي موقع تم إنشائه بواسطة ووردبريس فقط يجب عليك استبدال رابط خريطة الموقع XML Sitemap بالرابط الخص بك وطبعاً يمكنك إضافة وإزالة أي أمر حسب رغبتك.

  • تقنيات تحسين الأرشفة (SEO) حسب تجربتي الخاصة
# BEGIN XML-SITEMAP
https://saidelbakkali.com/sitemap_index.xml
# END XML-SITEMAP

User-agent: *
Crawl-delay: 10
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /*.php$
Disallow: *?replytocom

كذلك يمكنك إنشاء وتحرير ملف robots.txt في ووردبريس بواسطة أحد الإضافات المخصصة لذلك كإضافة Virtual Robots.txt أو عن طريق أي إضافة أخرى توفر إمكانية التعديل عليه، كإضافة WordPress seo by Yoast مثلا.

اقرأ أيضا: طريقة إضافة خاصية nofollow للروابط الخارجية تلقائيا في ووردبريس

أتمنا أن يكون قد أعجبك الموضوع، إلى اللقاء في المقالة القادمة بإذن الله.

close

قم بالتسجيل على قائمتي البريدية لكي تكون من الأوائل في الحصول على تدوينات وشروحات حصرية

أنا لا أرسل أبدا البريد المزعج! اقرأ سياسة الخصوصية لمزيد من المعلومات.

افحص البريد الوارد أو مجلد (غير هام) للعثور على رسالة تأكيد الاشتراك.

تحت تصنيف:شرحات ووردبريس

Avatar of سعيد البقالي

عن سعيد البقالي

مبرمج مطور قوالب وإضافات ووردبريس بخبرة تفوق 10 سنوات، أكتب تدوينات في موقعي هذا بين الفينة والأخرى حول تطوير الويب ,تحسين الأرشفة وتحيسن أداء المواقع WPO منذ سنة 2012، لدي مساهمات في تطوير نواة ووردبريس والترجمة إلى اللغة العربية. أتمنا أن يروق لك كل ما أقدمه.

قم بالتسجيل على قائمتي البريدية لكي تكون من الأوائل في الحصول على تدوينات وشروحات حصرية

أنا لا أرسل أبدا البريد المزعج! اقرأ سياسة الخصوصية لمزيد من المعلومات.

افحص البريد الوارد أو مجلد (غير هام) للعثور على رسالة تأكيد الاشتراك.

Reader Interactions

أضف رأيك حول الموضوع


المرجو الكتابة باللغة العربية الفصحى لكي يفهم الجميع و شكرا

  1. Avatar of الشهريالشهري قال

    20 مارس، 2014 بتوقيت 7:51 مساءً

    تابعت درسين عن ووردبريس لك أخى سعيد وأعتقد أنهما رائعين
    ولكن هذه المرة اسمح لى أن أشكرك بشدة
    جزاك الله خير الجزاء
    أخوك م. نايف الشهري

    رد
    • Avatar of سعيد البقاليسعيد البقالي قال

      20 مارس، 2014 بتوقيت 10:03 مساءً

      الشكر لك على المرور أخي, يسعدني أنه قد أعجبك الموضوع و اتمنى أن أكون دائما عند حسن الظن 🙂

      رد
      • Avatar of انسانس قال

        4 سبتمبر، 2019 بتوقيت 9:44 مساءً

        هل من الممكن وضع ملف robots.txt الذي نشرته على موقعي أم يجب عمل ملف آخر؟

        رد
        • Avatar of سعيد البقاليسعيد البقالي قال

          6 أبريل، 2020 بتوقيت 3:20 مساءً

          كل موقه له خصوصياته، من الأفضل الإستشارة مع شخص محترف لكي يوضح لك الأشياء التي يجب عليك وضعها في ملف robots.txt

          رد
  2. Avatar of عدنانعدنان قال

    24 مارس، 2014 بتوقيت 9:18 مساءً

    لك كل الشكر على هذا الموضوع الاكثر من مفيد.

    استاذي ان سمحت، ملفات ووردبريس عندي على مجلد فرعي. فهل اضع هذا الملف في المجلد الفرعي؟

    ولك الشكر الجزيل

    رد
    • Avatar of سعيد البقاليسعيد البقالي قال

      24 مارس، 2014 بتوقيت 9:25 مساءً

      ملف robots.txt يجب وضعه في جذر الموقع, أي في المكان الذي تم تنصيب فيه ووردبريس, إذا كان ووردبريس عندك في المجلد الفرعي, نعم يجب عليك وضعه في المجلد الفرعي.

      رد
  3. Avatar of عدنانعدنان قال

    24 مارس، 2014 بتوقيت 9:29 مساءً

    اسرتني بسرعة ردك هذا وايضاح ما اشكل عليَّ.

    ثق لم تترك لي من الكلمات ما اعبر فيها عن شكري وامتناني لشخصك الحبيب.

    اذاً سيصار الى ما ارشدتني اله.

    الله يحفظك وييسر امرك.

    رد
  4. Avatar of zaher al hussainzaher al hussain قال

    2 يونيو، 2014 بتوقيت 11:19 مساءً

    اولا احب ان اشكرك جزيل الشكر على هذه الشروحات العظيمة

    ثانيا لدي سؤال بسيط

    هل هناك اي تعديلات يجب ان اقوم بها اذا اردت ان اضع الملف في جذر الموقع مع اني قد قمت بتنصيب المدونة على مجلد فرعي

    رد
    • Avatar of سعيد البقاليسعيد البقالي قال

      4 يونيو، 2014 بتوقيت 9:25 مساءً

      ما دامت المدونة مرفوعة على الملف الفرعي فملف [code lang=”none” inline=true]robots.txt[/code] يجب أن يكون في نفس الملف أي الملف الفرعي, كذلك يجب عليك تغيير رابط خريطة الموقع بالرابط الخاص بموقعك, و حذف و إضافة ما تريد حسب رغبتك.

      رد
  5. Avatar of ابو فارسابو فارس قال

    29 أغسطس، 2014 بتوقيت 6:05 مساءً

    لو سمحت يا اخى عندى مشكله فى الوورد بريس
    بعد عدة ايام من الارشفه تفاجئت بان موقعى به [code lang=”none” inline=true]robots.txt[/code] يمنع جوجل من فهرسة موقعى ويعطينى ملفات مرفوضه من [code lang=”none” inline=true]robots.txt[/code]
    اريد حزف هذا الملف من موقعى مع العلم انى غير محترف واتعلم من النت

    رد
    • Avatar of سعيد البقاليسعيد البقالي قال

      29 أغسطس، 2014 بتوقيت 8:53 مساءً

      السلام عليكم أخي,
      لقد قمت بعمل فحص لموقعك و لم أرى أي صفحة ممنوعة بواسطة [code lang=”none” inline=true]robots.txt[/code] لتتأكد بنفسك قم بوضع [code lang=”none” inline=true]site:alfransia.com[/code] في محرك البحث قوقل لترى النتيجة بنفسك.

      بالتوفيق إنشاء الله.

      رد
  6. Avatar of ابو فارسابو فارس قال

    31 أغسطس، 2014 بتوقيت 9:14 مساءً

    شكرا يا اخ سعيد لك على الاهتمام
    ولكن لماذا كل يوم يختفى موقعى من صفحات البحث
    يعنى مثلا انا ابحث فى جوجل على شركة تنظيف بالرياض وامس كان يظهر فى الصفحه 13 واليوم غير موجود
    ارجو المساعده لانى بدءت العمل على اظهار هذا الموقع وكل ما يحدث ذلك يصيبنى بالاحباط

    رد
  7. Avatar of adawiadawi قال

    24 أكتوبر، 2014 بتوقيت 10:06 مساءً

    فوق الرائع يا اخى

    رد
  8. Avatar of adawiadawi قال

    24 أكتوبر، 2014 بتوقيت 10:27 مساءً

    كم انا سعيد بمعرفة هذا الموقع وايضا سرعة رضك على الاجابات

    رد
    • Avatar of سعيد البقاليسعيد البقالي قال

      24 أكتوبر، 2014 بتوقيت 10:35 مساءً

      شكرن لك على المرور أخي و يسعدني معرفة ان الموقع قد اعجبك 🙂

      رد
  9. Avatar of السلميالسلمي قال

    26 مارس، 2015 بتوقيت 8:37 مساءً

    جزاك الله خيرا في كل ما شرحته لنا

    رد
  10. Avatar of yahyayahya قال

    18 نوفمبر، 2015 بتوقيت 4:27 مساءً

    أخي العزيز

    ملف الريبوت الموجود هنا يمنع الوصول الى ملفات css و js

    [code lang=”none”]Disallow: /*.js$[/code]
    [code lang=”none”]Disallow: /*.css$[/code]

    و في نصائح تكوين ملف الريبوت من موقع

    [code lang=”none”e]https://yoast.com/wordpress-robots-txt-example/[/code]

    وضعو ملاحظة مهمة بعدم حجب الوصول الى هذه الملفات

    [code lang=”none”]https://yoast.com/google-panda-robots-css-js/[/code]

    لو أمكنك التوضيح هل نمنعها او نسمح لها بالارشفة بارك الله بكم

    رد
    • Avatar of سعيــــد البقـــــــــــــــاليسعيــــد البقـــــــــــــــالي قال

      19 نوفمبر، 2015 بتوقيت 1:06 صباحًا

      السلام عليكم أخي،

      هذا الموضوع كتبته منذ حوالي سنة و نصف تقريبا أي قبل التحديثات الأخيرة التي قامت بها قوقل و لم أستطع تحديثه لضيق الوقت …

      بالنسبة لملفات [code lang=”css” inline=true]css[/code] و [code lang=”javascript” inline=true]js[/code] أصبح من الواجب تركها متاحة لكي تستطيع عناكب محركات البحث الدخول و فهرسة موقعك بشكل جيد لهذا يجب حذف [code lang=”none” inline=true]Disallow: /*.js$[/code] و [code lang=”none” inline=true]Disallow: /*.css$[/code] من ملف [code lang=”none” inline=true]robots.txt[/code] (سأقوم بتحديثه الآن) كذلك أصبح من الواجب السماح للعناكب بالدخول ل [code lang=”none” inline=true]wp-includes[/code] لأن هناك إضافات تعتمد في عملها على ملفات [code lang=”none” inline=true]js[/code] و [code lang=”none” inline=true]css[/code] من هناك. أيضا يجب السماح لها بالدخول لكل محتوى [code lang=”none” inline=true]wp-content[/code] (يمكنك منع ما تراه مناسب بشكل منفرد).

      و نصيحتي لأي شخص هي أن لا يلمس هذا الملف إذا لم يكن يعرف جيدا مذا يفعل.

      شكرا على التعليق و بالتوفيق إن شاء الله.

      رد
  11. Avatar of خالد الحويطيخالد الحويطي قال

    25 نوفمبر، 2015 بتوقيت 6:40 صباحًا

    للاسف اخي سعيد شرحك ليس واضح ا في اغلب مواضيعك تشرح لنا كيفيه الاعداد من الصفر. ولاكن انت هنا طرحت شرح مختصر + ملف جاهز حسب تجربتك .؟ السوال هنا هل الملف الجاهز الذي طرحته انت يناسب اغلب القوالب والمواقع الورد برس.؟؟ اعتقد لا
    مثلا انا حاليا اريد منع بعض الاشياء من الارشفة في موقعي ولاكن المشكلة تكمن في عدم شرحك من البداية في كفية تحديد الاشياء التي نريد منع ارشفتها
    ولاكن انت طرحت ملف جاهز قد يناسب بعض الاشخاص وقد لا يناسب البعض ولاكن من وجه نظري كنت افضل ان تقوم بشرح لنا كيف نقوم با اظافة قسم ومنع كقسم وهكذا بدون الاعتماد على ملفات جاهزه لن الملف الجاهز لا يفيدنا كثيرا لننا لم نتعلم ونتفسيد منه فقط نسخ ولصق وانتهاء الامر

    رد
    • Avatar of سعيــــد البقـــــــــــــــاليسعيــــد البقـــــــــــــــالي قال

      24 يناير، 2016 بتوقيت 12:34 مساءً

      هذا الملف هو ملف الهدف منه هو منع أرشفة بعض اﻷشياء الغير لازمة مثل ال feed و ملفات css و ملفات ال js … الخ

      إذا كنت تريد التحكم في أرشفة المواضيع و اﻷقسام و الصفحات و ما إلى ذلك الحل هو استعمال وسم الميتا و هذا موضوع آخر يمكن شرحه في تدوينة أخرى و ليس في هذه.

      أيضا يمكنك الحصول على ما تريد بإستعمال إضافة Seo Yoast أو All In One Seo Pack

      رد
  12. Avatar of احمداحمد قال

    24 يناير، 2016 بتوقيت 12:02 مساءً

    شرح مميز ورائع وشخصيا استفدت منه كثيراً
    مشكور اخ سعيد
    موفق دائماً

    رد
    • Avatar of سعيــــد البقـــــــــــــــاليسعيــــد البقـــــــــــــــالي قال

      24 يناير، 2016 بتوقيت 12:26 مساءً

      العغو أخي، يفرحني معرفة أنك استفدت من الشرح

      بالتوفيق للجميع 🙂

      رد
  13. Avatar of adaiwadaiw قال

    15 فبراير، 2016 بتوقيت 10:32 صباحًا

    شكرا عا المعلومات

    رد
    • Avatar of سعيــــد البقـــــــــــــــاليسعيــــد البقـــــــــــــــالي قال

      15 فبراير، 2016 بتوقيت 1:32 مساءً

      العفو، شكرا لك على المرور 🙂

      رد
  14. Avatar of ahmedahmed قال

    19 مارس، 2016 بتوقيت 5:11 مساءً

    السلام عليكم
    في البداية اقدم لك جزيل الشكر علي ما تقدمه لنا من علم نافع

    بعد ان اضفت ملف الربوت الي موقعي فحصته عن طريق جوجل لأتأكد اذا كان هناك اخطاء به . وكانت النتيجة 3 تحذيرات . اتمنا مساعدتي علي حلها وفهمها

    التحذيرات الثلاثة هنا:
    [code lang=”none”]User-agent: noxtrumbot
    Crawl-delay: 50 // هنا تحذير
    User-agent: msnbot
    Crawl-delay: 30 // هنا تحذير
    User-agent: Slurp
    Crawl-delay: 10 // هنا تحذير
    [/code]

    وهذا رابط صورة للمعاينة // [code lang=”php” inline=true]http://up.traidnt.net/img/KOypnr.jpg[/code]

    رد
    • Avatar of سعيــــد البقـــــــــــــــاليسعيــــد البقـــــــــــــــالي قال

      12 مايو، 2016 بتوقيت 1:57 مساءً

      و عليكم السلام أخي

      التحذير موجود ﻷن قوقل يتجاهل تلك القواعد و هذا ﻷنها ليست موجهة لعناكبه بل لعناكب أخرى تقوم باستنزاف موارد الخادم

      تحياتي

      رد
  15. Avatar of senior linuxsenior linux قال

    23 أكتوبر، 2016 بتوقيت 10:01 مساءً

    الي الاخ
    خالد الحويطي قال

    User-agent: *
    Disallow: /

    فمعنى ذالك أن جميع العناكب دون استثناء لا يمكنها الدخول لأي مجلد ولأي ملف بالموقع وغير مسموح لها بأرشفة أي شئ من الموقع
    بالتالي العلامة / عبارة عند أداة منع أو حجب
    الى هنا كل شي واضح
    نأتي الأن اذا أردت حجب أو منع ملف معين فقط عن محركات البحث جميعها دون استثناء تضع الأمر التالي :

    [code lang=”none”]
    User-agent: *
    Disallow: /vb/register.php/
    [/code]

    فهذه الحالة أنت حددت لجميع عناكب البحث مسار لملف معين ممنوع عليهم الدخول اليه أو أرشفته في دليلهم وماعدى هذا الملف باقي محتويات الموقع مسموحة لجميع العناكب ..
    طبعا الملف في مثالنا هذا هو vb/register.php ويدل على منع العناكب من الوصول الى ملف التسجيل بالمنتدى.

    مثال ثاني :

    [code lang=”none”]
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /sql/
    [/code]

    تفسيره أنك تخاطب جميع العناكب بالتالي : مسموح لهم بالدخول لأي مجلد وأرشفة محتواه في الموقع ماعدى المجلدات التالية :
    [code lang=”none”]
    cgi-bin
    tmp
    sql
    [/code]

    رد

أضف رأيك حول الموضوع إلغاء الرد

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

القائمة الجانبية الرئيسية

البحث

قم بالتسجيل على قائمتي البريدية لكي تكون من الأوائل في الحصول على تدوينات وشروحات حصرية

أنا لا أرسل أبدا البريد المزعج! اقرأ سياسة الخصوصية لمزيد من المعلومات.

افحص البريد الوارد أو مجلد (غير هام) للعثور على رسالة تأكيد الاشتراك.

المواضيع الأكثر شعبية

أفضل إضافات ووردبريس المجانية حسب تجربتي الخاصة

دروس ووردبريس من الصفر للمبتدئين بالفيديو

10 من أفضل قوالب ووردبريس المجانية

شرح إضافة Yoast SEO بالفيديو

طريقة إضافة نجوم تقييم المقالات في ووردبريس

نقل ووردبريس من استضافة إلى أخرى وتغيير النطاق

شارة شركة ديجيتال أوشن
مايو 2022
نثأربخجسد
 1
2345678
9101112131415
16171819202122
23242526272829
3031 
« مارس    

جميع الحقوق محفوظة © 2022

  • سياسة الخصوصية
  • شروط الاستخدام