ما هو ملف robots.txt و كيف يمكنك إنشاءه؟

أضف رأيك حول الموضوع

المرجو الكتابة باللغة العربية الفصحى لكي يفهم الجميع و شكرا

1. الشهري قال

   20 مارس، 2014 بتوقيت 7:51 مساءً

   تابعت درسين عن ووردبريس لك أخى سعيد وأعتقد أنهما رائعين
   ولكن هذه المرة اسمح لى أن أشكرك بشدة
   جزاك الله خير الجزاء
   أخوك م. نايف الشهري

   رد

   • سعيد البقالي قال

     20 مارس، 2014 بتوقيت 10:03 مساءً

     الشكر لك على المرور أخي, يسعدني أنه قد أعجبك الموضوع و اتمنى أن أكون دائما عند حسن الظن 🙂

     رد

2. عدنان قال

   24 مارس، 2014 بتوقيت 9:18 مساءً

   لك كل الشكر على هذا الموضوع الاكثر من مفيد.

   استاذي ان سمحت، ملفات ووردبريس عندي على مجلد فرعي. فهل اضع هذا الملف في المجلد الفرعي؟

   ولك الشكر الجزيل

   رد

   • سعيد البقالي قال

     24 مارس، 2014 بتوقيت 9:25 مساءً

     ملف robots.txt يجب وضعه في جذر الموقع, أي في المكان الذي تم تنصيب فيه ووردبريس, إذا كان ووردبريس عندك في المجلد الفرعي, نعم يجب عليك وضعه في المجلد الفرعي.

     رد

3. عدنان قال

   24 مارس، 2014 بتوقيت 9:29 مساءً

   اسرتني بسرعة ردك هذا وايضاح ما اشكل عليَّ.

   ثق لم تترك لي من الكلمات ما اعبر فيها عن شكري وامتناني لشخصك الحبيب.

   اذاً سيصار الى ما ارشدتني اله.

   الله يحفظك وييسر امرك.

   رد

4. zaher al hussain قال

   2 يونيو، 2014 بتوقيت 11:19 مساءً

   اولا احب ان اشكرك جزيل الشكر على هذه الشروحات العظيمة

   ثانيا لدي سؤال بسيط

   هل هناك اي تعديلات يجب ان اقوم بها اذا اردت ان اضع الملف في جذر الموقع مع اني قد قمت بتنصيب المدونة على مجلد فرعي

   رد

   • سعيد البقالي قال

     4 يونيو، 2014 بتوقيت 9:25 مساءً

     ما دامت المدونة مرفوعة على الملف الفرعي فملف robots.txt يجب أن يكون في نفس الملف أي الملف الفرعي, كذلك يجب عليك تغيير رابط خريطة الموقع بالرابط الخاص بموقعك, و حذف و إضافة ما تريد حسب رغبتك.

     رد

5. ابو فارس قال

   29 أغسطس، 2014 بتوقيت 6:05 مساءً

   لو سمحت يا اخى عندى مشكله فى الوورد بريس
   بعد عدة ايام من الارشفه تفاجئت بان موقعى به robots.txt يمنع جوجل من فهرسة موقعى ويعطينى ملفات مرفوضه من robots.txt
   اريد حزف هذا الملف من موقعى مع العلم انى غير محترف واتعلم من النت

   رد

   • سعيد البقالي قال

     29 أغسطس، 2014 بتوقيت 8:53 مساءً

     السلام عليكم أخي,
     لقد قمت بعمل فحص لموقعك و لم أرى أي صفحة ممنوعة بواسطة robots.txt لتتأكد بنفسك قم بوضع site:alfransia.com في محرك البحث قوقل لترى النتيجة بنفسك.

     بالتوفيق إنشاء الله.

     رد

6. ابو فارس قال

   31 أغسطس، 2014 بتوقيت 9:14 مساءً

   شكرا يا اخ سعيد لك على الاهتمام
   ولكن لماذا كل يوم يختفى موقعى من صفحات البحث
   يعنى مثلا انا ابحث فى جوجل على شركة تنظيف بالرياض وامس كان يظهر فى الصفحه 13 واليوم غير موجود
   ارجو المساعده لانى بدءت العمل على اظهار هذا الموقع وكل ما يحدث ذلك يصيبنى بالاحباط

   رد

7. adawi قال

   24 أكتوبر، 2014 بتوقيت 10:06 مساءً

   فوق الرائع يا اخى

   رد

8. adawi قال

   24 أكتوبر، 2014 بتوقيت 10:27 مساءً

   كم انا سعيد بمعرفة هذا الموقع وايضا سرعة رضك على الاجابات

   رد

   • سعيد البقالي قال

     24 أكتوبر، 2014 بتوقيت 10:35 مساءً

     شكرن لك على المرور أخي و يسعدني معرفة ان الموقع قد اعجبك 🙂

     رد

9. السلمي قال

   26 مارس، 2015 بتوقيت 8:37 مساءً

   جزاك الله خيرا في كل ما شرحته لنا

   رد

10. yahya قال

    18 نوفمبر، 2015 بتوقيت 4:27 مساءً

    أخي العزيز

    ملف الريبوت الموجود هنا يمنع الوصول الى ملفات css و js

    Disallow: /*.js$

    Disallow: /*.css$

    و في نصائح تكوين ملف الريبوت من موقع

    https://yoast.com/wordpress-robots-txt-example/

    وضعو ملاحظة مهمة بعدم حجب الوصول الى هذه الملفات

    https://yoast.com/google-panda-robots-css-js/

    لو أمكنك التوضيح هل نمنعها او نسمح لها بالارشفة بارك الله بكم

    رد

    • سعيــــد البقـــــــــــــــالي قال

      19 نوفمبر، 2015 بتوقيت 1:06 صباحًا

      السلام عليكم أخي،

      هذا الموضوع كتبته منذ حوالي سنة و نصف تقريبا أي قبل التحديثات الأخيرة التي قامت بها قوقل و لم أستطع تحديثه لضيق الوقت …

      بالنسبة لملفات css و js أصبح من الواجب تركها متاحة لكي تستطيع عناكب محركات البحث الدخول و فهرسة موقعك بشكل جيد لهذا يجب حذف Disallow: /*.js$ و Disallow: /*.css$ من ملف robots.txt (سأقوم بتحديثه الآن) كذلك أصبح من الواجب السماح للعناكب بالدخول ل wp-includes لأن هناك إضافات تعتمد في عملها على ملفات js و css من هناك. أيضا يجب السماح لها بالدخول لكل محتوى wp-content (يمكنك منع ما تراه مناسب بشكل منفرد).

      و نصيحتي لأي شخص هي أن لا يلمس هذا الملف إذا لم يكن يعرف جيدا مذا يفعل.

      شكرا على التعليق و بالتوفيق إن شاء الله.

      رد

11. خالد الحويطي قال

    25 نوفمبر، 2015 بتوقيت 6:40 صباحًا

    للاسف اخي سعيد شرحك ليس واضح ا في اغلب مواضيعك تشرح لنا كيفيه الاعداد من الصفر. ولاكن انت هنا طرحت شرح مختصر + ملف جاهز حسب تجربتك .؟ السوال هنا هل الملف الجاهز الذي طرحته انت يناسب اغلب القوالب والمواقع الورد برس.؟؟ اعتقد لا
    مثلا انا حاليا اريد منع بعض الاشياء من الارشفة في موقعي ولاكن المشكلة تكمن في عدم شرحك من البداية في كفية تحديد الاشياء التي نريد منع ارشفتها
    ولاكن انت طرحت ملف جاهز قد يناسب بعض الاشخاص وقد لا يناسب البعض ولاكن من وجه نظري كنت افضل ان تقوم بشرح لنا كيف نقوم با اظافة قسم ومنع كقسم وهكذا بدون الاعتماد على ملفات جاهزه لن الملف الجاهز لا يفيدنا كثيرا لننا لم نتعلم ونتفسيد منه فقط نسخ ولصق وانتهاء الامر

    رد

    • سعيــــد البقـــــــــــــــالي قال

      24 يناير، 2016 بتوقيت 12:34 مساءً

      هذا الملف هو ملف الهدف منه هو منع أرشفة بعض اﻷشياء الغير لازمة مثل ال feed و ملفات css و ملفات ال js … الخ

      إذا كنت تريد التحكم في أرشفة المواضيع و اﻷقسام و الصفحات و ما إلى ذلك الحل هو استعمال وسم الميتا و هذا موضوع آخر يمكن شرحه في تدوينة أخرى و ليس في هذه.

      أيضا يمكنك الحصول على ما تريد بإستعمال إضافة Seo Yoast أو All In One Seo Pack

      رد

12. احمد قال

    24 يناير، 2016 بتوقيت 12:02 مساءً

    شرح مميز ورائع وشخصيا استفدت منه كثيراً
    مشكور اخ سعيد
    موفق دائماً

    رد

    • سعيــــد البقـــــــــــــــالي قال

      24 يناير، 2016 بتوقيت 12:26 مساءً

      العغو أخي، يفرحني معرفة أنك استفدت من الشرح

      بالتوفيق للجميع 🙂

      رد

13. adaiw قال

    15 فبراير، 2016 بتوقيت 10:32 صباحًا

    شكرا عا المعلومات

    رد

    • سعيــــد البقـــــــــــــــالي قال

      15 فبراير، 2016 بتوقيت 1:32 مساءً

      العفو، شكرا لك على المرور 🙂

      رد

14. ahmed قال

    19 مارس، 2016 بتوقيت 5:11 مساءً

    السلام عليكم
    في البداية اقدم لك جزيل الشكر علي ما تقدمه لنا من علم نافع

    بعد ان اضفت ملف الربوت الي موقعي فحصته عن طريق جوجل لأتأكد اذا كان هناك اخطاء به . وكانت النتيجة 3 تحذيرات . اتمنا مساعدتي علي حلها وفهمها

    التحذيرات الثلاثة هنا:

    User-agent: noxtrumbot   
    Crawl-delay: 50 // هنا تحذير
    User-agent: msnbot   
    Crawl-delay: 30 // هنا تحذير
    User-agent: Slurp
    Crawl-delay: 10 // هنا تحذير

    وهذا رابط صورة للمعاينة // http://up.traidnt.net/img/KOypnr.jpg

    رد

    • سعيــــد البقـــــــــــــــالي قال

      12 مايو، 2016 بتوقيت 1:57 مساءً

      و عليكم السلام أخي

      التحذير موجود ﻷن قوقل يتجاهل تلك القواعد و هذا ﻷنها ليست موجهة لعناكبه بل لعناكب أخرى تقوم باستنزاف موارد الخادم

      تحياتي

      رد

15. senior linux قال

    23 أكتوبر، 2016 بتوقيت 10:01 مساءً

    الي الاخ
    خالد الحويطي قال

    User-agent: *
    Disallow: /

    فمعنى ذالك أن جميع العناكب دون استثناء لا يمكنها الدخول لأي مجلد ولأي ملف بالموقع وغير مسموح لها بأرشفة أي شئ من الموقع
    بالتالي العلامة / عبارة عند أداة منع أو حجب
    الى هنا كل شي واضح
    نأتي الأن اذا أردت حجب أو منع ملف معين فقط عن محركات البحث جميعها دون استثناء تضع الأمر التالي :

    User-agent: *
    Disallow: /vb/register.php/

    فهذه الحالة أنت حددت لجميع عناكب البحث مسار لملف معين ممنوع عليهم الدخول اليه أو أرشفته في دليلهم وماعدى هذا الملف باقي محتويات الموقع مسموحة لجميع العناكب ..
    طبعا الملف في مثالنا هذا هو vb/register.php ويدل على منع العناكب من الوصول الى ملف التسجيل بالمنتدى.

    مثال ثاني :

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /sql/

    تفسيره أنك تخاطب جميع العناكب بالتالي : مسموح لهم بالدخول لأي مجلد وأرشفة محتواه في الموقع ماعدى المجلدات التالية :

    cgi-bin
    tmp
    sql

    رد