الكثير من أصحاب المواقع والمدونات ليس لهم علم بأهمية ملف robots.txt, رغم أن لديه أهمية بالغة ويلعب دور مهم في أرشفة المواقع، وهذا يجعله يكون واحد من الملفات التي لا غنى عنها ومن الواجب أن يتوفر عليه كل موقع. ما هو ملف robots.txt؟ robots.txt هو ملف يقوم بإعطاء توصيات وتوجيهات للعناكب (robots) بصفة عامة بما […]