ما هي وظيفة ملف الروبوت robots.txt؟

إن ملف الروبوت عبارة عن ملف نصي يحمل الاسم التالي "robots.txt" يتم إنشاء ووضعه على المجلد الجذر للموقع الإلكتروني, أما الهدف من وجود هذا الملف هو إيصال معلومات خاصة لمحركات البحث سنتناولها من خلال هذه المقالة.

بداية لا بد من أن نشرح لك مفهوم آخر قبل الخوض في شرح ملف الروبوت robots.txt وهو مفهوم العناكب أو عناكب محركات البحث, حيث تقوم محركات البحث بإرسال عناكبها في جميع أرجاء المواقع الإلكترونية لاكتشافها والتعرف إليها, وبالتأكيد فإن هذه العناكب هي عبارة عن برمجيات خاصة تقوم بتنفيذ مهام يحددها كل محرك بحث, فهي تقوم بزيارة المواقع الإلكترونية الموجودة على شبكة الإنترنت والتعرف على محتواها والقيام بتسجيل تلك المعلومات لديها لتساعد محركات البحث على التعرف على الصفحات الجديدة المضافة لمواقع الإنترنت بشكل دوري.

وعند دخول هذه العناكب إلى موقعك فهي تقوم بزيارة جميع الصفحات وفق خوارزمياتها الخاصة وبشكل كامل لجميع الصفحات لتبحث عن المحتوى المفيد والذي يساعد محركات البحث على أرشفة تلك الصفحات, ولكن من الأمور التي يجب أن تعرفها أن تلك العناكب قد تقوم بزيارة صفحات هي عبارة عن مجرد أكواد برمجية أو ملفات لا ترغب أساساً بأرشفتها على محركات البحث حيث أنها لا تحوي محتوى مهم, وبدخول العناكب إلى تلك الأماكن الغير هامة في موقعك سيؤدي إلى إضافة وقتها في تصفح أماكن غير هامة وقد تقوم بالخروج من الموقع دون الحصول على المعلومات الضرورية لأرشفة موقعك بشكل أمثل, كما أن إهدار الوقت الحاصل قد يؤدي لتأخر زيارة العناكب لموقعك لاحقاً.

وهنا يأتي دور ملف الروبوت robots.txt حيث يتم إدراج مجموعة من التعليمات بداخل على شكل بروتوكول عالمي متعاف عليه من قبل جميع محركات البحث, تستطيع من خلاله, أن تحدد الأماكن التي لا ترغب للعناكب أن تقوم بزيارتها, مما يوفر وقت تلك العناكب ويجعل زياراتها مركزة على الصفحات التي تحتوي على المحتوى مثل المقالات والصفحات دون غيرها مما يساعد على أرشفة موقعك بشكل أسرع وافضل.

فمثلاً مجلد إدارة الموقع الخاصة بمنصة ووردبريس على سبيل المثال لا يوجد داعي لتقوم العناكب بزيارته فيمكنك أن تضيف سطراً داخل ملف الروبوت robots.txt على الشكل التالي:

Disallow: */wp-admin/

حيث تدل الكلمة Disallow على عدم رغبتك بزيارة العناكب للمسار الذي يلي, وبهذه الطريقة يمكنك أن تضيف أي مسار ترغب من خلال وضعها في سطور متتالية داخل ملف الروبوت ومن ثم رفعه إلى مجلد الجذر لموقعك.