مولّد ملف robots.txt: تحكّم في زحف محركات البحث

ما هو ملف robots.txt ولماذا يهم؟

ملف robots.txt هو ملف نصي بسيط يوضع في جذر نطاقك (example.com/robots.txt) ويخبر روبوتات محركات البحث بالصفحات أو الأقسام التي يمكنها أو لا يمكنها زحفها. يُستخدم لتوفير ميزانية الزحف وإبعاد الروبوتات عن الصفحات الإدارية أو المكررة.

انتبه: منع الزحف عبر robots.txt لا يمنع الفهرسة دائماً؛ لإخفاء صفحة نهائياً استخدم وسم noindex أو حماية بكلمة مرور. ولا تحظر أبداً ملفات CSS و JavaScript التي يحتاجها جوجل لعرض صفحاتك. تأكّد دائماً من إضافة رابط خريطة موقعك لمساعدة محركات البحث على اكتشاف كل صفحاتك.