ملف robots.txt: ما الذي تقوله لمحركات البحث

Arqam Web Arqam Web

ملف robots.txt ملف نصي صغير في جذر موقعك يخبر الزواحف بما يُسمح لها بطلبه وما لا يُسمح. وهو توجيه لا جدار حماية: الزواحف الملتزمة تحترمه والضارة تتجاهله. وأخطر ما فيه أن سطراً واحداً خاطئاً قد يخفي موقعك كله عن نتائج البحث بلا أي إشعار.

ماذا يقول ملف robots.txt لمحرك البحث فعلاً؟

الزاحف يطلب هذا الملف قبل أن يطلب أي صفحة أخرى من موقعك. يقرأ فيه سطوراً تحدد الروبوت المقصود ثم المسارات الممنوعة والمسموحة. ما لم يُمنع صراحة فهو مسموح، أي أن الأصل الإباحة والاستثناء هو المنع.

والملف عام. أي شخص يكتب رابط موقعك ثم /robots.txt سيقرأه، لذا لا تضع فيه مسارات حساسة كنت تفضل ألا يعرفها أحد. منع مجلد اسمه لوحة الإدارة القديمة يعلن وجوده لمن يبحث عنه بدل أن يخفيه.

ما الفرق بين منع الزحف ومنع الفهرسة؟

هذا الخلط سبب أغلب المشكلات التي نراها. منع الزحف يقول للزاحف: لا تطلب هذا المسار. منع الفهرسة يقول له: اطلب الصفحة واقرأها ثم لا تضعها في النتائج. الأول في ملف robots.txt والثاني في وسم داخل الصفحة نفسها.

والنتيجة العملية غريبة لمن لا يعرفها: صفحة ممنوعة من الزحف قد تظهر في نتائج البحث بعنوانها ورابطها بلا وصف، لأن جوجل عرف بوجودها من رابط خارجي ولم يُسمح له بقراءتها ليجد وسم المنع. إن أردت إخفاء صفحة فعلاً، اسمح بزحفها وضع فيها وسم noindex.

أوامر ملف robots.txt في جدول واحد

السطر ماذا يعني ملاحظة
User-agent الروبوت الذي تنطبق عليه السطور التالية النجمة تعني كل الروبوتات
Disallow مسار ممنوع من الطلب سطر فارغ بعده لا يمنع شيئاً
Allow استثناء مسموح داخل مسار ممنوع يفيد لفتح ملف واحد في مجلد مغلق
Sitemap عنوان خريطة الموقع الكامل مستقل عن الروبوت، يوضع في أي مكان
Crawl-delay فاصل زمني مطلوب بين الطلبات جوجل يتجاهله، بعض المحركات تحترمه

المطابقة تبدأ من أول الحرف، فسطر Disallow: /cart يمنع أي مسار يبدأ بهذه الحروف. والرمز $ يثبّت النهاية، و* يعني أي عدد من الحروف في المنتصف.

كيف تقرأ الملف الموجود في موقعك؟

يُقرأ ملف robots.txt من المتصفح مباشرة. افتح رابط موقعك متبوعاً بـ/robots.txt وسترى النص كما يراه الزاحف. ابحث أولاً عن سطر Disallow: / وحده، فهذا يمنع الموقع كله وهو أشهر خطأ ينسى أحدهم إزالته بعد الإطلاق. ثم تأكد من وجود سطر Sitemap يشير إلى عنوان صحيح يعمل.

ما الذي يستحق المنع فعلاً؟

  • نتائج البحث الداخلي، لأنها تولّد عدداً غير محدود من الروابط المتشابهة.
  • صفحات السلة والدفع ولوحة الحساب، فهي لا تصلح كنتيجة بحث لأي شخص.
  • روابط الفرز والتصفية التي تنتج نسخاً متعددة من قائمة المنتجات نفسها.
  • الملفات التقنية الداخلية التي لا تعني الزائر ولا تحمل محتوى مقروءاً.

في مشروع موقع The Digger Hub، وهو مكان أنشطة للأطفال، أضيف متجر بمئة وعشرين منتجاً في ثمانية تصنيفات مع سلة وحساب عميل. هذا النوع من الصفحات هو المرشح الأول للمنع في ملف robots.txt لأي متجر: صفحات وظيفية يحتاجها المشتري ولا يحتاجها الباحث.

ما الذي لا يجب منعه أبداً؟

  • ملفات CSS وجافاسكربت. جوجل يرسم الصفحة ليحكم عليها، ومنعها يجعله يرى تخطيطاً مكسوراً.
  • الصور المستخدمة في المحتوى، لأن منعها يخرجها من بحث الصور ويضعف فهم الصفحة.
  • صفحة تريد إخفاءها من النتائج، فالمنع هنا يحقق عكس المطلوب كما شرحنا.
  • مجلد الوسائط كله، وهو منع شائع يُنسخ من مواقع أخرى بلا فهم لأثره.
  • خريطة الموقع نفسها، فمنعها يعطل التقرير الذي يخبرك بحالة الفهرسة.

كيف تعدّل ملف robots.txt وتختبره؟

  1. احفظ نسخة من النص الحالي في ملف عندك قبل أي تعديل، فالرجوع أسرع من التشخيص.
  2. عدّل سطراً واحداً في المرة، فتغيير خمسة سطور معاً يمنعك من معرفة أي منها أحدث الأثر.
  3. اختبر المسارات في Search Console بأداة فحص الروابط، التي تخبرك إن كان الرابط ممنوعاً أو مسموحاً.
  4. افتح الملف في نافذة تصفح خاص للتأكد أن ما نُشر فعلاً هو ما كتبته لا نسخة مخزنة في الكاش.
  5. راقب تقرير الفهرسة أسبوعين بعد التعديل، فارتفاع مفاجئ في عدد الصفحات المستبعدة إشارة إلى منع أوسع من المقصود.

حالة ووردبريس: الملف الوهمي والملف الحقيقي

ووردبريس يولّد ملفاً افتراضياً لا وجود له على الخادم. تراه في المتصفح لكنك لا تجده في مجلد الموقع، ومحتواه يأتي من الكود ومن إضافة السيو إن كانت مثبتة. لهذا قد تعدّل الملف من لوحة الإضافة ثم لا يتغير شيء إن كان هناك ملف حقيقي على الخادم يسبقه في الأولوية.

القاعدة البسيطة: ملف robots.txt الحقيقي في مجلد الموقع يتغلب على أي ملف مولّد. تأكد أولاً أي النسختين تعمل، ثم عدّل في المكان الصحيح.

أسئلة شائعة

هل الملف إلزامي لكل موقع؟

لا. غياب ملف robots.txt يعني أن كل شيء مسموح بالزحف، وهذا مقبول تماماً على موقع تعريفي صغير. لكن وجوده مفيد حتى على المواقع الصغيرة لسببين: سطر يشير إلى خريطة الموقع، وسطور تمنع صفحات وظيفية لا تصلح كنتيجة بحث مثل صفحة الشكر أو نتيجة بحث داخلي.

هل يمنع الملف الزوار من فتح الصفحة؟

لا، ولا علاقة له بالصلاحيات. الصفحة الممنوعة في الملف تفتح عادةً لأي شخص يملك رابطها. إن أردت منع الوصول فعلاً فأنت تحتاج كلمة مرور أو قيداً على مستوى الخادم. الملف يتحدث إلى الزواحف المهذبة فقط لا إلى المتصفحات، وهو مقروء للجميع فلا يُستعمل لإخفاء أي شيء.

هل تحترم كل الزواحف الملف؟

زواحف محركات البحث الكبيرة تحترمه لأنها معلنة وملتزمة. أما جامعو البيانات وبرامج النسخ الآلي فكثير منها يتجاهله تماماً، وبعضها يقرأه ليعرف ما تخفيه. حماية المحتوى الحقيقية تأتي من إعدادات الخادم وجدار الحماية لا من هذا الملف، فلا توجد وسيلة داخله لإجبار أي زاحف على الالتزام.

كيف أمنع ملف PDF من الظهور في النتائج؟

المنع في هذا الملف لا يكفي لأن الرابط قد يظهر بلا وصف. الحل الصحيح ترويسة X-Robots-Tag بقيمة noindex على مستوى الخادم، لأن ملف PDF لا يحتمل وسماً داخلياً مثل صفحة HTML. هذه معلومة عامة عن الإعداد التقني وليست استشارة قانونية بخصوص المحتوى نفسه.

منعت صفحة ومازالت تظهر في النتائج، ما السبب؟

لأن المنع يوقف القراءة لا الفهرسة. جوجل عرف الرابط من مكان آخر ولم يُسمح له بقراءة الصفحة ليجد وسم المنع فيها. أزل سطر المنع، واسمح بالزحف، وضع وسم noindex في الصفحة، ثم اطلب إعادة الفحص وانتظر أسبوعاً أو أكثر، فالصفحة تبقى ظاهرة حتى تُقرأ من جديد.

راجع ملف موقعك معنا

أرسل رابط موقعك وسنقرأ ملف robots.txt سطراً سطراً ونخبرك بما يمنع أكثر من اللازم وما ينقصه. اطلع كذلك على صفحة تصميم وبرمجة المواقع ومكونات الموقع الإلكتروني وصفحة الأسعار.

المواصفة الرسمية للصيغة وقواعد المطابقة منشورة في دليل robots.txt من جوجل.

اطلب عرض سعر · تواصل على واتساب · اتصل بنا

أرقام ويب
٤٤ المحور المركزي، السرايا مول، الدور الأرضي السفلي، مدخل ٢، الشيخ زايد، الجيزة، مصر
هاتف وواتساب: +20 111 872 1404 · بريد: info@arqamweb.com


شارك هذا المقال

X / Twitter LinkedIn
Arqam Web

بقلم

Arqam Web

At Arqam Web, we specialize in creating stunning websites, innovative marketing solutions, and reliable web hosting services. As a full-service marketing and advertising agency, we work closely with businesses to craft tailored strategies that boost online presence and drive results. Whether you need a professional website, expert marketing consultancy, or top-notch hosting, our team is here to help you succeed in the digital world!

— المزيد من الاستوديو

تابع بقراءته.

مقارنة WooCommerce وShopify وسلة للسوق العربي
المواقع الالكترونية
أكتوبر 2026 1 min

WooCommerce أم Shopify أم سلة؟ مقارنة للسوق العربي

قرار WooCommerce أم Shopify أم سلة لا يُحسم بأفضلية مطلقة، بل بثلاثة عوامل: هل تحتاج ملكية كاملة لموقعك وبياناتك، وأي بوابات دفع محلية تخدم عملاءك، ومن سيدير المتجر تقنياً بعد الإطلاق. كل منصة تفوز في سياق وتخسر في سياق آخر، والسؤال الصحيح ليس أيها الأفضل بل أيها الأنسب لحالتك اليوم. من أين يبدأ قرار WooCommerce […]

اقرأ
وسائل الدفع الإلكتروني في مصر
المواقع الالكترونية
أكتوبر 2026 1 min

الدفع الإلكتروني في مصر: الخيارات والرسوم

الدفع الإلكتروني في مصر لم يعد خياراً واحداً: متجرك يحتاج البطاقات والمحافظ الإلكترونية وأكواد الدفع في المنافذ، ومعها الدفع عند الاستلام الذي ما زال مسيطراً. وبنية الرسوم تتكرر في كل البوابات: نسبة من قيمة العملية، أو رسم ثابت، أو الاثنان معاً. أما النسب نفسها فتُتفاوَض مع كل بوابة. هذا المحتوى معلومات عامة عن بنية السوق […]

اقرأ
تكلفة السيو شهرياً: جدول الأعمال الأربعة التي تُباع تحت اسم السيو
المواقع الالكترونية
أكتوبر 2026 1 min

كم تكلفة السيو شهرياً؟ ومتى تبدأ النتائج في الظهور

تكلفة السيو شهرياً في أرقام ويب تبدأ من ٢٣٥ دولاراً للباقة الأساسية بالتزام ثلاثة أشهر، وهي تشمل مقالين شهرياً وثلاثة روابط خارجية ومتابعة ٢٥ كلمة مفتاحية وساعة دعم تقني وتقريراً شهرياً. الرقم المنشور في صفحة الأسعار، وما يغيّره هو حجم الموقع وحالته التقنية. لكن الرقم وحده لا يخبرك بشيء. البند المهم هو ما الذي تستلمه […]

اقرأ
واتساب الإيميل اتصل