robots.txt وsitemap: ملفّان يحرسان فهرستك

لست مضطرًّا إلى قراءة سجلات الخادم لتعرف أن موقعك يعاني: اكتب اسمه في جوجل، وستجد صفحتك الرئيسية وحدها، أو ثلاث صفحات من عشرين. تعود إلى الملفات فتجد كل شيء سليمًا — النصوص موجودة، الروابط تعمل، والقالب لا خطأ فيه. المشكلة في الغالب ليست في المحتوى ولا في السرعة، بل في ملفّين صغيرين يعملان بصمت قبل أن يزور جوجل موقعك أصلًا.

هذان الملفّان هما robots.txt وsitemap.xml. أغلبهن ينسخهما من قالب جاهز ثم ينساهما سنوات، وبعضهن يحذفهما عند أول مشكلة في الفهرسة. وكلاهما خطأ: الأول يحدّد ما يُسمح للزاحف بقراءته، والثاني يخبره بما يستحق الزيارة. إن أخطأت في الأول حجبت موقعك، وإن أهملت الثاني تركت جوجل يخمّن.

سأقولها بصدق: هذان الملفّان لا يرفعان ترتيبك، ولن يجلب لك زيارة واحدة مباشرة. وظيفتهما أضيق من ذلك وأهم: أن يجعل الزحف والفهرسة أمرًا متوقّعًا لا مصادفة. وهذا الدليل محدّث، وأطبّقه على موقعي ومواقع عملائي بالطريقة نفسها التي سأشرحها.

1. ما يفعله robots.txt فعلًا — وما لا يفعله

الملف يوضع في جذر النطاق: https://example.com/robots.txt، ولا يعمل في مجلد فرعي. نصّه تعليمات للزواحف الملتزمة، وأشهرها Googlebot. لا شيء فيه يمنع الزائر البشري من فتح الصفحة، ولا يحذف محتوى من نتائج البحث إن كان قد فُهرس سابقًا.

هذه النقطة الأخيرة يقع فيها الكثير: تضع Disallow: / لصفحة قديمة، فتظنها خرجت من نتائج جوجل، ثم تجدها بعد شهور. الحقيقة أن الأوامر تمنع الزحف لا الإزالة؛ للإزالة تحتاج noindex داخل الصفحة نفسها، أو طلب إزالة من أداة فحص الروابط في Search Console.

وهناك ما لا يستطيعه الملف إطلاقًا: لا يمنع سرقة المحتوى، ولا يحمي روابطك، ولا يمنع أي جهة من قراءة صفحتك عبر متصفّح. هو اتفاق مع الزواحف المهذّبة، لا جدار حماية. من يريد الحماية يبنيها في الصلاحيات والتشفير، لا في ملف نصّي عام.

2. القواعد التي يُكتب بها الملف بشكل سليم

الصيغة بسيطة، لكن الخطأ فيها مكلف. القاعدة الأساسية أن كل مجموعة أوامر تُكتب تحت سطر User-agent، وأن أي سطر جديد من نوع User-agent يقطع المجموعة السابقة.

السطر	معناه	متى تستخدمه
User-agent: *	كل الزواحف	بداية كل ملف تقريبًا
Disallow: /wp-admin/	منع مجلد الإدارة	دائمًا تقريبًا في ووردبريس
Disallow: /search	منع صفحات البحث الداخلي	لتوفير ميزانية الزحف
Allow: /wp-admin/admin-ajax.php	استثناء ملف ضروري	مع المنع أعلاه
Sitemap: https://example.com/sitemap.xml	إعلان خريطة الموقع	سطر واحد في النهاية

لاحظ أن الاستثناءات تُقرأ من الأخصّ إلى الأعمّ: Allow أطول يغلب Disallow أقصر. ولهذا نكتب سطر admin-ajax.php بعد منع المجلد، وإلا تعطّلت وظائف الواجهة التي تعتمد على أجاكس.

ولا تضع في الملف سطورًا لا يعرفها أحد؛ الزاحف يتجاهل ما لا يفهمه بلا إشعار. و«أخطاء» مثل كتابة Disallow: / بقصد تجربة ثم نسيانها هي السبب الأول لموقع كامل يختفي من جوجل بين ليلة وضحاها.

3. الأخطاء التي تُخرج الموقع من الفهرسة كلها

هذه أربعة أخطاء رأيتها فعلًا، لا في مقالات، بل في مواقع حقيقية استلمتها:

• حجب ملفات التصميم والجافاسكربت. منع /wp-content/ أو .css يجعل جوجل يرى صفحة بلا تنسيق، فتسوء تقييماته لها. لا تحجبها أبدًا.
• حجب صفحات الوسوم والأرشيف بالكامل. الأولى تُعالج بـnoindex، لا بمنع الزحف؛ لأن المنع يمنع جوجل من رؤية تعليمة الإزالة أصلًا.
• ملف robots بترميز خاطئ. نصوص عربية داخله بلا UTF-8 تجعل الزاحف يقرأ قواعد لا معنى لها.
• نسيان أن الملف عام. لا تكتب فيه مسارات سرّية كأنها محمية — أنت تنشرها لكل من يفتح الرابط.

القاعدة التي أتبعها: إن كنت تريد منع صفحة من الظهور، فـnoindex؛ وإن كنت تريد منع الزحف لتوفير وقت فقط، فـDisallow. ولا تجمع بينهما في الصفحة نفسها، لأن الزاحف لا يقرأ التعليمة أصلًا.

4. sitemap.xml: ما يستحق أن يُذكر فيه

خريطة الموقع ليست قائمة بكل رابط في موقعك، بل بقائمة الصفحات التي تريد فهرستها. الفرق يبدو نظريًّا حتى تنظر إلى خريطة موقع فيها 4,000 رابط، ثلثها صفحات وسوم فارغة وأرشيفات تواريخ. ميزانية الزحف محدودة، وكل رابط لا يستحق يسرق من رابط يستحق.

الحدود العملية التي ألتزم بها:

• حتى 50 ألف رابط في الملف الواحد، وبحجم لا يتجاوز 50 ميغابايت غير مضغوط.
• حقل lastmod يُكتب فقط عند تغيير حقيقي في المحتوى؛ كتابته بتاريخ اليوم لكل رابط تجعله بلا قيمة.
• لا تُدرج صفحات noindex ولا صفحات الخطأ ولا صفحات البحث الداخلي.
• ملف منفصل لكل نوع محتوى (مقالات، صفحات، منتجات) عند تجاوز المئات.

وتذكّر أن الخريطة اقتراح لا أمر: جوجل يقرأها ويعطيها وزنًا، لكنه لا يفهرس رابطًا لم يرَه يستحق. لذلك تجد خرائط سليمة تمامًا وصفحاتٍ داخلها لا تدخل الفهرسة أبدًا — والعيب عندئذٍ في الصفحة لا في الملف.

5. بناء الملفّين على ووردبريس بلا إضافات زائدة

ووردبريس يولّد robots.txt افتراضيًّا يتضمّن قاعدة admin-ajax وسطر الخريطة تلقائيًّا. المشكلة تبدأ عندما تثبّت إضافة تحسين محركات بحث وتقرّر أن تكتب الملف يدويًّا، ثم تُحدّث الموقع فتنسى تعديله.

1. اختر مصدرًا واحدًا للملف: إعدادات إضافة السيو، أو ملف يدوي عبر FTP — لا الاثنين.
2. أضف سطر الخريطة إن لم يُضَف تلقائيًّا: Sitemap: https://www.arbahy.info/sitemap_index.xml.
3. أبقِ /wp-admin/ محجوبًا مع استثناء admin-ajax.php.
4. بعد أي تغيير، أفرغ الكاش ثم افتح الرابط في متصفّح — الملف يُخدَّم من الكاش عند بعض الإعدادات، فترى نسخة قديمة وتظن تعديلك لم يُحفظ.

أما الخريطة، فأي إضافة سيو محترمة تبنيها وتحدّثها تلقائيًّا عند النشر. لا تحتاج بناءها يدويًّا، لكن تحتاج مراجعتها: افتح /sitemap_index.xml وانظر أي الملفات مُدرجة، وأي نوع محتوى دخل بلا داعٍ. هذه المراجعة دقيقتان، وتوفّر أسابيع من الانتظار.

6. كيف تتحقّق أن الملفّين يعملان فعلًا

لا تثق بأن الملف «موجود». اختبره كما يختبره الزاحف:

• افتح الرابط مباشرة في نافذة تصفّح خاصة: /robots.txt يجب أن يظهر نصًّا عاديًّا، لا صفحة 404 ولا صفحة HTML.
• اختبر صفحة محجوبة بأداة فحص الروابط في Search Console، وانظر هل تُبلَّغ بأن «الزحف محجوب».
• اقرأ تقرير الصفحات في Search Console بعد أسبوع من التعديل: هل انخفض عدد «محجوبة بواسطة robots.txt» أم ارتفع؟
• تحقّق من الخريطة في قسم Sitemaps: يجب أن تكون الحالة «نجح» وعدد الروابط المكتشفة قريبًا من عدد صفحاتك الحقيقية.

وللمواقع الجديدة أو المنقولة، هذان الفحصان يسبقان أي عمل على المحتوى. لا معنى لتحسين مقال لا يستطيع جوجل قراءته. وإن كان موقعك يعاني بطئًا في الظهور أصلًا، فابدأ من دليل Google Search Console ثم عُد إلى هنا: التسلسل الصحيح يوفّر عليك شهورًا.

7. جدول تقييم: هل ملفّاك في حالة سليمة؟

أعطِ نفسك 100 نقطة على البنود التالية. ما دون 70 يعني أن هناك عملًا يجب أن يسبق أي تحسين آخر.

البند	النقاط	كيف تتحقّق
robots.txt موجود ويُخدَم نصًّا لا HTML	15	فتح الرابط في نافذة خاصة
لا Disallow: / عام	20	قراءة الملف سطرًا سطرًا
ملفات CSS وJS غير محجوبة	15	البحث عن wp-content في الملف
سطر Sitemap صحيح ومطلق	10	فتح الرابط المذكور
الخريطة تُدرج المقالات والصفحات فقط	15	مراجعة sitemap_index
لا صفحات noindex داخل الخريطة	10	فحص عيّنة عشوائية
الحالة في Search Console «نجح»	10	قسم Sitemaps
لا تحذيرات «محجوب بالخطأ»	5	تقرير الصفحات

8. خطة أسبوع واحد لإصلاح الملفّين

هذا ما أفعله عند استلام موقع جديد، وهو قابل للتنفيذ في ساعة عمل موزّعة على أيام:

• اليوم الأول: انسخ الملفّين الحاليّين إلى جهازك كنسخة احتياطية، ثم افتحهما واقرأهما سطرًا سطرًا. لا تعدّل بعد.
• اليوم الثاني: أزل أي حجب لملفات التصميم أو الجافاسكربت، وقارن عدد الصفحات المفهرسة قبل التعديل وبعده.
• اليوم الثالث: راجع الخريطة: احذف أنواع المحتوى التي لا تستحق، وتأكّد من إدراج المقالات فقط.
• اليوم الرابع: أرسل الخريطة من جديد في Search Console، واطلب فحص عيّنة من أهم عشر صفحات.
• اليوم الخامس: اقرأ تقرير الصفحات: أي صفحة تحمل «محجوبة» وهي تستحق الظهور، عالجها بـnoindex بدل الحجب.
• اليومان السادس والسابع: لا تفعل شيئًا. الفهرسة تحتاج وقتًا، والعبث اليومي يجعل قراءة النتائج مستحيلة.

وإن كانت مشكلتك أن الصفحات تُفهرس ببطء لا أنها محجوبة، فالخطوة التالية الطبيعية هي دليل تسريع فهرسة جوجل، لا إعادة كتابة الملفات من جديد.

9. أخطاء تُفسد العمل بعد الإصلاح

أخطر ما يحدث أن يُصلَح الملف ثم يُنقض بعد أسبوع:

• إضافة تحسين محركات بحث جديدة تنشئ robots.txt خاصًّا بها وتتجاهل تعديلاتك.
• نسخ ملف من موقع آخر فيه مسارات لا تخصّك، فيحجب ما لم تقصد حجبه.
• ترك صفحات الاختبار محجوبة بعد انتهاء العمل، وهي صفحات تريد فهرستها فعلًا.
• تعديل الملف ثم عدم تفريغ الكاش — فيظن الجميع أن التعديل فشل.

وسجّل أي تعديل في ملف نصّي بسيط عندك: التاريخ، ما غيّرته، ولماذا. بعد سنة ستشكر نفسك عندما تحاول فهم سبب اختفاء صفحات معيّنة.

الخلاصة

robots.txt وsitemap.xml ليسا إعدادات تقنية متقدّمة، بل بوّابة الفهرسة. اكتب الأول بقواعد قليلة واضحة، واترك الثاني يبنيه نظامك ثم راجعه، واختبر النتيجة كما يختبرها الزاحف. هذا كل ما يحتاجه موقعك منهما، وأي تعقيد إضافي فيهما يزيد احتمال الخطأ بلا فائدة تقابلها.

ولو كان وقتك محدودًا هذا الأسبوع، فافعل شيئًا واحدًا: افتح /robots.txt عندك الآن وابحث عن Disallow: /. إن وجدته بلا استثناء، فقد عرفت سبب مشكلة الفهرسة قبل أن تُنفق شهرًا في تحسين المحتوى.

الأسئلة الشائعة

هل أحتاج robots.txt في كل موقع؟

نعم. حتى لو لم تحتج حجب أي شيء، فوجود سطر Sitemap فيه يوفّر على جوجل خطوة اكتشاف الخريطة، وبعض الأنظمة تنشئه تلقائيًّا فيكفي أن تراجعه.

ما الفرق بين Disallow وnoindex؟

Disallow يمنع الزاحف من قراءة الصفحة، وnoindex تعليمة داخل الصفحة تطلب إخراجها من النتائج. الأول يحجب القراءة، والثاني يحجب الظهور، ولا يجتمعان في صفحة واحدة.

هل حذف رابط من sitemap يُخرجه من نتائج البحث؟

لا. الخريطة اقتراح للفهرسة، وحذف الرابط منها لا يزيله من النتائج. للإزالة تحتاج noindex أو طلب إزالة من Search Console.

كم يستغرق ظهور التعديل بعد إصلاح الملفَّين؟

من أيام إلى أسابيع، ويختلف بحجم الموقع وسرعة زحفه. راقب تقرير الصفحات في Search Console بدل فحص جوجل يدويًّا كل يوم.

هل يمنع robots.txt النسخ من موقعي؟

لا. الملف يحترمه الزواحف المهذّبة فقط، ولا يمنع أي شخص من قراءة صفحاتك أو نسخها. للحماية تحتاج إجراءات تقنية أخرى غير هذا الملف.