التحكم فى فهرسة الموقع وعناكب محركات البحث

تحسين محركات البحث (SEO)
فهرسة مواقع الويب

يعمل محرك بحث جوجل باستخدام برامج زحف الية تبحث عن المحتوى الجديد والصفحات الجديدة على موقعك وعلى مواقع أخرى، لتقوم بإضافتها الى الفهرس الخاص بها.

التحكم فى الفهرسة يساعدك فى تنظيم موقعك، واستبعاد الصفحات التى من الوارد انها قد تضر بعملية السيو الخاصة بك. يمكنك التحكم فى زاحف البحث لتحديد ما ترغب فى فهرسته، واستبعاد الصفحات او المسارات التى لا ترغب فى ان يزحف اليها محرك البحث Google.

التحكم فى الفهرسة

يمكنك التحكم فى الفهرسة عن طريق ملف Robots.txt الخاص بموقعك، اذا لم تكن تمتلك واحداً عليك انشائه فى مجلد موقعك الرئيسى www او Public_html.

ملحوظة: لا تقوم بحظر ملفات JavaScript او ملفات CSS، لأن الزاحف Googlebot يرى الصفحات كما يراها المستخدم.

لا تقلق لن تقوم محركات البحث بفهرسة هذه الملفات، ولكن تساعدها فى مشاهدة صفحاتك بشكل جيد.

سيكون المسار بهذا الشكل: https://seomastar.com/robots.txt

فى حالة ان موقعك جديد وليس على استعداد الان للفهرسة فى محركات البحث، يمكنك استخدام Disallow لمنع الزاحف من ارشفة صفحات موقعك بالكامل اذا قمت بكتابته على هذا النحو:

User-agent: *
Disallow: /

يمكنك أستخدام Allow فى حالة كان موقعك الإلكتروني جاهز وترغب فى فهرسة كل مسارات الموقع بشكل كامل اذا قمت بكتابتها على هذا النحو:

User-agent: *
Allow: /

يمكنك ان تسمح للزاحف بفهرسة كامل مسارات موقعك باستثناء مسارات محددة اذا قمت بكتابتها على هذا النحو:

User-agent: *
Disallow: /Dir1/
Disallow: /Dir2/

فى هذه الحالة سيقوم الزاحف الالى بفهرسة كل صفحات موقعك بأستثناء اى روابط بهذه المسارات:

https://example.com/Dir1/
https://example.com/Dir2/

وسيقوم بالزحف الى باقى مسارات موقعك وفهرستها بشكل طبيعى فى محرك البحث.

فى حالة انك ترغب فى استثناء صفحة ويب معينة على موقعك يمكنك اضافة هذا الكود فى وسم <head> لمصدر الصفحة المقصودة على هذا النحو:

<head>
<meta name="robots" content="noindex">
</head>

اذا قمت باضافة هذه الميتا لكافة صفحات الويب لن يقوم جوجل بفهرسة موقعك بالكامل.

سيو ماستر

تساعدك عملية التحكم فى الفهرسة فى جعل محتوى موقعك فى محرك البحث أفضل، بحيث يمكنك أستبعاد الصفحات المكررة، الصفحات المكررة قد تضر بجهودك فى عملية SEO.

اذا كنت تستخدم نظام ووردبريس يمكنك التحكم فى الفهرسة من خلال احد الاضافات الخارجية مثل Yoast SEO.

فى سيو ماستر نرغب دائماً فى المساعدة، اذا كنت تواجه اى مشكلة فى عملية الفهرسة لموقعك فلا تتردد فى التواصل معنا للحصول على المساعدة.

اقرأ أيضًا: كيف تصبح متخصص سيو في 2023

شارك الموضوع:
× تواصل معنا