التصنيفات
السيو SEO

كيفية ربط Sitemap مع Robots.txt

إذا كنت تملك موقع ويربريس او مدونة بلوجرأو مطورًا لمواقع الويب ، فسترغب في رؤية موقعك في نتائج البحث السيوويجب عليك فهم كيفية ربط Sitemap مع Robots.txt . ولكي تظهر في نتائج البحث ، تحتاج إلى موقع الويب الخاص بك وصفحات الويب المختلفة الخاصة به التي تم الزحف إليها وفهرستها بواسطة روبوتات محرك البحث (الروبوتات السيوSitemap مع Robots.txt ).

هناك ملفان مختلفان على الجانب التقني من موقعك على الويب يساعدان هذه الروبوتات في العثور على ما يحتاجون إليه: ملف robots.txt و XML sitemap.

  1. ملف Robots.txt
  2. خريطة موقع XML

1.ماهو Robots.txt ؟

1.ماهو Robots.txt ؟

ملف Robots.txt هو ملف نصي بسيط يتم وضعه في دليل جذر لموقعك. هذا الملف على موقع الويب الخاص بك او مدونتك للورد وهو الذي يخبر روبوتات محرك البحث هذه بما يجب الزحف إليه وما لا يجب الزحف إليه على موقعك. كما يحتوي Robots.txt على أوامر تصف لروبوتات محرك البحث المسموح لها بالزحف وأيها التي لا يسمح لها بذلك.

عادةً ، ما تبحث برامج البحث عن ملف robots.txt في موقع ويب بمجرد إدخالها. لذلك ، من المهم أن يكون لديك ملف robots.txt في المقام الأول. حتى إذا كنت تريد أن تقوم كل روبوتات البحث بالزحف إلى جميع الصفحات الموجودة على موقعك ، فإن هذا هو ملف robots.txt الافتراضي الذي يسمح بذلك ، فهذا ضروري.

يحتوي ملف Robots.txt أيضًا على معلومات مهمة واحدة تتعلق بخرائط الموقع. في هذا المنشور ، سنشرح بالتفصيل هذه الميزة الخاصة بملف robots.txt. ولكن قبل ذلك ، دعنا نرى ما هي خريطة الموقع ولماذا هي مهمة.

2.ماهوXML Sitemaps ؟

2.ماهوXML Sitemaps ؟
2.ماهوXML Sitemaps ؟

ملف Sitemap هو ملف XML يحتوي على قائمة بجميع صفحات الويب على موقعك. قد يحتوي أيضًا على معلومات إضافية حول كل عنوان URL في شكل بيانات وصفية. ومثل ملف robots.txt تمامًا ، يجب أن يكون ملف sitemap ضروريًا. يساعد روبوتات محرك البحث على استكشاف جميع صفحات الويب الموجودة في الموقع والزحف إليها وفهرستها من خلال خريطة الموقع.

3.كيف يرتبط ملف robots.txt خرائط الموقع Sitemaps ؟

في عام 2006 ، اتحدت Yahoo و Microsoft و Google لدعم البروتوكول القياسي لإرسال الصفحات إلى موقع عبر خرائط الموقع. كان عليك إرسال خرائط موقعك من خلال أدوات مشرفي المواقع من Google ، وأدوات مشرفي المواقع Bing ، و Yahoo ، بينما تستخدم بعض محركات البحث الأخرى مثل DuckDuckGoGo نتائج من Bing / Yahoo.

بعد حوالي ستة أشهر ، في أبريل 2007 ، انضموا لدعم نظام للعثور على ملف sitemap عبر robots.txt يسمى الاكتشاف التلقائي لملفات sitemap. هذا يعني أنه حتى إذا لم ترسل ملف sitemap إلى محركات البحث الفردية ، فلا بأس. سيجدون أولاً ملف خريطة الموقع من ملف robots.txt الخاص بموقعك أولاً.

(ملاحظة: لا يزال تقديم ملف Sitemap يتم في معظم محركات البحث التي تسمح بتقديم عناوين URL)

وبالتالي ، أصبح ملف robots.txt أكثر أهمية لمشرفي المواقع لأنه يمكنهم بسهولة تمهيد الطريق أمام روبوتات محرك البحث لاكتشاف جميع الصفحات على موقع الويب الخاص بهم.

كيفية إنشاء ملف Robots.txt مع موقع ملف Sitemap؟

إليك ثلاث خطوات بسيطة لإنشاء ملف robots.txt مع موقع ملف sitemap:

الخطوة رقم #1: حدد عنوان الموقع URL لملف Sitemap الخاص بك

إذا تم تطوير موقعك على الويب بواسطة مطور تابع لجهة خارجية ، فستحتاج أولاً إلى التحقق مما إذا كان قد زود موقعك بخريطة موقع. بشكل افتراضي ، سيكون عنوان URL لملف Sitemap الخاص بك هو /sitemap.xml. على سبيل المثال ، خريطة موقع xml لـwww.arabtechnologie.com هو


https://arabtechnologie.com/sitemap.xml

لذا اكتب عنوان URL هذا في متصفحك مع نطاقك بدلاً من “www.arabtechnologie.com”.

يمكنك أيضًا تحديد موقع ملف Sitemap عبر بحث Google باستخدام عوامل تشغيل البحث كما هو موضح في الأمثلة أدناه:

الموقع: arabtechnologie filetype: xml

أو

نوع الملف: xml الموقع: www.arabtechnologie.com inurl: sitemap

ولكن هذا لن يعمل إلا إذا تم الزحف إلى موقعك وفهرسته بالفعل بواسطة Google.

إذا لم تعثر على ملف Sitemap على موقع الويب الخاص بك ، فيمكنك إنشاء ملف بنفسك باستخدام منشئ ملفات Sitemap XML هذا أو اتباع البروتوكول الموضح في Sitemaps.org.

الخطوة رقم# 2: حدد موقع ملف Robots.txt الخاص بك

يمكنك التحقق مما إذا كان موقعك يحتوي على ملف robots.txt عن طريق كتابة arabtechnologie.com/robots.txt.

إذا لم يكن لديك ملف robots.txt ، فسيتعين عليك إنشاء ملف وإضافته إلى دليل المستوى الأعلى (root directory) لخادم الويب الخاص بك. ستحتاج إلى الوصول إلى خادم الويب الخاص بك. عادة ، يتم وضعها في نفس المكان الذي يوجد فيه “index.html” الرئيسي لموقعك. يعتمد موقع هذه الملفات على نوع برنامج خادم الويب لديك. يجب أن تأخذ مساعدة مطور الويب إذا لم تكن معتادًا على هذه الملفات.

تذكر فقط استخدام جميع الأحرف الصغيرة لاسم الملف الذي يحتوي على محتوى robots.txt الخاص بك. لا تستخدم Robots.TXT أو Robots.Txt كاسم الملف الخاص بك

الخطوة رقم#3: أضف موقع ملف Sitemap إلى ملف Robots.txt

الآن ، افتح ملف robots.txt في جذر موقعك. مرة أخرى ، تحتاج إلى الوصول إلى خادم الويب الخاص بك للقيام بذلك. لذا ، اطلب من مطور الويب القيام بذلك نيابةً عنك ، إذا لم تكن على دراية بكيفية تحديد ملف robots.txt الخاص بموقعك وفتحه.

لتسهيل الاكتشاف التلقائي لملف Sitemap من خلال ملف robots.txt الخاص بك ، كل ما عليك فعله هو وضع توجيه بعنوان URL في ملف robots.txt الخاص بك ، كما هو موضح في النموذج أدناه:

Sitemap: http://arabtechnologie.com/sitemap.xml

لذلك ، يبدو ملف robots.txt كما يلي:

Sitemap: http://arabtechnologie.com/sitemap.xml
User-agent:*
Disallow:

ملاحظة: يمكن وضع التوجيه الذي يحتوي على موقع ملف sitemap في أي مكان في ملف robots.txt. إنه مستقل عن خط وكيل المستخدم ، لذلك لا يهم مكان وضعه.

ماذا لو كان لديك ملفات Sitemap متعددة؟

لا يمكن أن يحتوي كل ملف Sitemap على أكثر من 50000 عنوان URL. لذلك في حالة وجود موقع أكبر به العديد من عناوين URL ، يمكنك إنشاء ملفات sitemap متعددة. يجب عليك إدراج مواقع ملفات sitemap المتعددة هذه في ملف فهرس sitemap. يشبه تنسيق XML لملف فهرس Sitemap ملف sitemap ، مما يعني أنه ملف sitemap لملفات sitemap.

عندما يكون لديك ملفات sitemap متعددة ، يمكنك إما تحديد عنوان URL لملف فهرس Sitemap في ملف robots.txt كما هو موضح في المثال أدناه:

Sitemap: http://arabtechnologie.com/sitemap_index.xml
User-agent:*
Disallow

أو يمكنك تحديد عناوين URL فردية لملفات sitemap المتعددة ، كما هو موضح في المثال أدناه:

Sitemap: http://arabtechnologie.com/sitemap_host1.xml
Sitemap: http://arabtechnologie.com/sitemap_host2.xml
User-agent:*
Disallow

أخيرًا ، هناك شيء واحد يجب الانتباه إليه عند إضافة توجيه ملف Sitemap إلى ملف robots.txt.

بشكل عام ، يُنصح بإضافة مشتق “ملف Sitemap” جنبًا إلى جنب مع عنوان URL لملف Sitemap في أي مكان في ملف robots.txt. ولكن في بعض الحالات ، من المعروف أنه يعطي بعض أخطاء التحليل. يمكنك التحقق من أدوات مشرفي المواقع من Google بحثًا عن أي أخطاء تم اكتشافها ، بعد حوالي أسبوع من تحديث ملف robots.txt الخاص بك بموقع ملف sitemap.

لتجنب هذا الخطأ ، يوصى بترك مسافة سطر بعد عنوان URL الخاص بخريطة الموقع.

آمل أن يكون من الواضح تمامًا الآن كيفية إنشاء ملف robots.txt مع موقع ملف sitemap. افعلها ، سوف يساعد موقعك

هل حددت خريطة موقعك في ملف robots.txt الخاص بك حتى الآن؟

تعليق واحد على “كيفية ربط Sitemap مع Robots.txt”

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *