10 يناير، 2015

تعريف ملف توجيه عناكب محركات البحث robots.txt وأهميته في السيو وأرشفة المواقع

من طرف Khader Adel  |  نشر في :  2:02 ص 0 تعليقات

تعريف ملف توجيه عناكب محركات البحث robots.txt وأهميته في السيو وأرشفة المواقع


تحدثنا في تدوينة سابقة عن تعريف خارطة الموقع وأهميتها في تعريف روبوتات وعناكب محركات البحث بهيكل الموقع وترتيبه ومكوناته ...


وفي هذه التدوينة سنتحدث عن ملف توجيه عناكب محركات البحث robots.txt وكيف يمكن أن يوثر على أرشفة الموقع اذا ما تم سرد أوامره وبناءه بشكل سليم ، فهذا الملف مهم جدا لأي صاحب موقع يريد أن يوجه روبوتات محركات البحث بالشكل الصحيح لمكونات موقعه لأرشفتها بشكل كامل أو أرشفة جزئيات مهمة منها أو عدم أرشفتها وسيتم شرح ذلك في هذه التدوينة ...

ويتكون ملف  robots.txt من الأجزاء التالية وهي :
:User-agent
/ :Allow
      / :Disallow

الجزء الأول :User-agent يعمل على توجيه إما جميع عناكب البحث ويمكن الاشارة اليها بالرمز * أو بتوجيه عنكبوت محرك بحث معين مثل روبوت محرك البحث جوجل Googlebot أو عدة محركات بحث لتنفيذ الأمرين التاليين له وهما :Allow و :Disallow 

وكما يتضح لنا فإن الأمر الأول Allow يسمح لعناكب محركات البحث باستكشاف كل أجزاء الموقع أو بعض أجزاء الموقع 
والأمر الأخر  Disallow لا يسمح بالأرشفة لجميع عناكب محركات البحث ..

وللتوضيح بشكل أوسع ...
أولا :  الان نذهب لفتح ملف text أو notepad ونسميه  robots.txt 
ثانيا : نكتب مكونات الملف الأساسية كما كتابناها في الأعلى 

:User-agent
/ :Allow
/ :Disallow

الان سأشرح لكم أكثر من مثال حتى تبني هذا الملف بناءا على رغبتك في أرشفة موقع أو جزء منه لمحركات البحث أو عدم أرشفته ...
  

المثال الأول :

عندما نريد أرشفة الموقع كاملا ودون نقصان ولجميع محركات البحث نكتب الملف بالصيغة التالية :

*:User-agent
 / :Allow
وهنا النجمة * تعني أن الأمر موجه لجميع محركات البحث ، والأمر  / :Allow يسمح لها جميعها بأرشفة الموقع كامل ..



المثال الثاني :

هنا سيتم كتابة الأمر لتمكين روبوت محرك بحث جوجل واسمه Googlebot بأرشفة الموقع كاملا  من خلال تنفيذ الأمر
 / :Allow  وعدم السماح لروبوتات محركات البحث الأخرى بأرشفة الموقع * من خلال تنفيذ الأمر / :Disallow

User-agent: Googlebot
 / :Allow
  * :User-agent
/ :Disallow


المثال الثالث :

وهنا سيتم السماح لجميع محركات البحث * بأرشفة الموقع كاملا باستثناء ملف خاص من الموقع ، وكمثال هنا سنسمي الملف باسم my-pic 
* :User-agents
Disallow: /my-pic


المثال الرابع :

هنا سنخبر جميع محركات البحث بأرشفة الموقع كاملا باستثناء جزء من الملف my-pic وهذا الجزء قد يكون ملف تكست أو صورة أو غيره وهنا كمثال سنسمي هذا الجزء باسم mycar.jpg

User-agent: *
Disallow: /my-pic
  * :User-agent
Allow: /my-pic/mycar.jpg


المثال الخامس :

وهنا اذا أردنا ترك ملف robots.txt فارغ دون كتابة أي شيء ستقوم عناكب محركات البحث بعمل ما هو افتراضي ودون توجيه والقيام بأرشفة موقعك بشكل كامل لأنه لم يتم توجيهها لأي أمر 


وهنا انتهينا من انشاء ملف توجيه عناكب محركات البحث وسميناه robots.txt ، حيث يمكنك الاختيار من بين الأمثلة السابقة على حسب الخيارات التي تريدها من أرشفة موقعك ..

ويبقى علينا حفظ الملف بصيغة .txt ورفعه على الاستضافة الخاصة بنا ووضعه في ملف الموقع الرئيسي Root Directory ...

 وبالنسبة للمواقع المستضافة بشكل مجاني مثل بلوجر فيمكن نسخ ما في هذا الملف واضافتها في الجزء الخاص بهذا الملف ...ويمكن عمل ذلك من خلال الذهاب الى لوحة التحكم Dashboard ثم اعدادات Settings ثم تفضيلات البحث Search preferences بعدها نختار ملف robots.txt مخصص ونضغط على تحرير edit ثم نقوم بلصق الملف و حفظه 



 اذا أعجبكم الموضوع شاركوا بتعليق وشاركوه مع أصدقائكم

الرجاء عدم النقل بدون ذكر المصدر 




التسميات :
Khader Adel / مشرف الموقع

KHADER ADEL من الاردن لدي معرفة وشغف في عالم الانترنت والتسويق الالكتروني والتقنية ..ادعمني بتعليق وانضم للقائمة البريدية ..

مواضيع ذات صلة

0 comments:

من فضلك أضف تعليقك ...

تابع المدونة على جوجل+





أحدث التويتات

إجمالي مرات مشاهدة الصفحة

back to top