بسم الله الرحمن الرحيم

السلام عليكم



ملف robots.txt هو ملف مهم جدا بالنسبه للمواقع وهو عباره عن ملف يتحكم بمحركات البحث وكيف تدخل الموقع والتحكم بصلاحية بعض الملفات التي لا تريد ان يتم ارشفتها وايضا التحكم بالملفات التي تريد ارشفتها حيث بعض اصحاب المواقع لديهم بعض الاقسام في الموقع او المنتدى لا يريدون ارشفتها بسبب المحتوى المتكرر او اي سبب اخر او تكون اقسام خاصه وايضا لملف robots.txt فائده ثانية وهي تقليل استهلاك الباندويث للموقع ، بما انه سوف نقوم بحجب بعض الاقسام من الارشفه اي لا تستطيع دخولها عناكب البحث وسوف اقوم بشرح هذا الملف بشكل كامل وكيفيه انشاء الملف ورفعه في الموقع



اولا انشاء ملف robots.txt

يمكن انشاء هذا الملف بواسطه المفكره او اي برنامج تحرير نصوص ، سوف نحفظ الملف بهذا الاسم robots.txt ، ثم نكتب في داخل الملف العبارات التالية وسيتم شرحها بصوره مفصله



اولا
كود:
User-agent: *
كود توجية محركات البحث الى موقعك وقد وضعت علامه النجمه والتي تدل على توجية كافه محركات البحث الى موقعك مثل ياهو و bing و كوكل وغيرها بدل ان نكتب عناكب كل موقع فوضعنا النجمه للتسهيل

ثانيا
كود:
Disallow:
وهذا الكود يقوم بمنع محركات البحث بأرشفه بعض الملفات التي يتم تحديدها لاسباب معينة مثلا اقسام خاصه في المنتدى او اي شيء

ولمنع الارشفه على بعض الملفات نكتبها بهذا الشكل
كود:
Disallow: /vb/قسم معين
Disallow: /vb/sds
Disallow: /fdfdsda
Disallow: /343
Disallow: /vb/admin
وغيرها من الملفات التي لا نرغب بأرشفتها

ثالثا
كود:
Allow:
هذا الكود يسمح لعناكب البحث بدخول مجلدات معينة يعني نحدد له المجلدات المسموح دخول عناكب البحث لها لائرشفتها
مثلا نحدد له الدخول لمجلدات الموقع التالية ويتم تغيرها حسب كل موقع
كود:
Allow: /vb
Allow: /up
Allow: /iraq
ويمكن كتابه ما نشاء من الملفات المسووح دخولها

رابعا
كود:
Sitemap:
وهو خاص بالخرائط لتوجية عناكب البحث للموقع بصوره اسرع وهناك العديد من المواقع تقوم بعمل خرائط لموقعك وصيغه ملف الخريطه هو XML او txt او gz، وعند عمل الخريطه ترفع الى الموقع ونضع مسارها في ملف robots ويمكن عمل اكثر من ملف sitemap ورفعه ووضع رابطه داخل ملف robots.txt

بعد الانتهاء نقوم برفع المف الى دليل الدليل الرئيسي للموقع يعني في ملف Public_html او www حسب الاستضافه فيكون رابطه www.000000.com/robots.txt الـ 000000 هو رابط موقعك



بعض الملاحظات المهمه
اولا
بالنسبه للمنتديات نقوم بأضافه هذه الاسطر للملف
كود:
Disallow: /vb/announcement.php
Disallow: /vb/calendar.php
Disallow: /vb/cron.php
Disallow: /vb/editpost.php
Disallow: /vb/faq.php
Disallow: /vb/joinrequests.php
Disallow: /vb/login.php
Disallow: /vb/misc.php
Disallow: /vb/moderator.php
Disallow: /vb/newreply.php
Disallow: /vb/newthread.php
Disallow: /vb/online.php
Disallow: /vb/attachment.php
Disallow: /vb/private.php
Disallow: /vb/profile.php
Disallow: /vb/register.php
Disallow: /vb/search.php
Disallow: /vb/sendmessage.php
Disallow: /vb/showgroups.php
Disallow: /vb/showpost.php
Disallow: /vb/subscription.php
Disallow: /vb/subscriptions.php
Disallow: /vb/threadrate.php
Disallow: /vb/usercp.php
Disallow: /vb/payments.php
Disallow: /vb/memberlist.php
Disallow: /vb/image.php
Disallow: /vb/images/
ونغير ملف الصوره حسب ملف الاستايل

ثانيا
يمكن الاستغناء عن Allow: والاكتفاء بكتابه Disallow: لكن الافضل كتابه Allow: لجعل الارشفه افضل واسرع

ثالثا
يحتوي ملف robots.txt على ضرر معين ويمكن معالجته بسهوله ، حيث ملف robots.txt يقوم بعرض مجلدات الموقع عند كتابتها من قبلنا المسموح بها والمحضوره ولو اردنا ان نقوم باخفاء بعض المجلدات الخاصه والتي لا نري اي شخص يدخلها لا نقوم بكتابتها داخل ملف robots.txt بل نضع عليها جدار ناري لحمايتها

رابعا

التأكد من ملف robots.txt بأنه خالي من الاخطاء
لجعل الارشفه بصوره صحية وجلب العناكب الى مواقعنا ، بعد اعداد ملف robots.txt نقوم بفحصه من الاخطاء عن طريق الموقع التالي ( اضغط هنا ) بعد الدخول الى الموقع نضع رابط الموقع www.000000.com/robots.txt الـ 000000 هو رابط موقعك داخل المستطيل ونضغط على Check robots.txt وسيتم فحص الملف من الاخطاء

تم الشرح من قبل القناص الابيض