Forum Problem with my search spider. Keeps running into noindex on attachments.

استراحات زايد الصفحة الرئيسية

		منتدى استراحات زايد > استراحات اخرى > منتدى أخبار المواقع والمنتديات العربية والأجنبية
Forum Problem with my search spider. Keeps running into noindex on attachments.

LinkBack

06-05-2010, 11:40 AM

عضو ماسي

بيانات محروم.كوم

رقم العضوية : 503

تاريخ التسجيل : Dec 2007

الجنس : female

علم الدوله : الدوله : United Arab Emirates

المشاركات : 2,100,669

عدد الـنقاط :3341

تقييم المستوى : 2141

Forum Problem with my search spider. Keeps running into noindex on attachments.

So I have a search engine spider that I use for my internal site. Problem is when I use that spider on my vBulletin forum when it goes to scan PDFs I have attached to a thread, my spider is getting an error: (meta robots "noindex" tag found).

When I look at the source of the thread I do not see any rel= tags associated with the attachments. Also attachment.php has no such code. So when a spider gets to the PDFs where is the URL picking up the noidex tag from?

Thanks __DEFINE_LIKE_SHARE__

إعلانات عشوائية

تعارف بلاك بيري	صور بلاك بيري	قروبات بلاك بيري	اخبار رياضية	العاب فلاش	اهداءات اغاني للهواتف	نغمات جوال
أغاني	مسلسلات رمضان	مسجات	سوق محروم	سيارات للبيع	ارقام سيارات للبيع	برودكاست