|
إنضمامك إلي منتديات استراحات زايد يحقق لك معرفة كل ماهو جديد في عالم الانترنت ...
انضم الينا
#1
| ||
| ||
I noticed spikes in visitors to my forums over the last little while and tracked them down to http://www.80legs.com/webcrawler.html I'd never heard of this before. According to their own description, Quote: 008 runs on a grid computing platform that consists of several thousand computers, which is why you may see our web crawler access your site from many different IP addresses. Why is 008 crawling my website? 008 is the user-agent used by 80legs, a web crawling service provider. 80legs allows its users to design and run custom web crawls. So, if 008 is crawling your website, it means that one or more 80legs users created a web crawl that went (eventually) to your website. People use 80legs for a variety of reasons, including providing data to their own search engines, monitoring trends in online opinions, and other interesting applications. To block it, you can't use IP blocking. Instead add the following to robots.txt: Code: User-agent: 008 Disallow: / __DEFINE_LIKE_SHARE__ |
مواقع النشر (المفضلة) |
| |
المواضيع المتشابهه | ||||
الموضوع | كاتب الموضوع | المنتدى | مشاركات | آخر مشاركة |
استفسار عن hide user agent | محروم.كوم | منتدى أخبار المواقع والمنتديات العربية والأجنبية | 0 | 01-27-2012 04:30 PM |
31 اكتوبر 2011 - Hide User Agent | محروم.كوم | منتدى أخبار المواقع والمنتديات العربية والأجنبية | 0 | 10-31-2011 07:30 PM |
hide user agent ..file deleted | محروم.كوم | منتدى أخبار المواقع والمنتديات العربية والأجنبية | 0 | 09-09-2010 04:00 AM |
user agent hide | محروم.كوم | منتدى أخبار المواقع والمنتديات العربية والأجنبية | 0 | 08-13-2010 10:00 AM |
the ultimate bootable Disk for the agent, or wannabe agent FBI | محروم.كوم | منتدى أخبار المواقع والمنتديات العربية والأجنبية | 0 | 04-23-2009 06:50 PM |