New crawler
authorJoey Schulze <joey@infodrom.org>
Mon, 21 Nov 2011 12:22:50 +0000 (12:22 +0000)
committerJoey Schulze <joey@infodrom.org>
Mon, 21 Nov 2011 12:22:50 +0000 (12:22 +0000)
lib/core.inc

index 2fb83f3..e358285 100644 (file)
@@ -191,6 +191,14 @@ function is_spider()
       strpos($_SERVER['HTTP_USER_AGENT'], 'findlinks/2') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'SiteBot/0.1') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Purebot/1.1') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'Ezooms/1.0') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'discobot/1.1') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'AhrefsBot/1.0') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'suggybot v0.01a') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'DomainCrawler/2.0') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'Plukkie/1.4') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'nutch-1.3/Nutch-1.3') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'aiHitBot/1.0') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Cityreview Robot') !== false) {
     if (isset($_SESSION['uid']))
       $_SESSION['robot'] = true;