Two more spider
authorJoey Schulze <joey@infodrom.org>
Fri, 24 Jul 2009 09:14:18 +0000 (09:14 +0000)
committerJoey Schulze <joey@infodrom.org>
Fri, 24 Jul 2009 09:14:18 +0000 (09:14 +0000)
lib/core.inc

index d7be078..67e91ee 100644 (file)
@@ -168,6 +168,8 @@ function is_spider()
       strpos($_SERVER['HTTP_USER_AGENT'], 'yacybot') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'www.yacy.net') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Nutch-1.0') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'Tagoobot/3.0') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'SapphireWebCrawler/1.0') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Cityreview Robot') !== false) {
     if (isset($_SESSION['uid']))
       $_SESSION['robot'] = true;