New Crawler: SapphireWebCrawler/Nutch-1.0-dev (Sapphire Web Crawler using Nutch;...
authorJoey Schulze <joey@infodrom.org>
Mon, 12 Jan 2009 11:16:35 +0000 (11:16 +0000)
committerJoey Schulze <joey@infodrom.org>
Mon, 12 Jan 2009 11:16:35 +0000 (11:16 +0000)
lib/core.inc

index 4576861..cce4379 100644 (file)
@@ -157,6 +157,7 @@ function is_spider()
       strpos($_SERVER['HTTP_USER_AGENT'], 'Gaisbot/3.0') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'psbot/0.1') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Ask Jeeves/Teoma') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Gaisbot/3.0') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'psbot/0.1') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Ask Jeeves/Teoma') !== false ||
+      strpos($_SERVER['HTTP_USER_AGENT'], 'SapphireWebCrawler/Nutch') !== false ||
       strpos($_SERVER['HTTP_USER_AGENT'], 'Cityreview Robot') !== false) {
     if (isset($_SESSION['uid']))
       $_SESSION['robot'] = true;
       strpos($_SERVER['HTTP_USER_AGENT'], 'Cityreview Robot') !== false) {
     if (isset($_SESSION['uid']))
       $_SESSION['robot'] = true;