需要屏蔽蜘蛛，进行规则修改和添加的，那么请务必自行创建新conf文件，而不要修改默认的conf文件，以免您其它站点调用而产生错误。

if ( $http_user_agent ~ AhrefsBot ){
   return 403;
}
if ( $http_user_agent ~ YandexBot ){
   return 403;
}
if ( $http_user_agent ~ MJ12bot ){
   return 403;
}
if ( $http_user_agent ~ DotBot ){
   return 403;
}
if ( $http_user_agent ~ RU_Bot ){
   return 403;
}
if ( $http_user_agent ~ Ezooms ){
   return 403;
}
if ( $http_user_agent ~ Yeti ){
   return 403;
}
if ( $http_user_agent ~ BLEXBot ){
   return 403;
}
if ( $http_user_agent ~ Exabot ){
   return 403;
}
if ( $http_user_agent ~ YisouSpider ){
   return 403;
}
if ( $http_user_agent ~ sandcrawlerbot ){
   return 403;
}
if ( $http_user_agent ~ ShopWiki ){
   return 403;
}
if ( $http_user_agent ~ Genieo ){
   return 403;
}
if ( $http_user_agent ~ Aboundex ){
   return 403;
}
if ( $http_user_agent ~ coccoc ){
   return 403;
}
if ( $http_user_agent ~ MegaIndex ){
   return 403;
}
if ( $http_user_agent ~ spbot ){
   return 403;
}
if ( $http_user_agent ~ SemrushBot ){
   return 403;
}
if ( $http_user_agent ~ TwengaBot ){
   return 403;
}
if ( $http_user_agent ~ SEOkicks-Robot ){
   return 403;
}
if ( $http_user_agent ~ WordPress ){
   return 403;
}
if ( $http_user_agent ~ BUbiNG ){
   return 403;
}
if ( $http_user_agent ~ PetalBot ){
   return 403;
}
if ( $http_user_agent ~ Adsbot ){
   return 403;
}
if ( $http_user_agent ~ NetcraftSurveyAgent ){
   return 403;
}
if ( $http_user_agent ~ Barkrowler ){
   return 403;
}
if ( $http_user_agent ~ serpstatbot ){
   return 403;
}
if ( $http_user_agent ~ MegaIndex.ru ){
   return 403;
}
if ( $http_user_agent ~ DataForSeoBot ){
   return 403;
}

注意，屏蔽蜘蛛的规则需要放在所有伪静态规则的上方。

假设要屏蔽 AhrefsBot ,YandexBot ,MJ12bot 三种蜘蛛，假设站点是wordpress程序。

• => 获取zencart伪静态 + 301重定向 + 屏蔽蜘蛛规则
  
• => 获取wordpress伪静态 + 301重定向 + 屏蔽蜘蛛规则
  
• => 获取magento伪静态 + 301重定向 + 屏蔽蜘蛛规则