在apache中，屏蔽蜘蛛的方法相对来说比较简单，通常是在.htaccess中添加屏蔽规则即可。
但是需要注意的是，apache 2.2 和apache 2.4版本的情况下，屏蔽规则是不同的。
具体可以参考以下两个教程
apache 2.2版本下.htaccess屏蔽蜘蛛
apache 2.4版本下.htaccess屏蔽蜘蛛

使用.htaccess进行屏蔽可以灵活控制每个站点允许和拒绝不同的蜘蛛类型。但由于是单站点，如果有大量的站点需要对某一类固定蜘蛛进行屏蔽的话，逐站添加就变的很麻烦了。
因此，本教程所说的屏蔽方式是全局的。

特别声明：本教程中所涉及的脚本仅可应用于我司jazzvps二次开发的amh 4.2版本。
（非我司二次开发amh 4.2环境的用户请勿参考）

wget http://wiki.diahosting.com/dload/block_bad_agent_for_apache.sh
sh block_bad_agent_for_apache.sh