一、分析网站访问日志，找到垃圾爬虫的域名或者机器人英文名称并提取其中关键词，如：opensiteexplorer、semrush、seostar、mj12bot、webmeup-crawler、dataforseo、seznam等。 ...
一、分析网站访问日志，找到垃圾爬虫的域名或者机器人英文名称并提取其中关键词，如：opensiteexplorer、semrush、seostar、mj12bot、webmeup-crawler、dataforseo、seznam等。
二、根据你Apache服务器实际情况，正确选择并打开httpd（未开启虚拟主机的情况下）、httpd-ssl（开启了虚拟主机和https协议的情况下）、httpd-vhosts配置文件（开启了虚拟主机，未开启https协议的情况下），在您的相应的站点中加入以下代码（以后不定期分析网站访问日志，以便及时更新添加垃圾爬虫）：
# 屏蔽垃圾爬虫访问抓取
<Directory "d:/web/xxx/">
SetEnvIfNoCase User-Agent ".*(opensiteexplorer|semrush|seostar|mj12bot|webmeup-crawler|dataforseo|seznam)" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
</Directory>三、保存您修改的配置文件，重启Apache，屏蔽垃圾爬虫抓取网站信息生效。