结合日常维护服务器之经验得失，与各位分享分析网站访问日志中呈现的各大搜索引擎、网络爬虫名称和IP地址（段），以供大家配置操作服务器参考。需要特别的声明的是，存在恶意伪装他人情况，故本文不构成任何建议，仅供大家分析研判之用。
一、友好类搜索引擎
Baiduspider/2.0; +http://www.baidu.com/search/spider.html
Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html
对应ip地址（段）：220.181.108.162，220.181.108.153，116.179.37.131
1.192.192.4所在IP段为百度搜索引擎监控爬取站长提交sitemap地址。
Googlebot/2.1; +http://www.google.com/bot.html
对应ip地址（段）：66.249.79.227
bingbot/2.0; +http://www.bing.com/bingbot.htm
对应ip地址（段）：157.55.39.184，207.46.13.89，40.77.167.67
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07
对应ip地址（段）：118.184.177.42
Applebot/0.1; +http://www.apple.com/go/applebot
对应ip地址（段）：17.121.114.52，17.121.115.31
360Spider
对应ip地址（段）：1.192.192.8，1.192.192.6
YisouSpider
对应ip地址（段）：140.205.90.26，106.11.159.111，106.11.156.54，106.11.159.43，106.11.153.114
Bytespider; https://zhanzhang.toutiao.com/
对应ip地址（段）：111.225.148.94
Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots
对应ip地址（段）：95.163.255.213
二、防范类搜索引擎
SemrushBot/7~bl; +http://www.semrush.com/bot.html
对应ip地址（段）：185.191.171.35，185.191.171.10
DotBot/1.2; +https://opensiteexplorer.org/dotbot
对应ip地址（段）：216.244.66.203，216.244.66.235
MJ12bot/v1.4.8; http://mj12bot.com/
对应ip地址（段）：65.21.201.217，65.108.142.48，173.249.7.244，173.212.220.26
SEOkicks; +https://www.seokicks.de/robot.html
对应ip地址（段）：65.21.237.125
三、待观察各类对象
coccocbot-web/1.0; +http://help.coccoc.com/searchengine
对应ip地址（段）：103.131.71.188
special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot
对应ip地址（段）：207.241.231.143
paloaltonetworks.com（扫描类）
对应ip地址（段）：205.210.31.24
Daum/4.1; +http://cs.daum.net/faq/15/4118.html?faqId=28966
对应ip地址（段）：211.249.246.147
NetcraftSurveyAgent/1.0; +info@netcraft.com
对应ip地址（段）：167.71.87.123