与我们合作
我们专注:网站策划设计、网络舆论监控、网站优化及网站营销、品牌策略与设计
主营业务:网站建设、移动端微信小程序开发、APP开发、网络运营、云产品·运维解决方案
有一个品牌项目想和我们谈谈吗?
您可以填写右边的表格,让我们了解您的项目需求,这是一个良好的开始,我们将会尽快与您取得联系。当然也欢迎您给我们写信或是打电话,让我们听到您的声音
您也可通过下列途径与我们取得联系:
地 址: 上海市长宁区华宁国际7L
电 话: 400-825-2717(咨询专线)
电 话: 13054973230(售后客户服务)
网 址: http://www.56gw.net
传 真: 021-61488448
邮 箱: admin@wumujituan.com
快速提交您的需求 ↓
分享一些恶意爬虫的UA特征
发布日期:2023-12-01 浏览次数:18001
使用宝塔面板的可以添加在Nginx防火墙里面的UA黑名单(自己整理,仅供参考)
paloaltonetworks
Go-http-client
webprosbot
python
github
libcurl
fasthttp
ZoominfoBot
Knowledge AI
RepoLookoutBot
seokicks
serpstatbot
SurdotlyBot
DataForSeoBot
DigExt
HttpClient
MJ12bot
AhrefsBot
DotBot
SemrushBot
MegaIndex
BLEXBot
ExtLinksBot
DnyzBot
Web-Crawler
Ezooms
Linguee Bot
WellKnownBot
MauiBot
HubSpot
Criteo
Barkrowler
Grapeshot
Yellowbrandprotectionbot
FlightDeckReports
Heritrix
AwarioBot
CensysInspect
InternetMeasurement
axios
curl
再分享一些冒充手机设备拼命爬的恶意UA(都是非常老的手机)
SM-G900P
OPPO A33
FRD-AL00
ALE-CL00
这些机型非常老,2012-2014年的老手机,一般不会有人在用,不过我本人是没有屏蔽,因为最近发现,这些爬虫换了手机型号,现在还模拟了各种其他手机,比如小米,还有QQ浏览器等各种浏览器UA
还有一种方式直接在配置文件里做了跳转:
if ($http_user_agent ~ "^Mozilla\/5\.0.\(Linux\;.Android.5\.0\;.*Chrome.*Safari\/537\.36" )
{
return 404;
}
![](/template/default/index/images/leftPointer.png)
![](/template/default/index/images/weixin.jpg)