为什么要区分蜘蛛与爬虫

搜索引擎蜘蛛需要被欢迎，而恶意爬虫需要被拦截。两者 UA 高度相似，传统防火墙容易误伤。

RocketStack 的识别策略

  • UA 特征 + 反向 DNS + 行为模式三重校验
  • 内置主流搜索引擎蜘蛛库，持续更新
  • 支持自定义规则组：屏蔽、记录、跳转、放行
  • 蜘蛛日志留存可配置，方便分析抓取规律

与 SEO 的协同

可对已识别蜘蛛开启强引与专属内容策略，对未知爬虫限制访问频率，在安全与收录之间取得平衡。