网页爬虫 / v1.0
CrawlSetBot
CrawlSetBot 沿公开网页上的链接发现网站，记录网址、HTTP 状态码和页面标题。访问前会读取对应站点的 robots.txt。
- 每主机每分钟
- ≤ 3 次
- 请求结束后等待
- ≥ 20.1 秒
- 规则缓存
- 最多 24 小时
在访问日志中识别
Mozilla/5.0 (compatible; CrawlSetBot/1.0; +https://crawlset.com/bot)通过 robots.txt 管理访问
将下面的规则加入站点根目录的 robots.txt，即可禁止 CrawlSetBot 抓取整个站点。
User-agent: CrawlSetBot
Disallow: /也可将 / 换成指定路径。规则支持 * 后备组、路径通配符和最长匹配优先。
访问频率与重定向
- 每次运行按主机名限速。同一主机名的 HTTP、HTTPS 和各端口共用额度，子域名独立计数。
robots.txt、失败请求及重定向各跳均计入额度。每个网址最多跟随 5 跳，正文和每一跳均检查目标站点的规则。- 匹配组的
Crawl-delay或Request-rate要求更慢时，采用更长的间隔。
网址发现与规则读取
爬虫可从指定网址开始，或默认从 W3C 会员目录和 IETF 联络关系列表开始，也可从证书透明度日志发现域名。
robots.txt 返回 404 或 410 时视为缺失。其他读取失败时暂停抓取该站点，同一次运行中 5 分钟后再次遇到该站点时可重试。多个爬虫进程各自维护访问额度。