爬虫验证

识别自动化/爬虫环境：验证指定 IP 是否属于搜索引擎爬虫。当前接入 4759 验证线路。

/api/spider_verification/

服务说明

爬虫验证服务用于判断一个 IP 是否来自搜索引擎爬虫：提交 IP，服务端查询蜘蛛 IP 库并返回识别结论与来源类型，可用于访问日志分析、来源统计，或做「真爬虫才给收录内容」这类判断的辅助依据。

只读查询接口，支持 IPv4 与 IPv6。查询需访问外部 IP 库，单次耗时可能偏长，属正常现象。

本服务需项目签名。识别结果依赖第三方 IP 库的覆盖范围，建议作为参考而非唯一判定条件。

响应格式

所有接口返回同一个 JSON 信封，业务数据都在 data 里：

{
  "code": 10000,
  "msg": "成功",
  "data": { ... }
}

code：业务状态码，10000 表示成功；其余为各类错误，完整清单见「错误码」页。
msg：给人看的提示文案，可直接展示给终端用户，但不要用它做逻辑判断。
data：业务数据；出错时通常为 null。各接口 data 的具体字段见该接口的「响应说明」。

判断成功与否请看 code，不要依赖 HTTP 状态码。查看完整错误码

4759 蜘蛛 IP 验证

4759 蜘蛛/爬虫 IP 库需签名

只读查询接口：提交一个 IP，服务端查证其是否为搜索引擎（如百度/谷歌等）爬虫来源。

GET /api/spider_verification/sv4759/verify 累计调用 8 次

验证 IP 是否爬虫

验证给定 IP 是否为搜索引擎爬虫，返回识别结论与类型信息。

待验证 IP ip *

必填：合法的 IPv4 或 IPv6 地址

GET 查询接口；本服务需项目签名。
对外部服务查询耗时可能较长，属正常。

响应说明外层统一格式

字段	类型	说明
ip	string	被验证的 IP
is_spider	bool	是否为搜索引擎爬虫
spider_type	string	蜘蛛类型；非蜘蛛为「非蜘蛛」
ptr_domain	string	反向解析域名（PTR）
matched_domain	string	匹配的官方域名后缀；未匹配为「未匹配」
verify_method	string	验证方式
result	string	结果描述（如「查询成功」）

返回示例

{
  "ip": "66.249.65.205",
  "is_spider": true,
  "spider_type": "谷歌蜘蛛",
  "ptr_domain": "crawl-66-249-65-205.googlebot.com",
  "matched_domain": "googlebot.com",
  "verify_method": "反向DNS验证",
  "result": "查询成功"
}

爬虫验证 API 常见问题

怎么判断一个 IP 是不是搜索引擎爬虫？

调验证端点传 IP，返回是否属于已登记的搜索引擎蜘蛛。UA 可以伪造，IP 归属更难伪造，两者结合判断最稳。

一般用在什么场景？

做「给蜘蛛与给人看不同内容」的站点时先验证来源；也可用于统计真实抓取量、排查假蜘蛛。

返回只有是 / 否吗？

返回是否爬虫以及识别到的蜘蛛信息，具体字段见文档页的响应说明。

爬虫验证接口怎么接入？需要签名吗？

爬虫验证挂在 /api/spider_verification/ 前缀下：需签名的端点按 app_id + timestamp + nonce + sign（HMAC-SHA256，密钥为 APPSECRET）调用，开放端点直接请求即可。拿不准时用本页右侧的「在线调试」—— 它会代签并把你实际发出的请求与真实响应都回显出来。

爬虫验证的返回结构和错误码怎么看？

全部接口统一返回 {code, msg, data}：code=10000 表示成功，2xxxx 为业务错误，3xxxx / 4xxxx / 5xxxx 分别为外部依赖、客户端与系统错误。完整含义与处理建议见「错误码总表」（/docs/errors/）。