悟空蜘蛛池 :行业第一的高端蜘蛛池 
网页蜘蛛模拟抓取测试工具
从搜索引擎蜘蛛的视角查看抓取内容,快速诊断“蜘蛛看到的页面”是否与预期一致。
支持多蜘蛛UA 展示标题/描述/协议 查看HTML源代码 查看响应头
同一网址,不同UA可能返回不同内容或跳转策略
URL
蜘蛛模拟抓取使用说明
1)模拟搜索引擎蜘蛛访问你的页面,通过模拟器抓取网站内容信息
2)从蜘蛛视角查看抓取内容,诊断蜘蛛看到的内容和预期是否一致
3)抓取诊断可能受网络影响,失败可重试,并自查网站是否可正常访问
你会得到什么
- 标题 / 关键词 / 描述
- 协议 / 类型 / 服务器
- GZIP / 大小 / 响应时间
- 响应头 / HTML源代码