什么是"网址受到 robots.txt 的限制"错误?
日期:2011-10-24 阅读:17 分类:综合信息
Google 因受 robots.txt 限制而无法抓取此网址。这种情况可能是由多种原因造成的。例如,您的 robots.txt 文件可能完全禁止 Googlebot;可能禁止对此网址所在目录的访问,也可能特别禁止访问此网址。通常,这并不属于错误。您可能专门设置了一个 robots.txt 文件来阻止我们抓取此网址。如果是这种情况,则无需更正;我们将继续遵循此文件的 robots.txt。
如果一个网址重定向到一个被 robots.txt 文件拦截的网址,则第一个网址会报告为被 robots.txt 拦截(即使该网址在 robots.txt 分析工具中列为"允许")。
本页链接: http://www.scriptlover.com/static/1024-robots-google-网址
相关文章
- 修改谷歌浏览器Chrome的临时文件保存地址 2011-10-26
- google员工的幸福生活 2008-09-09
- 10多个用于操作Google Map的JavaScript资源 2011-08-24
- 最近在google和baidu关键字情况 2008-12-04
- google adsense 2008-12-09
- 动态网址与静态网址 2008-10-28
- 从输入网址到页面打开详解 2010-06-25
- Chrome启动后会访问三个不存在的网址做测试 2012-02-20