robots.txt协议如何设置禁止搜索引擎抓取?

什么情况下要设置禁止搜索引擎抓取自己的网站呢? 公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的

什么情况下要设置禁止搜索引擎抓取自己的网站呢?

公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前,我们需要做大量的修改工作,如果还未修改完成又没有设置禁止抓取,那么网站就有可能会被收录了,后期我们对网站再进行修改操作,就会对网站造成影响。

搜索引擎第一个访问的文件就是robots.txt,禁止所有搜索引擎访问网站的所有部分 robots.txt写法如下:

User-agent: *

Disallow: /

网站有内容不想让搜索引擎收录,就可以在robots.txt里声明。

版权声明:(robots.txt协议如何设置禁止搜索引擎抓取?)由互联网用户自发贡献,该文观点仅代表作者本人,本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件标题或链接至 service#hao123w.com ,本站将立刻删除。
(0)
上一篇 2020年4月1日 下午12:01
下一篇 2020年4月1日 下午12:25
hao123w, hao123生活号 - 让生活更简单!,更多信息请访问 http://www.hao123w.com/