menu 林木云-分享最优质的技术与经验
讲解网站中robots.txt文件到底是干什么的?
2191 浏览 | 2021-01-30 | 阅读时间: 约 1 分钟 | 分类: | 标签:
请注意,本文编写于 75 天前,最后修改于 75 天前,其中某些信息可能已经过时。

1、引导搜索引擎蜘蛛抓取指定栏目或内容;

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

3、屏蔽死链接、404错误页面;

4、屏蔽无内容、无价值页面;

5、屏蔽重复页面,如评论页、搜索结果页;

6、屏蔽任何不想被收录的页面;

7、引导蜘蛛抓取网站地图;

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议