做网站seo优化为什么一定要设置robots文件

做网站优化运营都里哦啊接搜索引擎蜘蛛在爬取或者访问一个网站的时候，会首先检查改网站的根目录下是否存在一个robots.txt的文件，然后根据robots文件的设置规则来对网站进行爬取和收录。那么，陵小宇就说一说为什么做网站优化一定要设置robots文件。

1. robots的作用就是为了引导蜘蛛更好的爬取网站，设置好robots文件可以把一些不想被爬取或者是没有必要的爬取的路径进行屏蔽。比如，网站改版后出现的死链。

2. 还会存在这样一种情况，不同的链接指向同一个网站的页面和内容，这样就不符合“网站内容互异性”的原则。可以采用robots规则进行屏蔽掉次要的链接。

3. 网站改版或者重写网站url地址后，出现的死链和对搜索引擎不友好的链接，可以使用robots文件规则进行屏蔽处理。

4. 一些不重要的页面和没有设置关键词优化的页面也可以使用robots文件进行处理。如：关于我们、联系我们的页面。

5. 在一般情况下，站内的搜索结果也可以屏蔽掉。

设置好robots文件后，可以把不想被爬取或者是对搜索引擎不友好的链接，进行屏蔽，不然搜索引擎爬取，让我们的网站更加符合搜索引擎爬取规则，更容易收录和提升排名。

友好的设置robots.txt文件能更好引导搜索引擎蜘蛛爬取网站，提升蜘蛛的爬取效率，提高搜索引擎蜘蛛对网站的友好程度。

Ps：robots文件的使用和设置技巧