相信很多做企业网站优化的朋友都有听说过robots文件，合理正确地使用robots文件可以给网站带来一定的正面积极影响。那么在企业网站优化中robots文件有什么用呢？

　　一、屏蔽死链接。

　　如果网站有改版或者删除文章的时候就会产生死链接，这些情况可能会导致网站出现404页面，这个时候我们就就可以通过设置robots来屏蔽死链。一般情况查看死链的方法有以下两种。

　　1、通过网站日志查询。

　　下载网站日志可以查看网站的404页面，我们用txt打开网站日志，通过搜索“404”，如果你网站有404页面，并且被访问到了，那么这个时候就会被网站日志给记录。

　　2、百度站长平台查询。

　　网站验证了百度站长平台之后，我们通过百度站长工具的死链工具，在这里可以清楚的看到网站有哪些死链接。

　　二、屏蔽无价值的页面。

　　许多网站都有一些没有价值的页面，比如很多网站都会有的个人中心页面，这个页面不会对网站产生价值在百度上面的展现也不会给网站带来权重。这个时候就需要利用robots来屏蔽这样的页面。又比如说：一个企业网站的联系我们页面，这个页面不会给网站带来权重用户也不会去搜索“联系我们”来找他想要的产品。

　　三、屏蔽重复路径。

　　当网站出现重复路径时百度将会对网站进行直接降分处理，比如说：一个网站做了伪静态，同时他的动态页面也可以访问，这种情况下就会出现重复路径。对于这种重复的路径我们需要通过robots去把它屏蔽掉。