robots文档对SEO优化起到怎样的作用?（robots怎么写有助于seo）

一、屏蔽死链、空链。在robots中设置后搜索引擎蜘蛛就不会去爬行，不然搜索引擎蜘蛛爬行到网站死链、空链的话会认为你的网站设置有问题，会影响用户体验，从而导致搜索引擎给我们差评，留下不好的影响，而robots设置屏蔽就不会有这样的问题。

二、避免搜索引擎蜘蛛抓取毫无意义的内容，从而导致浪费时间，甚至是爬行到这个毫无意义的内容后就跑了，导致优质的文章内容没有爬行抓取。比如网站中的各种脚本、css样式文档等。

三、保护网站部分隐私。不同的网站功能不同，有些网站是以销售为主的，这类网站是有用户注册信息的，这些东西搜索引擎抓取了也没有意义，反而客户会觉得自己的信息没有受到保护，所以在robots中设置一下还是很有必要的。