网站的Robots协议该如何编写
Robots是各大搜索引擎公认的隐私网页保护权益,如果你的站点有某些页面不想让搜索引擎抓取到,可以选择屏蔽该类URL这也是最基本网站建设知识,搜索引擎就不会将屏蔽的页面进行开放。Robots协议写到禁止不要搜索引擎抓取但是搜索引擎的蜘蛛可能还会抓取,但是不一定会将内容放出来。对于站点内容页面较少其实可以选择不屏蔽抓取,屏蔽抓取的目的大致分为两个:1.该类数据不能对外公布2.节省网站自身抓取配额如果是出于隐私角度完全可以将内容设置加密,比如用户需要登录后才能看到完整的内容,像这些内容搜索引擎就无法