在我看来robots协议是站长行使网站控制权的执行文件，这是我们作为站长最基本的权利。这是搜索引擎蜘蛛爬网站之前要面对的第一个关口，所以robots协议的重要性也可想而知。据说细节决定成败，所以细节越重要[…]

在我看来robots协议是站长行使网站控制权的执行文件，这是我们作为站长最基本的权利。这是搜索引擎蜘蛛爬网站之前要面对的第一个关口，所以robots协议的重要性也可想而知。据说细节决定成败，所以细节越重要，细节就越重要的细节最终可能会成为你的致命打击。我之所以这么说，是因为我几乎成了这个问题的负面教材。幸运的是，及时发现可以算是死羊补牢！之所以想马上和大家分享，是希望大家以后自己站的时候避免犯类似的错误。

事实上，事情发生在今天，发生在这样：因为重庆黑帽SEO博客也刚做好不久，前几天网站上线之后发现还有很多小问题需要处理，为了避免网站还在调整的过程中就被搜索引擎抓取到，所以我在robots该协议规定了禁止所有搜索引擎爬上网站任何部分的指令，网站的调整持续了续了好几天（因为我是一个不能容忍缺陷的人，我不知道这是否是一种强迫症），直到昨天，2月3日，但在此期间，我坚持每天添加原创文章。昨天网站检查完了，所有的问题都解决了，我就把robots该协议被重新更改，并发布了一篇帖子，引导蜘蛛希望爬虫能快速爬上我的网站。就这样，今天早上，我发现这个网站还没有被包括在内，所以我去百度网站管理员工具平台看看我的网站是什么，进去看吓了我一跳，因为我看到了以下信息（如图所示）：

我的网站实际上完全禁止百度，测试时间是在今天早上5点（2月4日），这让我像丈夫的和尚感到困惑，太不科学了，因为昨天2月3日上午我已经把网站放了robots协议变了，真的很奇怪。就在我百思不得其解的时候，终于通过站长平台工具了。“robots检测”找到了答

原来百度蜘蛛在我的网站蜘蛛上线后的第三天就抓住了我的网站robots协议，所以当前生效的协议是当它抓住我屏蔽所有蜘蛛时的最新协议robot协议尚未生效。现在我终于明白了，既然找出了原因，那就好办了。现在我终于明白了。既然我找到了原因，那就很容易了。所以我立即提交并更新了协议