一个刚刚在网站建设公司制作出来的网站要想提高权重和关键词排名，让自己的网站在搜索引擎上面有一个好的展现位置，那么就必须要做优化，做优化除了网站架构和外链之外，更重要的就是网站本身的内容优化了，可是有的时候会发现问题，那就是写了好几天的文章，百度却不收录，百度spider爬行网站抓取失败？小编今天来扒一扒这其中不为人知的故事。

原创先锋

首先，最重要的一点，你要看你的网站的robots.txt文件，是否允许了百度spider和其他搜索引擎的爬虫前来索引了。如果没有，那么你一定要打开，允许所有爬虫过来爬行索引，如果您的网站还没有robots.txt文件，建议您马上让技术将他添置上，这样会对你的网站的权重和关键词排名有很大的提高。

网站建设

还有就是你的URL长度不要超过1024，如果您的网站链接过长或者超过1024，百度spider是不支持抓取的，这也是为什么，我们网站开发公司在给客户开发网站的时候，都是将URL做的简洁，三层的架构让百度蜘蛛更容易爬行你的网站。并且抓取收录页面内容。

还可能是网站的重定向出现了错误，当蜘蛛访问你的链接时发生了跳转，跳转后的链接超长或者连续跳转超过5次，就会发生重定向错误导致抓取失败。

网站开发

或者，在百度蜘蛛爬行你网站的时候，正好网站服务器或者DNS发生了错误，导致网站不能正常打开，所以蜘蛛没进来就走了，所以，无论在任何时候一定要保证你的网站能够正常的打开，在这里温馨提示我们原创先锋的新老客户，当您的网站发生打不开或者是其他错误的时候，请一定要及时联系我们，我们作为北京网站建设公司，秉承着完全免费的售后服务，24小时为您解决问题。