长沙网站制作,专业的长沙网站设计、长沙网站建设公司-优觉长沙建站公司长沙网站建设|长沙网站制作|长沙网站设计|联系我们

长沙网站建设公司

网站建设之robots文件设置须知

来自:http://www.csjue.com   浏览量:97

众所周知SEO优化中robots文件是用来管理机器人抓取网站内容的,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这个目录你可以进,那个目录你不可以进;这个文件你可以访问,那个文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好。
 
事情还得从年初开始。年初优觉科技的网站维护员负责的一个网站因为网站刚建好,内容还没填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到一个月之后,填充得已经差不多了,我就开放蜘蛛抓取。我不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一个收录都没有。我就纳闷了,是不是我什么地方设置错误了呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽,百度长时间未反应过来导致的。
 
前两个月,我又有一个新站重新建好开始填充内容,也是把网站屏蔽着,结果到现在都两个月过去了,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了93条,搜狗收录了1条,360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。
 
 
前两天在群里与伙伴们讨论,一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
 
在此蜗牛SEO慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把长沙网站建设建立好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。因此建议大家多多注意robots的设置。
上一篇:长沙网站制作失败的因素
下一篇:服装网站建设如何定位
更多知识更多>>
  1. 新时代移动互联 网站建设须创新15-06-15

  2. 网站建设之友情链接交换注意事项15-06-12

  3. 网站友情链接的数量越多越好吗15-06-11

  4. 网站建设中企业网站如何定位15-06-10

  5. seo是什么 优觉科技浅谈seo见解15-06-09

  6. 搜索引擎原理 搜索引擎排名规则15-06-06

  7. 就百度“5.16大K站”事件解析15-06-05

  8. 网站在建设中友情链接的作用是什15-06-03

  9. 2015网站优化侧重整站优化15-06-01

  10. 互联网生意如何做好15-05-29


实力实力 案例案例 方案方案 业务业务 提交需求提交需求 客服客服 Top
  1. 关于优觉建站关于我们联系我们我们的优势
  2. 长沙建站须知建站流程网站建设技巧
  3. 长沙建站案例湖南民悦建站案例 太极康复中医馆 长沙航亿影视 长沙尚鼎装饰 壹美家(湖南)家居连锁管理机构
  4. 网站推广优化百度标准时间表 404 not found的原因及解决方法 高端品牌网站建设如何进行 如何提高百度指数 怎么提高百度 建站系统哪个好 建站系统大全
  5. 长沙建站报价商城网站建设报价门户网站建设报价品牌创意网站建设报价营销型网站建设报价活动策划网站建设报价
  6. 服务项目网站建设/网站策划域名/服务器网站营销/seo优化网站维护手机网站
  7. 长沙建站资讯
    1. 新时代移动互联 网站建设须创新
    2. 网站建设之友情链接交换注意事项
    3. 网站友情链接的数量越多越好吗
    4. 网站建设中企业网站如何定位
    5. seo是什么 优觉科技浅谈seo见解
    6. 搜索引擎原理 搜索引擎排名规则
    7. 就百度“5.16大K站”事件解析
    8. 网站在建设中友情链接的作用是什
    9. 2015网站优化侧重整站优化
    10. 互联网生意如何做好
    11. 一个优秀的网站建设的四大原则
    12. 网站如何进行站外推广引流
    13. 服装网站建设如何定位
    14. 网站建设之robots文件设置须知
    15. 长沙网站制作失败的因素
Copyright © 2013 - 2015 优觉长沙网站建设公司 版权所有 备案号(备案号:湘ICP备15004994号)
专业的长沙网站制作公司,拥有专业的网站建设技术设计团队,十年建站经验,搜索优化、长沙建站首选优觉长沙网络公司
立于长沙 服务长沙-优觉长沙网站建设公司邮箱:2390372979@qq.com