巧用robots.txt与搜索引擎机器人语言交流

发布:终极梦幻|2009年9月26日

我们都知道谷歌机器人是非常友好的。就像所有的友好的搜索引擎机器人一样，他耐心地听取我们的意见并且尊重我们的意愿不去爬行任何我们不希望它爬行的网站 部分。我们可以仅仅给他一个robots.txt文件说明什么是我们希望他做的，然后他就会愉快地遵从。但是如果我们迫不得已只能与谷歌机器人直接交流 呢？毕竟，不是所有的人都熟悉robots.txt文件的语言。这就是我们为什么如此高兴地向您介绍一款专属于您的搜索引擎机器人翻译工具：网站管理员工 具中的robots.txt生成器。它旨在为您提供一个既简单又互动的方式去建立一个robots.txt文件。它的操作非常简单，您只需输入您不希望搜索引擎机器人爬行的文件和目录即可。


或者，如果您需要的话，您可以为特定的搜索引擎机器人或您网站的特定区域建立更加细致的规则。
  

当您完成了对生成器的配置之后，您可以利用我们的robots.txt分析工具检测新生成的robots.txt文件的效果。如果测试无误，您只需将生成的文件保存在您网站的根目录下即可。除此之外，这里还有一些关于robots.txt文件的重要事实希望您能牢记：

不是所有的搜索引擎都支持robots.txt文件的所有扩展

Robots.txt生成器可以生成谷歌机器人能够理解和识别的文件，而且绝大多数搜索引擎机器人也都能够正确识别。但是，一些例外情况也是存在的，或许有一些搜索引擎机器人不能完全识别生成器生成的所有特性。

Robots.txt文件仅仅是一个请求

尽 管在主要搜索引擎优化上极为少见，搜索引擎中还是有一些肆无忌惮的搜索引擎机器人会无视robots.txt的内容，对禁止访问的网站区域也进行爬行。如果您 有一些需要进行彻底保护的敏感信息，您应该设置访问密码来对它们加以保护，而不是仅仅依赖于robots.txt文件。

我们希望这个新工具能够帮助您将自己的意愿与谷歌机器人和其他访问您网站的搜索引擎机器人进行更顺畅的沟通。如果您想了解更多关于robots.txt文件的情况，请访问 我们的帮助中心。如果您想就robots.txt和搜索引擎机器人的有关问题与其他网站管理员进行交流的话，请访问我们的谷歌网站管理员支持论坛。文章来源：http://www.fsseo.org.cn/lilunyanjiu/5.html
 

作者: 河北SEO终极梦幻
原载: 河北石家庄SEO网站优化技术服务
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。否则将追究法律责任。
巧用robots.txt与搜索引擎机器人语言交流 文章出处：
http://www.hebeiseo.cn/google-seo/robots-search-engine-talk/

我们为企业提供全套SEO服务，包括网站整站SEO网站优化，网站后期维护管理，搜索引擎关键词优化，符合SEO标准的网站建设，网络营销咨询，SEO培训服务、seo优化顾问等网站优化服务，如果您不想赚钱，那么请不要与终极梦幻联系：QQ：316492174