STAKE中国官方网站

STAKE中国官方网站看法

Robots.txt文件的作用及写法

宣布时间:2008-11-16

搜索引擎优化的事情者关于Robots.txt文件 , ,,,,,,,应该说并不生疏。 。。。。。。由于在有些情形下 , ,,,,,,,我们并不想让网站的所有文件都让搜索引擎收录。 。。。。。。

搜索引擎优化的事情者关于Robots.txt文件 , ,,,,,,,应该说并不生疏。 。。。。。。由于在有些情形下 , ,,,,,,,我们并不想让网站的所有文件都让搜索引擎收录。 。。。。。。好比说一些网站后台治理目录、会员隐私信息、没有价值的网页等 , ,,,,,,,我们都不妄想让搜索引擎的蜘蛛爬取。 。。。。。。在这种情形下 , ,,,,,,,我们就有须要会用到Robots.txt文件 , ,,,,,,,来与搜索引擎相同。 。。。。。。

详细的方法是通过在网站根目录建设名为:Robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容 , ,,,,,,,如动态的搜索结构页面(好比说,STAKE中国官方网站榨取搜索引擎收录STAKE中国官方网站搜索结构页面。 。。。。。。http://www.seo.com.cn/robots.txt)、404页面、图片目录、上岸页面等。 。。。。。。

所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件 , ,,,,,,,因此 , ,,,,,,,你需要做的只是建设它并上传 , ,,,,,,,然后期待蜘蛛来阅读。 。。。。。。Robots.txt文件没有以任何方法来 ;;;;;;;つ愕哪谌 , ,,,,,,,只是阻止搜索引擎索引。 。。。。。。

下面 , ,,,,,,,STAKE中国官方网站主要说明下Robots.txt文件的写法。 。。。。。。

1.若是你站点中的所有文件 , ,,,,,,,都可以让蜘蛛爬取、收录的话 , ,,,,,,,那么语法这样写:

User-agent: *
Disallow:

其时 , ,,,,,,,若是你网站中所有的文件都可以让搜索引擎索引的话 , ,,,,,,,你也可以不管这个文件。 。。。。。。

2.完全榨取搜索引擎来访的Robots.txt文件写法:

User-agent: *
Disallow: /

2.1.要榨取掉某个搜索引擎来访的Robots.txt文件写法:

User-agent: Googlebot
Disallow: /

3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.榨取Google抓取网站中的图片文件:

User-agent: Googlebot
Disallow: /*.gif$

Robots.txt文件 , ,,,,,,,是网站与搜索引擎相同的较量主要的一个方法。 。。。。。。若是你对此尚有疑问的话 , ,,,,,,,欢迎通过邮件的方法 , ,,,,,,,与我们相同交流。 。。。。。。cyz(#)seo.com.cn

tel 24小时免费服务咨询热线:400-080-3010

连忙咨询连忙咨询 联系STAKE中国官方网站联系STAKE中国官方网站
【网站地图】【sitemap】