robotstxt什么意思，robotstxt文件是什么意思怎么用最好详细点谢谢

来源：整理时间：2023-04-03 01:19:35 编辑：建站知识手机版

本文目录一览

1，robotstxt文件是什么意思怎么用最好详细点谢谢
2，这个robotstxt 是什么意思
3，网站robotstxt有这句话什么意思
4，下面代码什么意思是关于robotstxt
5，robotstxt是什么意思

1，robotstxt文件是什么意思怎么用最好详细点谢谢

简单点说这个是告诉搜索引擎蜘蛛不要去抓去网站上的某个文件或是网页，这个就可以集中权重。比如你的网站首页的联系我们，关于我们，更多这样的连接不想被抓取就可以robots掉。格式的话你已经百科了，应该知道了哈

禁止蜘蛛来爬行。。。删掉里面的相关路径或者直接删除这个文件就行了求采纳

robotstxt文件是什么意思怎么用最好详细点谢谢

2，这个robotstxt 是什么意思

就是禁止抓取这些路径下的文档或文件。robots.txt为搜索引擎提供指引！Disallow为禁止，Allow为允许，User-agent为定义搜索引擎的类型。

就是这些目录不允许搜索引擎爬虫抓取。

Disallow:是禁止收录的意思，后面跟目录路径就是禁止收录某个目录里面的所有文件

这个robotstxt 是什么意思

3，网站robotstxt有这句话什么意思

这句话是robots的禁止抓取语句！Disallow 告诉搜索引擎蜘蛛一下内容禁止被抓取！例如：Disallow： /admin就是告诉蜘蛛禁止抓取admin这个文件夹里的东西！你这个语句：disallow：/search.html 是告诉搜索引擎蜘蛛，禁止抓取search.html这个搜索页面！这个对于网站的收录没有太大的影响的！如果，是一些不想让蜘蛛抓取都可以这样写！如果，需要蜘蛛抓取则可以取消这句语句！

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

网站robotstxt有这句话什么意思

4，下面代码什么意思是关于robotstxt

User-Agent: *Disallow: 这样写对的，是允许所有搜索引擎爬行你网站上的所有文件

User-agent:　　该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。Disallow:　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。简单的说，disallow:后面的目录，是不被搜索引擎访问到的目录

5，robotstxt是什么意思

第一行是格式第二行不允许搜索引擎抓取，要是allow就是允许抓取第三行就是sitemap地址了。sitemap就是网站地图的意思，里面说明网站都有哪些链接。

武汉seo发现很多企业网站没有robots.txt这个文件，也不知道robots.txt是什么，这个文件有什么作用。今天我就和大家详细说下这个文件吃及他的作用。1.什么是robots.txt baidu作出的回答，robots.txt是一个必须放在根目录底下的纯文本文件，文件名必须全部是小写的字母即“robots.txt”，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。2.robots.txt有什么作用 1.seo中引导搜索蜘蛛抓取网站地图，更好地收录网站页面。2.禁止所有搜索蜘蛛抓取你网站的所有内容或者是指定目录。3.robots.txt用法举例 1. 允许所有搜索引擎收录本站：robots.txt为空就可以，什么都不要写。2.禁止某个搜索引擎收录本站，例如禁止百度： user-agent: baiduspider disallow: / 3.禁止所有搜索引擎收录本站 user-agent: * disallow: / 4.禁止所有搜索引擎收录网站的某些目录： user-agent: * disallow: /目录名1/ disallow: /目录名2/ disallow: /目录名3/ 参考资料：常见搜索引擎机器人robots名字名称搜索引擎 baiduspider http://www.baidu.com googlebot http://www.google.com msnbot http://search.msn.com ia_archiver http://www.alexa.com 文章来源： http://www.seohb.com.cn/seo-jiaocheng/robots.txt.html

楼主是怕对搜索引擎有影响吧！这个的意思是不要抓住这个http://www.nianqing.info/sitemap.xml.gz！对网站是没有影响的！这个是一个压缩文件你怕写错的话，可以干脆删除吧！