robots.txt的浸染是什么？
robots.txt文件只有一个浸染：用于屏蔽一个或多个搜索引擎禁止收录你网站上的内容。默认情形下网站都是许可任何搜索引擎抓取和收录页面的，但出于某种目的，你可以屏蔽某个或多个搜索引擎收录你网站上的页面，为了达成这一共识，于是robots协议就顺利出身了，所有的搜索引擎都遵照robots协议。
每个搜索引擎都一个被称为蜘蛛（spider）或机器人（bot）的程序，我们习气上称之为“蜘蛛”，在决定是否抓取你的网站页面时，蜘蛛会首先检讨你网站的根目录里面是否存在robots.txt文件，如果没有robots.txt则解释是许可全部抓取的；如果存在robots.txt文件，蜘蛛会识别里面有没有自己的名称在被谢绝之列，然后再判断你设置的那些内容是不许可抓取的，再进行网页的抓取和收录。
robots.txt文件的写法
默认情形下是全体网站全部许可被任何搜索引擎抓取收录的，robots.txt只用于禁止搜索引擎收录，以是只须要添加搜索引擎蜘蛛的名称（User-agent）和disallow（禁止收录的内容）即可，分外情形下也可以利用allow语法。
User-agent: Disallow: /Allow: .html$#seo须要把稳首字母大写，冒号后面是英文状态下的一个空格，用“井号”来表示注释解释，支持 "" 匹配0或多个任意字符，"$" 匹配行结束符，对大小写敏感，以是要把稳文件或文件夹的名称精确匹配，为了搜索引擎能更好地识别robots.txt文件，建议保存编码设置为ANSI编码，下面举例解释各种用法及设置。
robots.txt各种写作方法
1、屏蔽所有的搜索引擎收录任何页面屏蔽搜索引擎的搜索引擎只须要把user-agent设置为即可，如下所示，而disallow后面的斜杠则表示根目录，自根目录以下的任何内容均不许可收录，两行代码即可。
User-agent: Disallow: /2、许可所有的搜索引擎收录所有页面所有的搜索引擎均许可，可以把robots.txt文件里面的内容全部删除，即保留一个空文件就行，还可以利用下面的代码来解释。
User-agent: Allow: /3、仅许可指定的搜索引擎收录须要把搜索引擎蜘蛛的名称写在前面，末了利用来匹配全部，代码如下。仅许可百度和谷歌收录，其他搜索引擎全部禁止。
User-agent: baiduspiderAllow: /User-agent: googelebotAllow: /User-agent: Disallow: /第5、6两句是禁止所有的，前面许可了指定的蜘蛛名称，以是除了被许可的百度和谷歌蜘蛛，其他的搜索引擎都不能收录的网站页面了。
4、禁止指定的搜索引擎收录如果只是想有针对性的屏蔽某个或多个搜索引擎，比如禁止百度和谷歌蜘蛛，写法如下。
User-agent: baiduspiderDisallow: /User-agent: googelebotDisallow: /User-agent: Allow: /由于默认是allow状态的，以是第5句、6句一样平常不写。只写disallow的部分。你可能已经创造了，user-agent后面只能是详细的蜘蛛名称或星号，而disallow和allow后面的内容是全站时均利用斜杠而不是其他符合，由于他们后面的是指网站的目录，以是在指向目录时就不能利用别的符合，比如“disallow：”这个写法就错了。
禁止抓取和收录目录及文件的写作语法，下面分别举例解释。
1、禁止搜索引擎收录指定的目录User-agent: Disallow: /asf/Disallow: /2020/上的意思是对付所有的搜索引擎，均禁止收录asf和2020文件夹里面的任何内容。在屏蔽文件夹时末了要加斜杠结束，如果这样写“Disallow: /2020”，结尾没有加斜杠，则表示根目录下以2020开头的网址均被禁止，如/2020.html、/2020abc.html、/2020/df.html均被禁止收录，以是在写作disallow屏蔽目录时千万不要弄错了。
2、许可搜索引擎收录禁止目录中的特定URL
如果屏蔽了某个目录“df”，但是又希望df这个目录中指定的网页被收录怎么办，利用下面的语法即可。
User-agent: Allow: /df/111.htmlAllow: /df/22c.phpDisallow: /df/allow要写在前面，后面再紧随着写屏蔽的目录名称。这种写法比较少用，一样平常都是直接屏蔽目录就没有必要再许可个中的某几个或某一类url还要被收录了，上面代码第2句指许可收录根目录df文件夹里面的111.html这个页面，第3句指许可收录根目录df目录下包含“22c.php”的所有url均许可收录，第4句是禁止收录df目录下的全部url，许可收录的写在前面。
3、利用星号来匹配某一类网址星号可以匹配一种类型的网址，极大地提高了设置的方便性，在利用过程中要闇练节制，SEO优化的设置中如果常常会碰着屏蔽某一类型的网址，利用就非常常见。
User-agent: Disallow: /abc/Disallow: /?Disallow: /rt/jcDisallow: /.phpDisallow: /ps
第3句禁止收录动态网址，第4句禁止收录rt目录下以jc开头的url，第5句禁止收录包含“.php”的url（包含以.php结尾的url在内，如h.php、as.php?id=2、dd.php23.html均被禁止），第6句禁止收录网址中含有“ps”的url。
4、利用$来匹配URL结束如果须要屏蔽某类型结尾的url或文件，此时就须要用到结束匹配符号“$”。
User-agent: Disallow: /abc/ty.php$Disallow: /.php$Disallow: /.jpg$
上面第2句禁止收录abc目录下以ty.php结尾的url，第3句禁止收录全站以.php结尾的url，第4句禁止收录全站jpg格式的图片。可以看到如果是屏蔽详细的某一类后缀名url则须要以$作为结束。
5、禁止搜索引擎收录图片语法禁止收录网站图片紧张用到$和匹配符，写法也是很大略的。
User-agent: Disallow: /.jpg$Disallow: /.jpeg$Disallow: /.png$Disallow: /.gif$
以上分别是禁止收录全站jpg/jpeg/png/gif格式的图片。
6、只许可搜索引擎收录静态页面User-agent: Allow: /.html$Disallow: /合营allow来利用，禁止收录全站任何url，然后利用allow来许可收录以“.html”结尾的url即可。
以上便是全部robots文件的写法，个中难点是通配符星号的是用和结束符$的利用，要学会灵巧的举一反三，在每写完一条记录时都要确保没有屏蔽错url，每行一条记录。对付robots.txt文件，每一次在写完之后都负责检讨一遍，写错了丢失就大了。
