【robots.txt文件编写规则】
不论我们SEO站长用什么建站程序，都该当理解节制robots文件的编写规则和格式，那么robots文件的格式规则是若何的呢？
1、User-agent:该项的值用于描述搜索引擎robot的名字。
例子：User-agent:Baiduspider ，指的便是百度搜索引擎蜘蛛。
2、Disallow:该项的值用于描述不肯望被访问的一组URL，这个值可以是一条完全的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。
例子1：Disallow: /wp-admin/，指的是不许可访问wp-admin文件夹下面的内容，但是不限定访问wp-admin.php、wp-admin.html文件。例子2：Disallow: /wp-admin，指的是不许可访问wp-admin文件夹下面的内容以及wp-admin.php、wp-admin.html文件。
3、Allow:该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完全的路径，也可以是路径的前缀，以Allow项的值开头的URL 是许可robot访问的。
例子：Allow: /wp-content/uploads/，指的是许可访问wp-content文件夹下面的uploads文件夹的内容。
4、利用\"大众\公众和\"大众$\公众：Baiduspider支持利用通配符\公众\公众和\公众$\"大众来模糊匹配url。 \公众\公众 匹配0或多个任意字符 \"大众$\"大众 匹配行结束符。
例子1：User-agent:，指的是所有搜索引擎蜘蛛（或机器人）。例子2：Disallow: /.css$，指的是不许可访问任何后缀为.css文件。
5、Sitemap：用来见告搜索引擎网站舆图的位置。
例子：Sitemap: https://你的域名/sitemap.xml，个中sitemap.xml是你的网站的网站舆图文件
编写把稳事变：
①百度会严格遵守robots的干系协议，请把稳区分您不想被抓取或收录的目录的大小写；
②百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。
③一定是英文输入法格式下的“空格”和符号，由于代码是英文格式的
【wordpress的robots怎么写最佳】
1、我们当然希望所有的搜索引擎都来抓取网站。因此，我们可以写
User-agent:
2、为了避免收录WordPress系统文件，由于系统文件对付用户来说没用途，收录了反而随意马虎被人黑站，因此该当屏蔽了WordPress的后台文件。
Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/
3、每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会涌现重复页面内容问题。
Disallow: //trackback
4、头部代码里的feed链接紧张是提示浏览器用户可以订阅本站，而一样平常的站点都有RSS输出和网站舆图，故屏蔽搜索引擎捉取这些链接，提高蜘蛛的抓取效率。
Disallow: /feedDisallow: //feedDisallow: /comments/feed
5、这个是屏蔽捉取站内搜索结果。站内没涌现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容附近。
Disallow: /?Disallow: /?s=Disallow: //?s=\
6、屏蔽留言链接插件留下的变形留言链接。
Disallow： /?r=
7、屏蔽捉取留言信息链接。一样平常不会收录到这样的链接，但为了更好地让蜘蛛高效抓取和事情，也该屏蔽。
Disallow： //comment-page-Disallow： /?replytocom
8、网站舆图地址指令，主流是txt和xml格式。见告搜索引擎网站舆图地址，方便搜索引擎捉取全站内容。其余要把稳Sitemap的S要用大写，舆图地址也要用绝对地址。
Sitemap: https://你的域名/sitemap.xml
综上所述，全体robots文件便是：
User-agent:
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: //trackback
Disallow: /feed
Disallow: //feed
Disallow: /comments/feed
Disallow: /?
Disallow: /?s=
Disallow: //?s=\
Disallow： /?r=
Disallow： //comment-page-
Disallow： /?replytocom
Sitemap: https://你的域名/sitemap.xml
我们就可以利用robtos协议优化wordpress网站的被抓取和收录的速率，根据上面的robots文件内容，按照实际情形增加自己所须要的，希望能够帮助刚打仗wordpress建站的站长更快上手。
品牌简介：L氪迹免费SEO教程学习|佛山SEO技能分享本站文章由佛山SEO技能教程学习网发布，作者:L氪迹，如若转载请注明原文及出处
