少年老成的云晨守望同学(题外话:少年老成是好事哈。我20多岁时人家说我像40岁,我40多岁时好多人说我像30多,男人20到50岁可以做到基本一个样子)在网络营销实战密码网站贴了个帖子:《透过京东商城看海内一线B2C网站SEO通病》。建议先看那个帖子再回来看本帖,不然不随意马虎明白下面在说什么。
大略说,帖子指出一个严重而且现实的SEO问题:很多网站,尤其是B2C,产品条件过滤系统(如选择产品的品牌、价格、尺寸、性能、参数等)会产生大量无效URL,之以是称为无效只是从SEO角度看的,这些URL并不能产生SEO浸染,反倒有负面浸染,以是这些URL不收录为好,缘故原由包括:
那么若何只管即便使这些URL不被爬行和索引、收录呢?前几天的一篇帖子如何隐蔽内容也可能成为SEO问题谈论的是类似问题,这种过滤页面便是想隐蔽的内容种类之一。不过可惜,我目前想不出完美的办理方法。云晨守望提出两个方法,我以为都无法完美办理。

一是将不想收录的URL保持为动态URL,乃至故意越动态越好,以阻挡被爬行和收录。但是,搜索引擎现在都能爬行、收录动态URL,而且技能上越来越不是问题。虽然参数多到一定程度确实不利于收录,但4、5个参数常日还可以收录。我们无法确认须要多少参数才能阻挡收录,以是不能当作一个可靠的方法。而且这些URL吸收内链,又没有什么排名能力,还是会摧残浪费蹂躏一定权重。
第二个方法,robots禁止收录。同样,URL吸收了内链也就吸收了权重,robots文件禁止爬行这些URL,以是吸收的权重不能通报出去(搜索引擎不爬行就不知道有什么导出链接),页面成为权重只进不出的黑洞。
连向这些URL的链接合营nofollow也不完美,和robots禁止类似,nofollow在Google的效果是这些URL没有吸收权重,权重却也没有被分配到其它链接上,以是权重同样摧残浪费蹂躏了。百度据称支持nofollow,但权重怎么处理未知。
将这些URL链接放在Flash、JS里也没有用,搜索引擎已经可以爬行Flash、JS里的链接,而且估计往后越来越善于爬。很多SEO忽略了的一点是,JS中的链接不仅能被爬,也能通报权重,和正常连接一样。
也可以将过滤条件链接做成AJAX形式,用户点击后不会访问一个新的URL,还是在原来URL上,URL后面加了#,不会被当身分歧URL。和JS问题一样,搜索引擎正在积极考试测验爬行、抓取AJAX里的内容,这个方法也不保险。
还一个方法是在页面head部分加noindex+follow标签,意即本页面不要索引,但跟踪页面上的链接。这样可以办理复制内容问题,也办理了权重黑洞问题(权重是可以随着导出链接传到其它页面的),不能办理的是摧残浪费蹂躏蜘蛛爬行韶光问题,这些页面还是要被蜘蛛爬行抓取的(然后才能看到页面html里的noindex+follow标签),对某些网站来说,过滤页面数量巨大,爬行了这些页面,蜘蛛就没足够韶光爬有用页面了。
再一个可以考虑的方法是隐蔽页面(cloaking),也便是用程序检测访问者,是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接,是用户的话才返回正常的有过滤条件的页面。这是一个比较空想的办理方法,唯一的问题是,可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是:如果没有搜索引擎,你会不会这么做?或者说,某种方法是否只是为了搜索引擎而采取?显然,用cloaking隐蔽不想被爬行的URL是为搜索引擎做的,不是为用户做的。虽然这种情形下的cloaking目的是美好的,没有恶意的,但风险是存在的,胆大的可试用。
还一个方法是利用canonical标签,最大问题是百度是否支持未知,而且canonical标签是对搜索引擎的建议,不是指令,也便是说这个标签搜索引擎可能不遵守,即是没用。其余,canonical标签的本意是指定规范化网址,过滤条件页面是否适用有些存疑,毕竟,这些页面上的内容常常是不同的。
目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe,即是调用其它文件内容,对搜索引擎来说,这部分内容不属于当前页面,也即隐蔽了内容。但不属于当前页面不即是不存在,搜索引擎是可以创造iframe中的内容和链接的,还是可能爬行这些URL,以是加robots禁止爬行。iframe中的内容还是会有一些权重流失落,但由于iframe里的链接不是从当前页面分流权重,而只是从调用的那个文件分流,以是权重流失落是比较少的。除了排版、浏览器兼容性之类的头疼问题,iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一样平常不认为iframe是作弊,很多广告便是放在iframe中,但隐蔽一堆链接和隐蔽广告有些奇妙的差异。回到搜索引擎判断作弊的总原则上,很难说这不是专门为搜索引擎做的。记得Matt Cutts说过,Google往后可能改变处理iframe的办法,他们还是希望在同一个页面上看到普通用户能看到的所有内容。
总之,对这个现实、严重的问题,我目前没有自己以为完美的答案。当然,不能完美办理不是就不能活了,不同网站SEO重点不同,详细问题详细剖析,采取上述方法中的一种或几种该当可以办理紧张问题。
而最最最大的问题还不是上述这些,而是有时候你想让这些过滤页面被爬行和收录,这才是杯具的开始。往后再谈论。