网站SEO诊断之URL规范化设置及常见问题

张子凡 网站SEO诊断 2016-04-16 08:20:17 阅读(1805) 评论(1)

URL规范化(url normalization)其实就是一个标准化URL的过程,URL规范化用于搜索引擎可以减少对页面的重复索引,同时也可以减少爬虫的重复抓取。浏览器端识别用户是否访问过一个URL也需要使用URL规范化。

URL规范化设置

一个网站的URL在搜索引擎的搜索结果中,是能够展示出来的,我们在做网站之前,最好要提前将目录的文件名做好规划。以便我们在做SEO的同时做好用户体验。所选择的URL最好能做到清晰、方便记忆的的效果,然后可以考虑其中的排名。下面子凡就从三个大方面开始探讨咯!

一、URL规范化注意事项

1.网站的URL越短越好,URL的长度不超过1000个字节就可以被搜索引擎收录,但是这几百个字母需要用户记住的话也是很难的,因此我们选择的URL越短越好,最好方便用户去记住这个URL。

2.URL中避免出现太多参数,在一些开源的程序中,会出现很多种参数,一旦参数越多,会影响引擎蜘蛛的识别,很容易使网站进入蜘蛛陷阱。为了避免这种情况,建议大家尽量使用静态的URL或者伪静态的URL。

3.目录层级越少越好,减少网站的深层次目录,有助于网页的收录。如果是门户网站或者大型的网站,如果目录太深的话,可以选择使用2级域名来代替很深层级的目录。

4.具有很强的描述性,每一文件和目录具有描述性。

5.URL中包含关键词,在一个URL中包含关键词可以提高页面相关性,比如目录可以用拼音或者英文来命名,搜索引擎会识别目录的英文含义。

6.字母全部小写,网站里面的字母尽量要使用小写字母。

7.连接符的使用,文字、链接符之间的链接一般要使用连接符或者横线。

二、不规范的URL(示例)

1 URL中多余的字符

1.1 子域名的URL中包含”www”: “http://www.blog.leiue.com/”

1.2 含有默认端口: “http://www.leiue.com:80/tech/”

1.3 松散的URL: “http://www.leiue.com/tech/amazon-sucks-donkey-balls/9780470170779-item.html”

1.4 多余默认文件名index.html,default.php等:”http://www.leiue.com/tech/index.html

1.5 文件路径中

(1) 多余的”/”:”http://www.leiue.com/tech//

(2) 多余的点修饰串:”http://www.leiue.com/a/b/../page.html”

1.6 查询串中多余的

(1) ? (空查询串):http://www.leiue.com/tech?

(2) &

(3) 无用的查询变量:http://www.leiue.com/display?id=123&fake=fake

2 URL缺少字符串

2.1 缺少”/”:”http://www.leiue.com/tech”

2.2 查询串缺少名称或者值:”http://www.leiue.com/display?id=” 或者 “http://www.leiue.com/display?=123”

3 其他不规范的URL

3.1 “http://tech.leiue.com/” 与 “http://www.leiue.com/tech/”其实是相同的内容

3.2 使用IP代替域名

3.3 含有扩充字符(extended characters),大小写敏感(“http://www.google.cn/Intl/zh-CN/about.html” 和”http://www.google.cn/intl/zh-CN/about.html”)

3.4 “+”和”%20″混用

3.5 查询变量顺序混乱:”http://www.leiue.com/test.php?bar=1&a=test”

3.6 含临时的状态变量:http://www.leiue.com/test?back=/go.php

三、URL规范化设置

URL组成:

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

协议://主机名[:端口]/ 路径/[:参数] [?查询]#fragment

URL规范化过程:

1.URL协议名和主机名小写化

HTTP://WWW.EXAMPLE.com/test -> http://www.example.com/test

2.escape序列转化为大写,因为escape序列大小敏感%3a ->%3A

3.删除Fragment(#)

http://www.example.com/test/index.html#seo -> http://www.example.com/test/index.html

4.删除空查询串的’?’

http://www.example.com/test? -> http://www.example.com/test

5.删除默认后缀

http://www.example.com/test/index.html -> http://www.example.com/test/

6.删除多余的点修复符

http://www.example.com/../a/b/../c/./d.html -> http://www.example.com/a/c/d.html

7.删除多余的”www”

http://www.test.example.com/ -> http://test.example.com/

8.对查询变量排序

http://www.example.com/test?id=123&fakefoo=fakebar → http://www.example.com/test?id=123 \

9.删除取默认值的变量

http://www.example.com/test?id=&sort=ascending → http://www.example.com/test

10.删除多余的查询串,如?,&

http://www.example.com/test? → http://www.example.com/test

11.Dust规则

http://www.example.com/test?id=123 -> http://www.example.com/test_123

四、URL防止重复设置技巧

举个常见的来例子来说,下面这几个URL一般来说指的是同一个文件或网页:

http://www.domain.com
http://domain.com
http://www.domain.com/index.html
http://domain.com/index.html

从技术上分析这是四个不同的地址,而在实际的使用过程中,被大多数人当作是一个地址使用着,所以在这个时候我们就需要做好设置,否则网站将会出现大量的重复。

相信这个对于很多人来说并不陌生,因为这些常常被一些人忽略,或者是有些人自作聪明,为了让搜索引擎更多的抓取网站页面,甚至有的站长还把几个域名解析到同一个主机,总觉这样可以提升收录,其实不然,搜索引擎又不傻,重复的多了,就是被索引,也没有什么排名,反而徒劳无功。

所以遇见这样的问题我们就需要确定网站的一个主域名,而像泪雪博客的就是使用的没有www的域名,所以就算你输入www访问也会自动跳转到没有www的域名上面,而像之前泪雪博客还使用过一个二级域名,现在依然是做了301跳转的,从而确定网站主域名,确保网站内容URL的唯一性。

写在最后:不规范的URL会造成网站很多重复的URL,导致爬虫重复抓取同一内容,影响网站有效的内容被抓取,同时也就影响索引。多个不规范URL造成页面权重稀疏,本来流向同一页面的权重,结果造成了流向多个不规范的URL。还有一个用户体验问题,复杂或者不规范的URL容易使用户对网站造成不良印象。

除非注明,否则均为泪雪博客原创文章,转载请以链接形式标明本文地址

本文链接:https://zhangzifan.com/url-normalization.html

发表评论

  1. 824465873
    1楼
    824465873 2年前 (2016-04-16)

    我又来了,您高兴吗?!