搜索引擎程序在互联网上爬取和识别网站唯一的标准是：网站的URL路径，网站URL路径的优化和集中权重是排名算法的重要组成部分，不仅影响网页的收录，而且错误的url路径处理也分散了网页的权重，不利于排名。如果我们想要提升网站权重，就必须要想办法集中我们网站的每一点权重。网站URL路径的优化就是网站路径的集权，通过将权重集中在一个主路径上，获得更好的搜索引擎权重。
那么，网站URL路径的优化怎么做对蜘蛛更友好呢？
1、网址规范化：网站中同一个网页，只对应一个URL
http://www.lulinling.com/与http://www.lulinling.com/index.php对于用户来说是同一个网页，但是对于搜索引擎来说却是2个不同的页面。如果网站上多种URL都能访问同样的内容，会产生以下负面影响：
- 搜索引擎会选择其中一种URL作为标准，可能会和权威URL版本不一致。
- 用户可能会给这个网页的多个URL做推荐，最终会将该网页的权重分散到多个URL中。
解决方式：建议在设计网站URL之初，要确保同一个页面仅有一个唯一的URL地址可以访问。
2、url越简短越好
从搜索引擎角度来看，只要url长度不超出1000个字母，就不会影响网页的收录。从用户角度来说，短的URL总是比长的URL点击率高，视觉上也比较清晰明了。此外，短URL更有利于用户对URL的传播和复制。
3、url中要避免太多参数
如果条件允许，尽可能使用静态url，参数一般只存在于动态url里，如果技术不能实现并且动态网址是必要的，最好将参数控制在3个以内。参数过多，用户看着会眼花缭乱，并且搜索引擎也不喜欢参数过多的url。
4、url目录层次尽量少，最好不要超过3层
在这里说的是网站的物理目录结构，通常网站都会对网页进行分类目录管理，尤其是大型网站。通过分类目录管理更方便，页面从属关系也简单明了。但是目录层次太深的话，不利于蜘蛛的抓取，进而影响网页的收录。切记百度喜欢目录层次较少的网站，建议不要超过3层。
5、url具备描述性
若用户通过网站url就能够知道该页面的大致内容，有利于提升我们网站的用户体验，具体的操作建议是以英文单词或者中文全拼/简拼命名url。如：http://www.lulinling.com/seojichu/。
6、url合理布局关键词
关键词出现在url中，能提高页面的相关度，特别是优化英文网站时，这点尤为重要。而且关键词出现的位置越靠前越好（即出现在域名是最好的，其次是目录名，最后是出现在文件名中）。需要注意的是，不要盲目穿插关键词，造成关键词堆砌。
7、url中的字母统一大小写，建议使用小写字母
为什么建议网站url统一使用小写字母，主要原因有2点：
1、对用户而言更加符合用户的输入习惯很多用户会在切换大小写的时候写错url。
2、很多服务器设置对大小写是区分的，为了避免因用户输入大小写字母不一致的URL而出现页面错误的情况，建议将网站服务器设置成对大小写字母不敏感。
总结： 对蜘蛛友好的网站URL路径不仅有利于搜索引擎蜘蛛顺利爬取网站各层级页面，还有利于用户查看和传播。因此，网站url路径的优化必须要在网站上线前做好，避免上线后频繁改动，给网站造成很大的伤害。
