很多关于搜索引擎抓取、收录以及网站结构、优化的问题都可以总结为如何提高搜索引擎友善度、如何更容易让搜索引擎抓取您的网站的问题。这个问题甚至还关乎到在搜索引擎的排名。
互联网如此之大，以至于搜索引擎即使已经拥有非常强的的信息处理能力却无法满足现有的信息量。搜索引擎本身资源有限，当面对几近无穷无尽的网络内容的时候，bot 只能找到和抓取其中一定比例的内容，而且，并不是所有被抓取的也都会编入索引。
URLs 就像网站和搜索引擎抓取工具之间的桥梁: 为了能够抓取到您网站的内容，抓取工具需要能够找到并跨越这些桥梁(也就是找到并抓取您的URLs)。如果您的URLs很复杂或冗长，抓取工具不得不需要反复花时间去跟踪这些网址；如果您的URLs很规整并且直接指向您的独特内容，抓取工具就可以把精力放在了解您的内容上，而不是白白花在抓取空网页或被不同的URLs指引却最终只是抓取到了相同的重复内容。
URLs的优化是网站优化的一个重要部分，URLs优化有助于提高网站对搜索引擎的友善度，提高收录和排名。URLs优化有方法，掌握良好的方法对于提高效率有很大的帮助。
1.URLs中尽量少带参数
去掉那些不会对网页内容产生影响的参数，比如session ID或者排序参数，这些是可以从URL中去除的，改为cookie记录。通过将这些信息加入cookie，然后301重定向至一个“干净”的URL，你可以保持原有的内容，并减少多个URL指向同一内容的情况。
2.设置robots.txt 阻止bot抓取他不能处理的内容
类似于注册、购物车、登录等需要处理但bot无法办到的页面，可以通过使用你的robots.txt 文件来阻止bot的抓取。这样做的好处是，你可以让爬虫花费更多的时间抓取你的网站上他们能够处理的内容。
3.控制无限空间 即动态链接
类似于无时间限制的日历，上面的链接指向无数个过去和将来的日期（每一个链接地址都独一无二）。分页链接加入一个&page=3563的参数之后，仍然可以返回200代码，哪怕您根本没有那么多页面。如果是这样的话，你的网站上就出现了所谓的“无限空间”，这种情况会浪费抓取机器人和你的网站的带宽。
4.去除重复的内容，保证每个URLs的内容都是不同的
搜索引擎都喜欢新鲜的东西，如果你有两个不同URLs指向的内容却是一样的，这将大大影响bot的胃口。每一个URL会对应一段独特的内容，而每一段内容只能通过唯一的一个URL访问，这样才会越容易被抓取和收录。如果实现起来比较困难，使用rel=canonical元素是个不错的选择。
