如果几乎全部的网页都被所有搜索引擎收录,那就不用在花什么功夫了,但大多数网站的 收录率远远低于100%——有些甚至在5%以下,那么怎样能使更多的网页被收录呢?
站点收录率=网站被收录的网页的数量/网站所有的网页数量
1、测定站点网页总数
在开始统计网页的任务时,要记住应该只统计“对公众开放”的网页。这意味着私密的(被安全保护的)网页,有密码保护的网页,不能计算在内。
为了计算收录率,如果精确的知道网页的总数就太棒了,但是并不要求特别精确。如果不知道精确的数字,这里有几种方法来做合理的估计:
(1) 询问网站管理员
(2) 检查公司的搜索引擎
(3) 通过内容来源累加
(4) 使用特别的蜘蛛程序
你能够在你的网站上释放自己的蜘蛛程序。特别的蜘蛛程序,是专门用来在站点上找网页的,可以得到网页的计数结果。和一个公司搜索引擎一样,阻挡互联网搜索蜘蛛的障碍同样也会阻挡这些特别的蜘蛛程序。
(5) 检查搜索引擎
2、收录率多少才是合适呢?
多少收录率才是合适的呢?一般最低限度是50%,如果能争取到100%当然最好了。
有的时候你可能会发现一个网站的 收录率 超过100%。不是搜索引擎派送了奖励的网页,而是你的站点有严重的问题。搜索可能重复收录了网页,可能你有很多动态的网址。更严重的是站点私密的内容可能由于一个安全漏洞被搜索收录了。另外,可能低估了站点的全部网页数量,这可能是出现高收录率最容易接受的理由。