什么是搜索引擎的Spider(蜘蛛)
1、什么是搜索引擎的Spider(蜘蛛)?现在做网站优化的管理员都知道我们得到了百度权重就是根据搜索引擎的Spider(蜘蛛)给我们网站做出的评分，这里不二网小编就为大家具体分析一下什么是搜索引擎的Spider(蜘蛛)。
2、网页内容也是有时效性的，所以Spider对不同网页的抓取频率也要有一定的策略性，否则可能会使得索引库中的内容都很陈旧，或者该更新的没更新，不该更新的却浪费资源更新了，甚至还会出现网页已经被删除了，但是该页面还存在于搜索结果中的情况。那么Spider一般会使用什么样的再次抓取和更新策略呢?
3、再次，互联网中的网页总有一部分是没有外部链接导入的，也就是常说的“暗网”，并且这部分网页也是需要呈现给广大网民浏览的，此时Spider就要想方设法针对处于暗网中的网页进行抓取。当下百度是如何来解决这个暗网问题的呢?
4、最后，大型搜索引擎的Spider不可能只有一个，为了节省资源，要保证多个Spider同时作业且抓取页面不重复;又由于各地区数据中心分配问题，搜索引擎一般不会把Spider服务器放置在一个地区，会多地区同时作业，这两方面就涉及分布式抓取的策略问题。那么一般搜索引擎的Spider会采用什么样的分布抓取策略呢?
5、接下来逐一介绍一般的搜索引擎Spider在面临以上问题时采用的是什么策略，并详细地了解一下整个搜索引擎最上游的Spider到底是如何工作的，以及一个优秀的Spider程序应该有哪些特点。
6、什么是搜索引擎的Spider(蜘蛛)?以上内容是不二网小编为大家总结的内容，如果你也这样认为的话，那就更好了，不二网小编接下来将为大家介绍更多的此类文章，如果你感兴趣的话可以接着往下看。
搜索引擎蜘蛛是如何抓取网页内容的
读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来，被抓取的网页被称之为网页快照。
搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中有，网站数据库，就是动态网站存放网站数据的空间。索引数据库，索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。简单的来说，就是把【抓取】的网页放进数据库。
搜索引擎从索引数据库中找到匹配该关键词的网页;
把收集来的网页进行排序，把这些进行最终的排序。
注意事项：蜘蛛程序url抓取页面--存储---原始页面。
如何识别搜索引擎蜘蛛IP
这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
220.181.38.198-- [11/Nov/2007:04:28:29+0800]"GET/ HTTP/1.1" 200 61083"-""Baiduspider+(+baidu/search/spider.htm:baidu/search/spider.htm)"这就说明百度蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
各类蜘蛛IP收集，不一定完全准确。
26 202.165.96.* gais.cs.ccu.edu.tw
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛