一、搜索引擎蜘蛛的基本原理搜索引擎蜘蛛即Spider，是一個(gè)很形象的名字，把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛 。搜索引擎蜘蛛訪(fǎng)問(wèn)網(wǎng)站頁(yè)面時(shí)類(lèi)似于普通用戶(hù)使用瀏覽器，蜘蛛程序發(fā)出頁(yè)面訪(fǎng)問(wèn)請(qǐng)求后，服務(wù)器返回HTML代碼，蜘蛛程序把收到的代碼存入原始頁(yè)面數(shù)據(jù)庫(kù)，搜索引擎為了提高爬行和抓取的速度，都使用多個(gè)蜘蛛分布爬行 。
搜索引擎爬蟲(chóng)蜘蛛是如何工作的？
搜索引擎用來(lái)爬行和訪(fǎng)問(wèn)頁(yè)面的程序被稱(chēng)為蜘蛛（spider），也叫機(jī)器人（bot） 。搜索引擎蜘蛛訪(fǎng)問(wèn)網(wǎng)站頁(yè)面時(shí)類(lèi)似于普通用戶(hù)使用瀏覽器，蜘蛛程序發(fā)出頁(yè)面訪(fǎng)問(wèn)請(qǐng)求后，服務(wù)器返回HTML代碼，蜘蛛程序把收到的代碼存入原始頁(yè)面數(shù)據(jù)庫(kù)，搜索引擎為了提高爬行和抓取的速度，都使用多個(gè)蜘蛛分布爬行 。蜘蛛訪(fǎng)問(wèn)網(wǎng)站時(shí)，首先會(huì)訪(fǎng)問(wèn)網(wǎng)站根目錄下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些網(wǎng)頁(yè)或者內(nèi)容，再或者網(wǎng)站，蜘蛛將遵循協(xié)議，不對(duì)其進(jìn)行抓取 。
蜘蛛也是有自己的代理名稱(chēng)的，在站長(zhǎng)日志中可以看出蜘蛛爬行的痕跡，這也就是為什么這么多站長(zhǎng)解答問(wèn)題的時(shí)候，都會(huì)說(shuō)先查看網(wǎng)站日志（作為一個(gè)出色的SEO你必須具備不借助任何軟件查看網(wǎng)站日志的能力，并且要非常熟悉其代碼的意思） 。一、搜索引擎蜘蛛的基本原理搜索引擎蜘蛛即Spider，是一個(gè)很形象的名字，把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛 。
網(wǎng)絡(luò)蜘蛛是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止 。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái) 。
搜索引擎蜘蛛的基本原理及工作流程對(duì)于搜索引擎來(lái)說(shuō)，要抓取互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)幾乎是不可能的，從目前公布的數(shù)據(jù)來(lái)看，容量最大的搜索引擎也不過(guò)是抓取了整個(gè)網(wǎng)頁(yè)數(shù)量的百分之四十左右 。這其中的原因一方面是抓取技術(shù)的瓶頸，100億網(wǎng)頁(yè)的容量是100×2000G字節(jié)，即使能夠存儲(chǔ)，下載也存在問(wèn)題（按照一臺(tái)機(jī)器每秒下載20K計(jì)算，需要340臺(tái)機(jī)器不停的下載一年時(shí)間，才能把所有網(wǎng)頁(yè)下載完畢），同時(shí)，由于數(shù)據(jù)量太大，在提供搜索時(shí)也會(huì)有效率方面的影響 。
因此，許多搜索引擎的網(wǎng)絡(luò)蜘蛛只是抓取那些重要的網(wǎng)頁(yè)，而在抓取的時(shí)候評(píng)價(jià)重要性主要的依據(jù)是某個(gè)網(wǎng)頁(yè)的鏈接深度 。由于不可能抓取所有的網(wǎng)頁(yè)，有些網(wǎng)絡(luò)蜘蛛對(duì)一些不太重要的網(wǎng)站，設(shè)置了訪(fǎng)問(wèn)的層數(shù)，例如，下圖中所示：搜索引擎蜘蛛的基本原理及工作流程A為起始網(wǎng)頁(yè)，屬于0層，B、C、D、E、F屬于第1層，G、H屬于第2層，I屬于第3層，如果網(wǎng)絡(luò)蜘蛛設(shè)置的訪(fǎng)問(wèn)層數(shù)為2的話(huà)，網(wǎng)頁(yè)I是不會(huì)被訪(fǎng)問(wèn)到的，這也讓有些網(wǎng)站上一部分網(wǎng)頁(yè)能夠在搜索引擎上搜索到，另外一部分不能被搜索到 。
對(duì)于網(wǎng)站設(shè)計(jì)者來(lái)說(shuō)，扁平化的網(wǎng)站結(jié)構(gòu)設(shè)計(jì)有助于搜索引擎抓取其更多的網(wǎng)頁(yè) 。網(wǎng)絡(luò)蜘蛛在訪(fǎng)問(wèn)網(wǎng)站網(wǎng)頁(yè)的時(shí)候，經(jīng)常會(huì)遇到加密數(shù)據(jù)和網(wǎng)頁(yè)權(quán)限的問(wèn)題，有些網(wǎng)頁(yè)是需要會(huì)員權(quán)限才能訪(fǎng)問(wèn) 。當(dāng)然，網(wǎng)站的所有者可以通過(guò)協(xié)議讓網(wǎng)絡(luò)蜘蛛不去抓取，但對(duì)于一些出售報(bào)告的網(wǎng)站，他們希望搜索引擎能搜索到他們的報(bào)告，但又不能完全免費(fèi)的讓搜索者查看，這樣就需要給網(wǎng)絡(luò)蜘蛛提供相應(yīng)的用戶(hù)名和密碼 。
推薦閱讀
- 西安各大企業(yè)最新招聘信息 專(zhuān)場(chǎng)招聘開(kāi)始了
- 騰訊用哪個(gè)搜索引擎,現(xiàn)在大家都在用哪些搜索引擎
- 各大影視會(huì)員賬號(hào)及迅雷會(huì)員賬號(hào),迅雷vip賬號(hào)
- 三款手機(jī)跑分超百萬(wàn)大關(guān) 各大手機(jī)跑分排行榜
- 最佳百度云資源搜索引擎入口,百度云搜索引擎入口盤(pán)多多
- 其實(shí)你只需要精通谷歌搜索,谷歌搜索引擎網(wǎng)址
- 搜索引擎百度已死,百度云搜索引擎入口
- 俄羅斯搜索引擎排名,俄羅斯最大的搜索引擎是哪個(gè)?
- 各大不常見(jiàn)鏡頭品牌,相機(jī)鏡頭品牌
- 品牌手機(jī)銷(xiāo)量排行榜,各大品牌手機(jī)銷(xiāo)量排名