網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人，在FOAF社區(qū)中 ， 更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本 ， 它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，可以自動采集所有其能夠訪問到的頁面內(nèi)容，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式 。從功能上來講，爬蟲一般分為數(shù)據(jù)采集 ， 處理 ， 儲存三個部分 。
Web網(wǎng)絡(luò)爬蟲系統(tǒng)的功能是下載網(wǎng)頁數(shù)據(jù)，為搜索引擎系統(tǒng)提供數(shù)據(jù)來源，很多大型的網(wǎng)絡(luò)搜索引擎系統(tǒng)都是基于Web數(shù)據(jù)采集的搜索引擎系統(tǒng)，由此可見Web網(wǎng)絡(luò)爬蟲在搜索引擎中的重要性 。
【爬蟲是什么】在網(wǎng)絡(luò)爬蟲的系統(tǒng)框架中，主過程由控制器、解析器、資源庫三部分組成 ?？刂破鞯闹饕ぷ魇秦撠熃o多線程中各個爬蟲線程分配工作任務(wù)；解析器的主要工作是下載網(wǎng)頁，進行網(wǎng)頁的處理 ， 處理的內(nèi)容包括JS腳本標簽、CSS代碼內(nèi)容、空格字符、HTML標簽等內(nèi)容 。資源庫是用來存放下載到的網(wǎng)頁資源，一般會采用大型的數(shù)據(jù)庫存儲，并對其建立索引 。
推薦閱讀
- 溝通app是什么軟件 溝通app怎么樣
- 注塑調(diào)機口訣 注塑調(diào)機口訣是什么
- 新生兒醫(yī)保卡加急辦理流程是什么
- jquery是干什么的
- 先有雞還是先有蛋標準答案 先有雞還是先有蛋標準答案是什么
- autogrip什么牌的輪胎
- 自謀生計的謀是什么意思
- 什么是生存給付
- Lenovo聯(lián)想手機官網(wǎng)：了解新品，享受智能生活
- 馬蹄蓮怎么種植