比如將內容用圖片的形式顯示 。但是近幾年來人類和機器的差別越來越小 ， 圖片可以用OCR準確率非常高地去識別 。反爬總結爬蟲和反爬是典型的攻防雙方的互相升級 。但是我認為 ， 這種升級不像軍事 ， 軍事是無盡頭的 ， 但是爬蟲和反爬是有盡頭的 。爬蟲的盡頭就是瀏覽器 ， 一旦使用瀏覽器 ， 程序完全可以模擬真實用戶發(fā)出請求 ， 缺點是就是消耗資源 ， 因為需要新開一個進程 ， 解析DOM ， 運行客戶端JavaScript代碼 。
（chrome的node api在github開源僅僅兩天 ， 就拿到8k個star）反爬的盡頭就是像Google這種超級厲害的驗證碼 ， 畢竟驗證碼的根本目的就是識別人類和機器的 。我正好有一個反爬做的非常好的例子 。Google Arts Project項目是一個匯聚世界名畫的藝術長廊 ， 我比較喜歡里面的一些畫 ， 所以想下載一些（當然這是不對的） ， 然后發(fā)現(xiàn)這個網(wǎng)站反爬做的相當好（因為版權屬于收藏作品的博物館 ， 所以Google Arts Project肯定不會提供下載） ， 要下載幾乎是不可能的 。
我有點不服 ， 開始用各種手段試圖下載原圖 。嘗試了一番 ， 發(fā)現(xiàn)這個網(wǎng)站block掉了鼠標右鍵功能、審查元素發(fā)現(xiàn)圖片并不是一個常規(guī)的圖片、追蹤網(wǎng)絡包發(fā)現(xiàn)原圖竟然不是一次網(wǎng)絡請求拿到的 ， 而是分成了好幾次請求base64編碼的字符流每次請求圖片的一部分 ， 然后在客戶端組裝起來圖片！當然在客戶端的代碼也是經過加密和混淆的！這完全可以作為反爬的教科書了 ， 既沒有誤傷用戶 ， 又讓爬蟲無法下手 。
圖片每次只請求部分四、職業(yè)道德成規(guī)模的爬蟲一般都會使用集群 ， 一般的小網(wǎng)站服務器規(guī)?？赡懿蝗缗老x集群的規(guī)模大 。所以很多時候我們最好對要爬的網(wǎng)站限制一下頻率 。否則這些爬蟲就相當于DoS攻擊集群了！一般的網(wǎng)站都會有robots.txt可以參考 。好了 ， 總結來說 ， 寫爬蟲需要經驗積累 ， 需要靈活的思路 。比如說我之前就遇到過網(wǎng)站 ， 需要驗證碼驗證拿到一個token ， 可是通過看網(wǎng)絡請求發(fā)現(xiàn)這個token長得很像一個時間戳 ， 然后本地自己生成一個時間戳發(fā)現(xiàn)也是能用的！于是就這樣繞過了驗證碼 。
網(wǎng)絡爬蟲工程師就業(yè)前景如何？
最近這幾年網(wǎng)絡爬蟲可以說是“火的一塌糊涂的” ， 10個寫爬蟲的9個在用Python 。所以想做爬蟲這方面 ， 也得把Python學好 。為什么爬蟲這么火 ， 這個還是跟大數(shù)據(jù)有關 ， 因為數(shù)據(jù)挖掘、分析、機器學習、人工智能都需要大數(shù)據(jù)的支撐 ， 而真正有大數(shù)據(jù)的廠商沒幾個 ， 所以小廠不得不通過爬蟲去獲取數(shù)據(jù) 。、隨著大數(shù)據(jù) ， 人工智能的蓬勃發(fā)展 ， 對數(shù)據(jù)的需求量 ， 也越來越高 ， 網(wǎng)絡爬蟲工程師的需求量也是很高的 。
至于如何找工作？先不要糾結學歷的問題 ， 先把技術學到手才是真的 。先把技術學好 ， 學習哪些技術可以到招聘網(wǎng)站上去了解一下Python爬蟲相關的任職要求 。然后在進行系統(tǒng)的學習 。以前在“如鵬網(wǎng)”上學習Python爬蟲的學習路線 ， 可以作為參考 ， 口碑不錯 ， 基本上都是慕名而去的 ， 有新的課程更新了 ， 也是可以繼續(xù)來學習的 。
推薦閱讀
- 手機像素,2500~2999
- 【今日話題】你們的舊手機怎么處理了？
- 選一個你稱心如意的瀏覽器
- T3?
- 滕州今日房價走勢,滕州明年房價走勢
- 盒子桌面軟件哪個好,電視盒子和第三方軟件哪個好
- 大搜車怎么樣,大搜車怎么樣誰知道
- 干洗店加盟裝修,ucc怎么加盟
- 對組織部的認識怎么寫,組織部介紹怎么寫
- 手機在哪,輕松幫你找到手機