日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

jsonpath語(yǔ)法,JsonPath

云知道語(yǔ)法

你是如何開(kāi)始寫python爬蟲(chóng)的？

jsonpath語(yǔ)法,JsonPath


因?yàn)檠芯可A段主要的方向是數(shù)據(jù)挖掘方向 ， 需要從網(wǎng)上獲取大量的數(shù)據(jù) ， 如果一頁(yè)一頁(yè)的手動(dòng)復(fù)制的化 ， 不知道到何年何月了 ， 所以慢慢開(kāi)始接觸到python爬蟲(chóng) ， 我大概介紹一下自己的學(xué)習(xí)歷程吧：1.首先要有一定的python基礎(chǔ) ， 環(huán)境要熟悉 ， 基本的語(yǔ)法和包也要會(huì)使用 ， 至于python基礎(chǔ)教程 ， 網(wǎng)上很多 ， 有視頻也有pdf的 ， 這個(gè)因人而異 ， 我入門主要學(xué)習(xí)的是《python基礎(chǔ)教程》這本書 ， 對(duì)應(yīng)的是python2 ， 這本書寫的比較全面 ， 介紹的也比較詳細(xì) ， 只要認(rèn)認(rèn)真真的跟著書學(xué)習(xí) ， 一邊練習(xí)代碼 ， 很快就能熟悉python基礎(chǔ) ， 掌握基本知識(shí)和常見(jiàn)包的使用 。
2.對(duì)網(wǎng)頁(yè)基本知識(shí)也要有一定了解 ， 像html,css,javascript等 ， 沒(méi)必要精通它們 ， 但是最起碼得了解一二 ， 要爬的數(shù)據(jù)都在網(wǎng)頁(yè)中 ， 你對(duì)網(wǎng)頁(yè)一點(diǎn)都不了解 ， 這根本就不行 ， 至于這些入門的東西 ， 你可以在網(wǎng)上搜搜 ， 我推薦http://www.w3school.com.cn/ ， 介紹的很全面：3.然后就是一些爬蟲(chóng)基本包的使用 ， 像urllib,urllib2,requests,bs4等 ， 這些教程 ， 網(wǎng)上都有 ， 官方也有詳細(xì)的文檔說(shuō)明 ， 你可以試著爬取一些比較簡(jiǎn)單的網(wǎng)頁(yè) ， 像糗百等 。
4.在爬取有些網(wǎng)頁(yè)的過(guò)程中 ， 你會(huì)發(fā)現(xiàn)莫名的程序就中斷 ， 連接不上服務(wù)器 ， 這就是反爬機(jī)制 ， 許多網(wǎng)站都對(duì)爬蟲(chóng)做了限制 ， 短時(shí)間內(nèi)多次爬取 ， 就會(huì)禁掉IP ， 所以你得設(shè)置IP代理池 ， 來(lái)回切換IP ， 保證程序正常進(jìn)行 ， 在這過(guò)程中你得需要了解常見(jiàn)反爬機(jī)制 ， 對(duì)癥下藥 ， 做到盡可能不被服務(wù)器發(fā)現(xiàn) 。5.熟悉爬取基本網(wǎng)頁(yè)后 ， 就可以試著爬取比較大型網(wǎng)站的數(shù)據(jù)了 ， 像某寶數(shù)據(jù)等 ， 在這過(guò)程中你可能會(huì)發(fā)現(xiàn)有些數(shù)據(jù)不在網(wǎng)頁(yè)中 ， 這就是異步加載 ， 你就需要抓包分析數(shù)據(jù) ， 獲取真實(shí)的數(shù)據(jù)URL,才能進(jìn)行爬取 。
6.基本爬蟲(chóng)包了解后 ， 你會(huì)發(fā)現(xiàn)每次爬數(shù)據(jù)都需要自己構(gòu)建代碼 ， 組織結(jié)構(gòu) ， 很麻煩 ， 這時(shí)你就需要學(xué)習(xí)scrapy框架 ， 專門為爬蟲(chóng)做的一個(gè)框架 ， 做起爬蟲(chóng)來(lái) ， 速度快了不少 。7.爬得數(shù)據(jù)量多了 ， 你會(huì)發(fā)現(xiàn)一個(gè)電腦太慢 ， 一個(gè)線程不快 ， 這時(shí)你就可能需要多個(gè)線程 ， 多個(gè)電腦 ， 你就需要了解多線程 ， 分布式爬蟲(chóng) ， 像scrapy-redis等 。
8.數(shù)據(jù)量大了 ， 你就不可能存儲(chǔ)到一個(gè)普通文件之中吧 ， 就需要用到數(shù)據(jù)庫(kù) ， mysql,mongodb等 ， 你就需要了解基本的數(shù)據(jù)庫(kù)知識(shí) ， 增刪改查 ， 以及數(shù)據(jù)的涉及和搭建等 。9.數(shù)據(jù)已經(jīng)有了 ， 你就需要對(duì)它進(jìn)行分析 ， 不然爬下來(lái) ， 放在那 ， 沒(méi)有任何意義 ， 數(shù)據(jù)統(tǒng)計(jì)處理 ， 數(shù)據(jù)可視化 ， 如何構(gòu)建分析模型 ， 挖掘有價(jià)值的信息 ， 機(jī)器學(xué)習(xí)等都會(huì)用到 ， 接下來(lái)就看你的處理了 。
如何使用Python Pandas模塊讀取各類型文件？

推薦閱讀