日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

隨心所欲下載—構(gòu)造你自己的Linux網(wǎng)絡(luò)螞蟻

你是否下載過一個(gè)非常巨大的文件 , 以至于你不得不將你的web瀏覽器幾個(gè)小時(shí)甚至幾天的打開?假如你有一個(gè)40個(gè)文件鏈接在一個(gè)web頁(yè)上 , 你又需要它——你愿意不厭期煩的一個(gè)一個(gè)的點(diǎn)開它們嗎?再假如瀏覽器在工作完成前發(fā)生了故障呢?Linux 早已擁有一系列用手動(dòng)的工具來對(duì)付這種情況 , 它完全不用使用瀏覽器 。支持?jǐn)帱c(diǎn)續(xù)傳、鏡像下載、計(jì)劃下載等windows下載工具的所有功能:) 。酷不酷?下面 , 就跟我來吧!
在這種方式中存在的交互性
Web瀏覽器是使Web具有交互性——點(diǎn)擊然后希望結(jié)果能在幾秒鐘內(nèi)出來 。但是 , 即使是在很快的線路里 , 下載許多文件仍然需要相當(dāng)長(zhǎng)的時(shí)間 。例如ISO鏡像文件就被普遍用在GNU/Linux的CD-ROM發(fā)行版中 。一些web瀏覽器 , 尤其是只有簡(jiǎn)單編碼的瀏覽器 , 對(duì)于長(zhǎng)時(shí)間的工作并不能很好的運(yùn)作 , 它可能會(huì)漏掉記憶存儲(chǔ)或者會(huì)不合時(shí)宜的發(fā)生故障 。盡管將一些瀏覽器和文件治理器已經(jīng)結(jié)合起來了 , 但仍然不能支持多個(gè)文件的下載及捆綁傳送(就是將幾個(gè)文件捆綁在一起以便于傳送) 。所以你不得不保持登錄狀態(tài)直到整個(gè)文件下載完畢 。最后你還得去你的辦公室點(diǎn)擊鏈接開始下載 , 而這樣你會(huì)因?yàn)楣蚕砹送碌膸挾顾懿慌d奮 。
下載大型文件這個(gè)任務(wù)更適合另外一套工具來完成 。這篇文章將告訴你怎么樣把各種GNU/Linux 的應(yīng)用程序結(jié)合起來 , 也就是lynx , wget , at , crontab等等來解決各種文件傳送中的問題 。我們將用到一些簡(jiǎn)單的腳本 , 所以有一點(diǎn)bash shell方面的知識(shí)對(duì)下面的學(xué)習(xí)會(huì)有幫助 。
wget 應(yīng)用程序
其主要分類包括wget 下載工具 。
bash$ wget http://place.your.url/here
它還可以處理FTP、時(shí)間戳及遞歸的鏡像整個(gè)web網(wǎng)站的目錄樹——假如你一不小心 , 整個(gè)web網(wǎng)站及所有別的站點(diǎn)就會(huì)鏈接到:
bash$ wget -m http://target.web.site/subDirectory
由于潛在的高負(fù)載 , 這個(gè)工具被放在服務(wù)器中 , 這個(gè)工具在下載過程中會(huì)自動(dòng)根據(jù)“robots.txt”中的鏡像優(yōu)化下載 。這里有幾個(gè)命令選項(xiàng)以控制那些被下載 , 并限制跟隨的鏈接的類型和下載文件的類型 。例如:僅跟隨相對(duì)鏈接并跳過GIF:
bash$ wget -m -L --reject=gif http://target.web.site/subdirectory
當(dāng)然它支持?jǐn)帱c(diǎn)續(xù)傳 。當(dāng)將不完整的文件給予它以拼接剩余的數(shù)據(jù)時(shí) , wget能恢復(fù)被打斷的下載(“-c”選項(xiàng)) 。這個(gè)操作需要服務(wù)器的支持 。
bash$ wget -c http://the.url.of/incomplete/file
斷點(diǎn)續(xù)傳可以和鏡像功能結(jié)合起來 , 可以使一個(gè)很大的文件通過不同的會(huì)話中下載然后再拼接起來 。如何使這個(gè)過程自動(dòng)完成將在稍后介紹 。
假如你經(jīng)常像我一樣經(jīng)常下載的時(shí)候被中斷 , 你可以讓wget多重試幾次:
bash$ wget -t 5 http://place.your.url/here
這里是說試驗(yàn)5次后放棄 , 你也可以使用“-t inf”表示不放棄直到得到結(jié)果 。
那么如何使用防火墻代理下載呢?使用http_proxy環(huán)境變量或者是 .wgetrc配置文件指定一個(gè)代理服務(wù)器 , 通過它下載 。假如使用斷點(diǎn)續(xù)傳通過代理服務(wù)器下載的話 , 是會(huì)失敗的 。因?yàn)榇硪粋€(gè)斷點(diǎn)續(xù)傳的話 , 代理服務(wù)器僅能存儲(chǔ)一個(gè)文件的不完全的拷貝 。當(dāng)你試圖使用"wget -c"以獲得文件的剩余部分時(shí) , 代理服務(wù)器會(huì)核對(duì)存儲(chǔ)文件 , 并會(huì)給出錯(cuò)誤的信息告之你已經(jīng)有了整個(gè)文件 。為了成功的繞過文件的存儲(chǔ)過程 , 我們通過在下載請(qǐng)求中加上一個(gè)非凡的頭信息騙過代理服務(wù)器:
bash$ wget -c --header="Pragma: no-cache" http://place.your.url/here
“--header”選項(xiàng)可以加入任何頭信息的數(shù)字或者約定的字符串 , 這樣我們就可以修改web服務(wù)器和代理器的性能 。一些站點(diǎn)拒絕對(duì)通過外面來源鏈接的文件提供服務(wù) , 只有來源于經(jīng)過它同意的站點(diǎn)的其他頁(yè)面時(shí) , 文件內(nèi)容才可以傳送到瀏覽器當(dāng)中 。你可以通過添加一個(gè)“Referer:”頭信息來傳送文件:

推薦閱讀