谷歌為何開源robots.txt？這家搜索巨頭有怎樣的打算？
【谷歌為什么要開源,安卓既然是開源的】外媒VentureBeat報(bào)道稱 ， 谷歌希望將發(fā)展數(shù)十年的robots.txt解析器開源 ， 以推動(dòng)REP成為搜索引擎爬蟲的行業(yè)標(biāo)準(zhǔn) ， 機(jī)器人排除協(xié)議（REP）是荷蘭軟件工程師MartijnKoster于1994年提出的一個(gè)標(biāo)準(zhǔn) ， 幾乎已經(jīng)成為了網(wǎng)站不希望被搜索引擎收錄的注釋的事實(shí)標(biāo)準(zhǔn) 。（截圖viaVentureBeat）比如谷歌爬蟲（Googlebot）就會(huì)在索引某個(gè)網(wǎng)站時(shí)掃描robots.txt文件 ， 以確定其應(yīng)該忽略掉哪些部分 ，
如果文件不在根目錄下 ， 搜索引擎默認(rèn)會(huì)對(duì)整個(gè)網(wǎng)站的內(nèi)容進(jìn)行索引 。值得一提的是 ， 這個(gè)文件不僅可以用來提供直接的爬蟲索引 ， 還可以用來填充一些關(guān)鍵詞 ， 實(shí)現(xiàn)“搜索引擎優(yōu)化”(SEO) 。另外 ， 并不是所有的抓取工具都會(huì)嚴(yán)格遵循robots.txt文件 。比如幾年前 ， 互聯(lián)網(wǎng)檔案館只選擇支持其“WaybackMachine”存檔工具 ， 其他惡意抓取工具也有意忽略了REP 。
推薦閱讀
- 從瑞安到南京的高鐵時(shí)刻表查詢，常州到南京的城鐵開往時(shí)間要今天的
- 為什么西半球地球代表,為什么會(huì)有東方西方之說呢
- 佳能的用戶為什么比尼康多,就因?yàn)榧涯苓m合拍人像
- 地球?yàn)槭裁词仟?dú)一無二,地球上為什么存在淡水
- 愛因斯坦為什么發(fā)現(xiàn)了什么,愛因斯坦生前發(fā)現(xiàn)了什么
- mx500為什么好聽,為什么感覺粵語歌那么好聽
- 測(cè)厚儀需要什么證,鋰電池面密度檢測(cè)哪個(gè)牌子好
- 廣州到長沙高鐵 t8310，長沙到韶關(guān)高鐵需要幾個(gè)小時(shí)
- 從洛陽到成都高鐵多長時(shí)間一班，洛陽到四川要坐多久的大吧
- 德興高鐵站車次，德興市區(qū)到德興高鐵站要多長時(shí)間