婷婷久久香蕉五月综合加勒比,日本熟妇人妻中出视频

網(wǎng)站收錄提交，個(gè)人網(wǎng)站如何做到被各大搜索軟件收錄。這個(gè)問(wèn)題金納萊為您提供更多相關(guān)信息讓你了解。
robot.txt文件

大部分的網(wǎng)站收錄問(wèn)題都是因?yàn)楸籸obot.txt文件攔截導(dǎo)致的網(wǎng)站收錄提交。

robots.txt是一個(gè)純文本文件，在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問(wèn)的部分，或者指定搜索引擎只收錄指定的內(nèi)容。
當(dāng)一個(gè)搜索機(jī)器人（有的叫搜索蜘蛛）訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。
格式：
1.User-agent：
用于指定搜索引擎的名稱(chēng)，如谷歌為User-agent: Googlebot，*代表所有搜索引擎
2.Disallow：
表示禁止蜘蛛訪問(wèn)的文件
User-agent: *
Disallow:
表明：允許所有搜索引擎訪問(wèn)網(wǎng)站下的所有內(nèi)容。
User-agent: *
Disallow: /
表明：禁止所有搜索引擎對(duì)網(wǎng)站下所有網(wǎng)頁(yè)的訪問(wèn) 。
User-agent: *
Disallow: /cgi-bin/
表明：禁止所有搜索引擎進(jìn)入網(wǎng)站的cgi-bin目錄及其下所有子目錄。需要注意的是對(duì)每一個(gè)目錄必須分開(kāi)聲明。
User-agent: Roverdog
Disallow: /
表明：禁止Roverdog訪問(wèn)網(wǎng)站上的任何文件。
User-agent: Googlebot
Disallow: cheese.htm
表明：禁止Google的Googlebot訪問(wèn)其網(wǎng)站下的cheese.htm文件。
3.注釋
以”#”開(kāi)頭的行，均被視為注解內(nèi)容，注釋需要單獨(dú)成一行
Disallow: bob #comment是錯(cuò)誤的
4.Allow行
Allow行還未普遍使用，對(duì)于網(wǎng)站地圖，直接寫(xiě)為Sitemap: /sitemap.xml
編輯模式：
在UNIX模式下編輯你的robots.txt文件并以ASCII碼格式上傳。顯然并非所有的FTP客戶端軟件都能夠天衣無(wú)縫地將文件格式轉(zhuǎn)換為UNIX命令行終端，所以在編輯robots.txt文件時(shí)，一定要確保你的文本編輯器是在UNIX模式下。
或者使用工具如愛(ài)站工具生成robots,直接粘貼復(fù)制到網(wǎng)站后臺(tái) 。
檢測(cè)robots是否生效：
在百度站長(zhǎng)后臺(tái)檢測(cè)robots
二 robots和nofollow的區(qū)別是什么
robots只用于站內(nèi)鏈接。禁止蜘蛛抓取進(jìn)行收錄；
nofollow的鏈接蜘蛛依然可以收錄，但是不會(huì)傳遞權(quán)重，一般用于站外鏈接或者是公司電話，地址的頁(yè)面有助于網(wǎng)址權(quán)重的集中。
三網(wǎng)站誤封robots后的處理
1.解封robots，然后到百度站長(zhǎng)后臺(tái)檢測(cè)并更新Robots 。
2.在百度站長(zhǎng)后臺(tái)抓取檢測(cè)，此時(shí)顯示抓取失敗，通常更改完robots不會(huì)立即生效，需要等待幾天，可以多點(diǎn)擊抓取幾次，觸發(fā)蜘蛛抓取站點(diǎn) 。
3.在百度站長(zhǎng)后臺(tái)抓取頻次，申請(qǐng)抓取頻次上調(diào) 。
4.百度反饋中心，反饋是因?yàn)檎`操作導(dǎo)致了這種情況的發(fā)生。
5.百度站長(zhǎng)后臺(tái)鏈接提交處，設(shè)置數(shù)據(jù)主動(dòng)推送（實(shí)時(shí)）。
6.更新sitemap網(wǎng)站地圖，重新提交百度，每天手工提交一次。
四.新站robots的設(shè)置
對(duì)于已經(jīng)上線但是還沒(méi)有設(shè)置好的新站在robots中用
User-agent：*
Disallow:/
來(lái)禁止蜘蛛進(jìn)行訪問(wèn)
meta標(biāo)簽
meta robots 標(biāo)簽是頁(yè)面head部分meta標(biāo)簽的一種，用于指令搜索引擎禁止索引（收錄）本頁(yè)內(nèi)容。
【網(wǎng)站收錄提交，個(gè)人網(wǎng)站如何做到被各大搜索軟件收錄】meta robots 標(biāo)簽的寫(xiě)法：

標(biāo)簽的意義：禁止所有搜索引擎索引本頁(yè)面，禁止跟蹤本頁(yè)面上的鏈接。