1. 首頁 > 云知道 > >

網站收錄入口 個人網站如何做到被各大搜索軟件收錄

云知道

個人網站如何做到被各大搜索軟件收錄 ， 網站收錄入口 。這個問題金納萊為您提供更多相關信息讓你了解 。
robot.txt文件

網站收錄入口 個人網站如何做到被各大搜索軟件收錄


大部分的網站收錄問題都是因為被robot.txt文件攔截導致的網站收錄入口 。
robots.txt是一個純文本文件 ， 在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分 ， 或者指定搜索引擎只收錄指定的內容 。
當一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時 ， 它會首先檢查該站點根目錄下是否存在robots.txt ， 如果存在 ， 搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在 ， 那么搜索機器人就沿著鏈接抓取 。
格式：
1.User-agent：
【網站收錄入口 個人網站如何做到被各大搜索軟件收錄】用于指定搜索引擎的名稱 ， 如谷歌為User-agent: Googlebot ， *代表所有搜索引擎
2.Disallow：
表示禁止蜘蛛訪問的文件
User-agent: *
Disallow:
表明：允許所有搜索引擎訪問網站下的所有內容 。
User-agent: *
Disallow: /
表明：禁止所有搜索引擎對網站下所有網頁的訪問 。
User-agent: *
Disallow: /cgi-bin/
表明：禁止所有搜索引擎進入網站的cgi-bin目錄及其下所有子目錄 。需要注意的是對每一個目錄必須分開聲明 。
User-agent: Roverdog
Disallow: /
表明：禁止Roverdog訪問網站上的任何文件 。
User-agent: Googlebot
Disallow: cheese.htm
表明：禁止Google的Googlebot訪問其網站下的cheese.htm文件 。
3.注釋
以”#”開頭的行 ， 均被視為注解內容 ， 注釋需要單獨成一行
Disallow: bob #comment是錯誤的
4.Allow行
Allow行還未普遍使用 ， 對于網站地圖 ， 直接寫為Sitemap: /sitemap.xml
編輯模式：
在UNIX模式下編輯你的robots.txt文件并以ASCII碼格式上傳 。顯然并非所有的FTP客戶端軟件都能夠天衣無縫地將文件格式轉換為UNIX命令行終端 ， 所以在編輯robots.txt文件時 ， 一定要確保你的文本編輯器是在UNIX模式下 。
或者使用工具如愛站工具生成robots,直接粘貼復制到網站后臺 。
檢測robots是否生效：
在百度站長后臺檢測robots
二 robots和nofollow的區別是什么
robots只用于站內鏈接 。禁止蜘蛛抓取進行收錄；
nofollow的鏈接蜘蛛依然可以收錄 ， 但是不會傳遞權重 ， 一般用于站外鏈接或者是公司電話 ， 地址的頁面有助于網址權重的集中 。
三 網站誤封robots后的處理
1.解封robots ， 然后到百度站長后臺檢測并更新Robots 。
2.在百度站長后臺抓取檢測 ， 此時顯示抓取失敗 ， 通常更改完robots不會立即生效 ， 需要等待幾天 ， 可以多點擊抓取幾次 ， 觸發蜘蛛抓取站點 。
3.在百度站長后臺抓取頻次 ， 申請抓取頻次上調 。
4.百度反饋中心 ， 反饋是因為誤操作導致了這種情況的發生 。
5.百度站長后臺鏈接提交處 ， 設置數據主動推送（實時） 。
6.更新sitemap網站地圖 ， 重新提交百度 ， 每天手工提交一次 。
四.新站robots的設置
對于已經上線但是還沒有設置好的新站在robots中用
User-agent：*
Disallow:/
來禁止蜘蛛進行訪問
meta標簽
meta robots 標簽是頁面head部分meta標簽的一種 ， 用于指令搜索引擎禁止索引（收錄）本頁內容 。

推薦閱讀