国产孩交VIDEOS

  • <pre id="g04g4"></pre>

    1. <td id="g04g4"></td>

      <pre id="g04g4"></pre>

      <big id="g04g4"><strike id="g04g4"></strike></big>

      QQ咨詢

      電話咨詢

      15013057453

      微信咨詢

      獲取報價

      TOP

      導航關閉
      微勤廣州網站建設
      廣州網站建設公司聯系電話15013057453
      廣州網站建設公司聯系人付先生
      廣州網站建設公司QQ411733402
      廣州網站建設公司郵箱weiqin@gzweiqin.com
      廣州網站建設公司地址廣州地址:廣州市番禺區市橋沙頭街道丹山新村瑞龍北街五巷24號
      廣州網站建設公司地址清遠地址:清遠市英德市維多利亞廣場7棟1308

      廣州網站建設告訴你Robots文件的相關知識

      發布者:微勤廣州網站建設 |發布時間:2021-03-12|文章瀏覽量945

      Robots文件在網站優化中是一個很重要的文件,搜索引擎爬行網站第一個抓取的文件就是Robots文件。robots.txt是你對搜索引擎制定的一個如何索引你的網站的規則。通過該文件,搜索引擎就可以知道在你的網站中哪些文件是可以被索引的,哪些文件是被拒絕索引的。那么關于Robots文件的知識你又知道多少呢?今天微勤廣州網站建設就帶大家了解一下。

      一、robots.txt 文件的定義 

      Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

      二、robots.txt文件的作用

      robots.txt文件主要用來告訴搜索引擎蜘蛛網站哪些內容是可以爬行和抓取的,哪些頁面是被屏蔽的,不能爬行和抓取,例如我們可以通過robots.txt文件屏蔽網站的死鏈接、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面和阻止搜索引擎索引網站隱私性的內容

      三、robots.txt文件注意事項

      1、必須放置在一個站點的根目錄下;

      2、文件名必須全部小寫;

      3、最好是UTF-8編碼。

      四、robots.txt文件的基本語法

      1、User-agent,搜索引擎蜘蛛的名稱;常見蜘蛛名稱見文末。

      2、Disallow,要攔截的部分,禁止蜘蛛訪問的部分。

      3、Allow,放行的部分,允許蜘蛛訪問的部分。

      4、Sitemap,網站地圖索引文件。

      五、robots.txt文件常見的用法舉例

      例子1:禁止所有搜索引擎訪問網站的任何部分

      User-agent: *

      Disallow:/

      例子2:允許所有搜索引擎訪問網站任何部分

      User-agent: *

      allow:/

      或者創建一個空白的robots.txt文件放在根目錄

      本文由廣州網站建設團隊微勤網絡整編而成,如需了解更多網站建設資訊、案例、各種網站建設知識可以聯系廣州網站建設公司微勤網絡專業項目經理進行一對一問答

      本文地址:廣州網站建設告訴你Robots文件的相關知識:http://www.celeb-online.net/seo/99.html

      微勤廣州網站建設

      廣州微勤網絡有限公司

      廣州網站建設公司地址 廣州地址:廣州市番禺區市橋沙頭街道丹山新村瑞龍北街五巷24號
      廣州網站建設公司地址 清遠地址:清遠市英德市維多利亞廣場7棟1308
      廣州網站建設聯系電話 15013057453 / 14749357375
      廣州網站建設聯系QQ 411733402 / 1799126254
      Copyright ? 2019 微勤網絡 All Right Reserved 粵ICP備18141229號
      本網站設計、源代碼及其所展示之作品著作權均屬于微勤網絡,保留所有權利
      国产孩交VIDEOS
    2. <pre id="g04g4"></pre>

      1. <td id="g04g4"></td>

        <pre id="g04g4"></pre>

        <big id="g04g4"><strike id="g04g4"></strike></big>